Résumé Technique : TREETRACER – Exposer l'implicite via l'agrégation de chemins stochastiques

Énoncé du Problème

Les grands modèles de langage (LLM) génèrent du texte via des processus stochastiques, produisant une distribution de probabilité sur les jetons (tokens) possibles plutôt qu'un résultat unique et déterministe. Les méthodes actuelles d'audit de biais font face à des limitations significatives dans ce contexte :

• Insuffisance de la sortie unique : Les approches standards reposent souvent sur l'inspection d'une seule séquence générée ou sur des métriques automatisées statiques (ex: perplexité, BLEU). Ces méthodes occultent les distributions de probabilité sous-jacentes et ne parvulent pas à capturer les biais cachés dans les branches de génération à plus faible probabilité.
• Limitations des modèles (templates) statiques : Les jeux de données de biais fondamentaux utilisent souvent des modèles de phrases rigides et prédéfinis. La recherche indique que ceux-ci échouent à capturer la diversité des contextes réels et des variations syntaxiques où le biais se manifeste naturellement, provoquant souvent des comportements syntaxiques par défaut plutôt que de révéler de véritables associations sémantiques.
• Scalabilité de la visualisation : Les outils d'analyse visuelle existants pour la génération de texte (ex: Arbres de recherche en faisceau / Beam Search Trees) peinent à résumer des centaines de chemins de génération stochastiques complexes en une vue condensée et lisible sans perdre de détails structurels ou de clartité cognitive.

Le défi central est de développer une méthode capable d'automatiser la génération et la classification sémantique de cas de test diversifiés, tout en permettant aux évaluateurs humains d'analyser visuellement les distributions de probabilités agrégées pour détecter les préjudices de représentation systémiques.

Méthodologie : Le Pipeline TREETRACER

Le document présente TREETRACER, une approche d'analyse visuelle conçue pour évaluer le biais des LLM par comparaison agrégée. Le système emploie un pipeline de perturbation systématique composé de six étapes computationnelles :

1. Augmentation de Prompt et Injection d'Ontologie :

   • Le système isole les variables sémantiques d'un prompt de base en remplaant un jeton cible par des substituts tirés d'une ontologie sémantique (ex: "Noms Masculins" vs "Noms Féminins").
   • Les ontologies sont générées via ConceptNet (requêtes BFS) ou des LLM optimisés par instruction.
   • Un mécanisme Human-in-the-Loop permet aux utilisateurs de modifier, supprimer ou créer des ontologies personnalisées afin de prévenir l'ambiguïté circulaire et d'assurer le contrôle humain sur les paramètres analytiques.

2. Génération de Texte et Alignement de Jetons :

   • Le système exécute la génération de texte pour tous les prompts augmentés via l'inférence locale ou des API externes.
   • Il enregistre le texte généré, les probabilités au niveau du jeton et les métadonnées.
   • Fusion de Sous-jetons (Subword Token Merging) : Pour gérer les tokeniseurs de sous-mots (ex: BPE), le pipeline fusionne les sous-jetons en mots entiers, calculant la moyenne géométrique de leurs probabilités pour éviter de pénaliser les mots plus longs.

3. Analyse Syntaxique de Constituants (Constituency Parsing) :

   • Les sorties générées sont analysées en arbres de constituants à l'aide de la bibliothèque NLP Stanza pour créer une représentation grammaticale unifiée.
   • Un algorithme d'alignement fait correspondre les étiquettes de classes grammaticales (POS tags) du parseur aux jetons d'origine basés sur les espaces blancs afin de résoudre les écarts de tokenisation.

4. Clustering Structurel :

   • Pour remédier à l'encombrement visuel, le système supprime le contenu lexical des arbres pour créer des "chaînes squelettes" (uniquement des étiquettes structurelles).
   • Ces squelettes sont regroupés par clustering agglomératif utilisant la distance d'édition d'arbre (Tree Edit Distance - TED) ou des heuristiques (Levenshtein, N-gram Jaccard).
   • Le système conserve les $k$ structures grammaticales les plus fréquentes pour former l'ossature visuelle, tout en écartant les valeurs aberrantes de faible fréquence pour maintenir la clartité visuelle. Un ensemble complet de toutes les phrases est conservé séparément pour les calculs de probabilité globale.

5. Classification Sémantique :

   • Au lieu de dictionnaires statiques, le système utilise une méthode de Classification Contextuelle Assistée par LLM : un LLM auxiliaire classifie les mots-clés filtrés (noms, adjectifs, noms propres) dans le contexte de la phrase complète pour gérer la polysémie.
   • Overrides de l'Utilisateur basés sur la RAG : Les utilisateurs peuvent corriger manuellement les erreurs de classification dans l'interface front-end. Ces corrections sont sauvegardées et injectées dans le prompt du LLM auxiliaire pour les exécutions suivantes, garantissant une classification déterministe et vérifiée par l'humain.

6. Construction d'Arbre et Métriques de Probabilité :

   • Les nœuds sont fusionnés à l'aide d'une clé composite (texte_du_jeton, catégorie_sémantique) pour empêcher la fusion de mots polysémiques.
   • Le système calcule deux métriques de probabilité distinctes pour la visualisation :
     • Probabilité Sélectionnée ($P_{selected}$) : La confiance moyenne des jetons sur les phrases structurellement conservées (visualisée par la largeur des liens).
     • Probabilité Globale ($P_{global}$) : La somme des probabilités des jetons à travers toutes les occurrences générées, normalisée par le nombre de l'ensemble sélectionné. Cela garantit que les jetons fréquents dans l'ensemble total mais élagués par le clustering restent visuellement proéminents (hauteur des nœuds).

Contributions Clés

1. Interface d'Analyse Visuelle (Adaptation de Sankey)

TREETRACER utilise une nouvelle adaptation du diagramme de Sankey pour visualiser les arbres de probabilités agrégées. Il découple les règles strictes de conservation de flux pour satisfaire les besoins d'audit de biais :

• Hauteur du Nœud : Encode $P_{global}$, représentant la masse de probabilité mise à l'échelle du chemin de jeton à travers tous les échantillons.
• Largeur du Lien : Encode $P_{selected}$, visualisant la confiance localisée du modèle restreinte au sous-ensemble structurel sélectionné.
• Ce double codage garantit que les biais forts cachés dans les variations syntaxiques écartées restent visibles.

2. Modes d'Inférence Comparative et Contrastive

• Juxtaposition : Visualisation côte à côte de deux arbres pilotés par l'ontologie pour permettre une comparaison directe de la divergence structurelle.
• Superposition : Une vue fusionnée interactive aligne les arbres de différentes ontologies via un algorithme de fusion verticale inter-arbres, préservant les statistiques d'origine doubles.
• Inférence Contrastive : Pour traiter le "point aveugle statistique" où les algorithmes de décodage abandonnent les jetons de plus faible probabilité, le système effectue une inférence contrefactuelle. Il force le modèle à calculer les probabilités brutes pour des jetons spécifiques sous les deux conditions originales (Ontologie A et B) et visualise le Ratio de Division Contrastive ($R_{split}$) comme des faisceaux divisés au sein des arêtes.

3. Validation du Système

Le système a été validé à travers cinq études de cas comparant une base non alignée (GPT-2 XL) contre des modèles Apertus constitutionnellement alignés :

• Biais de Genre : A révélé des biais cachés dans les associations professionnelles (ex: noms féminins liés à des rôles de soin, noms masculins à des rôles exécutifs) et la suppression de pronoms contrefactuels.
• Toxicité : A exposé des biais d'entraînement historiques où des appellations géographiques arabes étaient liées à des clusters de "Extrémisme Politique et Religieux", tandis que des appellations occidentales étaient liées à des caractéristiques positives.
• Jeu de Rôle de Persona : A démontré comment les contraintes de jeu de rôle activent des stéréotypes de genre (ex: des PDG femmes décrites via le travail émotionnel vs des PDG hommes via l'intelligence).
• Désinformation Médicale : A montré comment les modèles alignés (Apertus) s'effondrent structurellement en nœuds de refus catégorique pour les substances dangereuses, tandis que les modèles non alignés (GPT-2) génèrent des instructions cohérentes mais nocives.
• Biais Syntaxique : A mis en évidence des "corrélations spécieuses de domaine syntaxique" où les modèles non alignés appliquent rigidement des modèles géographiques aux aliments, tandis que les modèles alignés s'adaptent sémantiquement.

4. Étude Utilisateur

Une étude utilisateur préliminaire auprès de sept étudiants en informatique a confirmé que l'interface comparative agrégée :

• Réduit la charge cognitive par rapport aux outils de recherche en faisceau standards (ex: generAItor).
• Soutient efficacement les analystes dans la détection des biais systémiques.
• A obtenu un score de 76,9 sur l'Échelle d'Usabilité du Système (SUS), indiquant une haute utilisabilité.

Signification et Revendications

L'article affirme que TREETRACER comble le fossé entre la génération de texte stochastique et le besoin d'un audit de biais rigoureux. Sa principale signification réside dans le passage d'une inspection isolée d'instances uniques vers une comparaison agrégée et sensible à la classification.

Les auteurs soutiennent que :

1. Les biais cachés sont exposés : Le biais réside souvent dans les branches de faible probabilité et les variations syntaxiques que les inspections top-k ou de recherche en faisceau standard manquent. TREETRACER rend ces "associations cachées" explicites.
2. L'Ontologie comme variable de contrôle : En traitant les ontologies comme des variables indépendantes contrôlées, le système permet de séparer les effets sémantiques des modèles (templates) syntaxiques, offrant un outil plus robuste pour évaluer les préjudices de représentation que les modèles statiques.
3. Rigueur Contrefactuelle : L'inclusion de l'inférence contrastive réduit le risque de mauvaise interprétation de la présence de biais en calculant et en affichant les probabilités de jetons contrefactuels, garantissant que l'absence d'un mot dans la sortie finale ne masque pas sa probabilité sous-jacente.

Le travail conclut qu'en combinant l'agrégation visuelle, la fusion sensible à la classification et l'inférence contrastive, on fournit une base évolutive pour la recherche future sur la sécurité et l'alignement de l'IA, permettant la détection de préjudices de représentation systémiques même lorsqu'ils sont absents des résultats les mieux classés.