Résumé technique : Circuits de juge

Énoncé du problème

Le paradigme « LLM-as-a-Judge » (LaaJ) est devenu la norme pour l'extension de l'évaluation des modèles, mais il souffre d'un problème critique de fiabilité : les modèles attribuent systématiquement des scores différents au même entrée selon le format de sortie (par exemple, une note de 1 à 5 par rapport à une classification Vrai/Faux). Des travaux antérieurs ont documenté cette incohérence mais se sont arrêtés au niveau entrée-sortie, sans expliquer les mécanismes computationnels internes. La question centrale abordée par cet article n'est pas de savoir si les modèles jugent de manière cohérente, mais où dans le chemin computationnel de l'entrée à la sortie l'incohérence induite par le format de token d'origine.

Méthodologie

Les auteurs emploient le Position-aware Edge Attribution Patching (PEAP) pour investiguer de manière causale les mécanismes internes des circuits de juge dans les modèles Gemma-3, Qwen2.5 et Llama-3. Leur approche comprend :

1. Découverte de circuits : Utilisation du PEAP pour tracer les arêtes causales à travers les positions de tokens (essentielles pour les tâches comparant des segments séparés comme prémisse vs hypothèse) depuis les tokens d'entrée différentiels (prompts propres vs corrompus) jusqu'à la sortie.
2. Décomposition contrastive : Traçage de deux circuits pour les mêmes instances de données : l'un pour une tâche de notation ($C_{rate}$) et l'autre pour une tâche de contrôle de classification ($C_{class}$). L'intersection de ces circuits ($C_{LE} = C_{rate} \cap C_{class}$) définit l'Évaluateur Latent (LE), tandis que les différences définissent les Formatteurs de Tâche (TF).
3. Sondes causales : Validation des circuits découverts par trois méthodes indépendantes :
   • Ablation Zéro : Mise à zéro des composants LE pour tester si les connaissances du monde sont préservées tandis que le jugement s'effondre.
   • Pilotage de sous-espace : Identification d'une direction de jugement 1D dans l'espace d'activation du LE et pilotage de celle-ci pour observer les changements de sortie.
   • Injection de transfert de format (FTI) : Capture des activations LE à partir d'un prompt de notation et injection dans le graphe d'un prompt de classification pour voir si le token de sortie bascule.

Contributions et résultats clés

1. Découverte d'un Évaluateur Latent partagé

L'étude identifie un sous-graphe Évaluateur Latent (LE) sparse et généralisé situé dans les Perceptrons Multicouches (MLP) de milieu à fin de réseau et dans certaines têtes d'attention tardives.

• Chevauchement inter-tâches : Des tâches de jugement distinctes (correction linguistique structurée, préférence et sentiment) partagent un tronc computationnel dense. Par exemple, sur Qwen2.5-7B, l'IoU d'arêtes entre les tâches varie de 34,9 % à 47,0 %.
• Fidélité : Ces circuits sparses (top-$k \le 200$ arêtes) sont causalement suffisants, récupérant $\ge 87\%$ du comportement d'évaluation du modèle dans 21 configurations modèle-tâche sur 25.

2. Modularité dépendante de l'architecture

L'isolation fonctionnelle du LE n'est pas une conséquence universelle de l'échelle mais dépend de l'architecture du modèle :

• Modèles modulaires : Dans Qwen2.5-7B, Qwen2.5-14B, Llama-3.1-8B et Gemma-3-27B, l'ablation à zéro du LE fait s'effondrer les performances de jugement tout en laissant intactes les connaissances du monde (MMLU, StrategyQA).
• Modèles entrelacés : Dans Gemma-3-12B, le LE est étroitement entrelacé avec les voies de connaissances du monde ; son ablation dégrade à la fois le jugement et le rappel factuel. Cela indique que la modularité est une propriété architecturale, et non simplement une fonction du nombre de paramètres.

3. Mécanisme de l'incohérence induite par le format

L'article fournit une explication mécaniste de la raison pour laquelle les changements de format provoquent une incohérence :

• La séparation : Le jugement est calculé par un signal stable et continu dans le tronc LE partagé. Ce signal est ensuite mappé vers des tokens de sortie spécifiques par des branches terminales fragiles et spécifiques au format (Formatteurs de Tâche).
• Le goulot d'étranglement : L'incohérence ne surgit pas dans l'évaluation elle-même, mais dans le routage. Le LE calcule une direction de jugement stable 1D, mais la « géométrie d'attracteur » du Formatteur de Tâche (la façon dont il mappe ce scalaire vers des tokens discrets) varie selon le format et le modèle.
  • Formats binaires/ordinaux : Dans les formats avec des attracteurs clairs (par exemple, Oui/Non binaire ou échelles 1–5), le signal LE est correctement décodé.
  • Formats multi-attracteurs : Dans des tâches comme MNLI (Enchaînement/Neutre/Contradiction), le formatteur répartit la masse de probabilité sur trois tokens concurrents. L'injection d'un signal de jugement 1D échoue souvent à faire basculer la sortie car le signal se fragmente sur les trois attracteurs, empêchant une étiquette unique d'atteindre l'argmax.
• Preuve FTI : L'injection d'activation globale depuis un prompt de notation vers un prompt de classification fait basculer le token de sortie dans les modèles modulaires (par exemple, Qwen2.5-7B bascule $\ge 99\%$ des cas) mais échoue dans les modèles où le formatteur est géométriquement isolé (par exemple, Gemma-3-27B sur MNLI).

4. Implications pratiques pour l'évaluation

Les auteurs démontrent que la direction causale 1D du LE peut servir de scalaire de jugement zero-shot.

• Sur des données de préférence de petite $N$ (où les sorties promptées sont mal calibrées et les sondes supervisées surajustent), ce signal latent correspond ou dépasse les sondes résiduelles supervisées.
• Cependant, sur des tâches où le vocabulaire prompté est aligné à l'échelle avec les étiquettes humaines (par exemple, les notes 1–5 étoiles de Yelp), les valeurs attendues pondérées par la probabilité restent une forte référence que la direction latente ne dépasse pas.

Importance et affirmations

L'article reformule le débat sur la fiabilité du LaaJ. Il soutient que l'incohérence comportementale sous des perturbations de format est la signature attendue d'un jugement interne stable routé via une mappage terminal fragile, plutôt qu'un échec de la capacité d'évaluation sous-jacente.

• Changement de diagnostic : La question de diagnostic passe de « Le modèle juge-t-il de manière cohérente ? » à « Le formatteur pour cette spécification de sortie préserve-t-il le jugement sous-jacent ? ».
• Interprétation des benchmarks : Les comparaisons de fiabilité au niveau des benchmarks à travers les formats mesurent partiellement la géométrie du formatteur plutôt que la qualité de l'évaluation.
• Insight architectural : Les résultats remettent en question l'hypothèse selon laquelle des abstractions internes propres émergent génériquement avec l'échelle ; au contraire, les choix architecturaux (données d'entraînement, parcimonie de l'attention, normalisation) jouent un rôle porteur dans la détermination de l'exhibition d'une modularité fonctionnelle par un modèle.

Les auteurs concluent que les correctifs pour l'incohérence du LaaJ doivent cibler le formatteur (le mécanisme de routage) sans perturber la compétence de jugement centrale du modèle, et que l'extraction de sous-espace latent est une alternative viable aux sorties promptées, en particulier dans les régimes où les sorties discrètes sont mal calibrées.