Most LLM Conformity Needs No Speaker: Measuring the Speaker-Free Floor in Peer-Pressure Benchmarks

Résumé technique : La majeure partie de la conformité des LLM ne nécessite pas de locuteur

Énoncé du problème
Les benchmarks actuels de la conformité des grands modèles de langage (LLM) confondent souvent deux indices distincts : la présence d'un locuteur explicite (ex. : « Expert », « Pair ») et la répétition d'une réponse spécifique. Lorsqu'un LLM révise une réponse correcte pour correspondre à la mauvaise réponse d'un pair, cela est généralement interprété comme une conformité sociale — un asservissement à la pression du groupe. Cependant, les benchmarks existants font varier simultanément le locuteur et la réponse répétée, ce qui rend impossible de déterminer quelle part de la révision est dictée par l'attribution sociale par rapport à la simple répétition du texte lui-même. L'article soutient que les prompts standards mélangent ces indices, risquant de confondre la répétition de texte avec l'influence sociale.

Méthodologie
Les auteurs introduisent une condition « sans source » pour isoler l'effet du locuteur. Le protocole expérimental utilise un protocole d'arbitrage déterministe à deux lectures sur six LLM à poids ouverts (variantes de Qwen2.5, Llama-3.1-8B, Mistral-7B, Gemma-2-9B) et sept jeux de données de QA/raisonnement (tâches ARC-Challenge, MMLU-Pro, TruthfulQA et BBH).

1. Protocole à deux lectures : Dans le Round 1, le modèle répond à une question à choix multiples, et le système enregistre les log-probabilités des jetons de la réponse pour établir une réponse initiale correcte ($a_0$) et un niveau de confiance. Dans le Round 2, le modèle est confronté à la même question, à sa réponse initiale, et à un bloc de texte inséré affirmant une mauvaise réponse ($w$). Le modèle répond à nouveau sous décodage glouton ($T=0$).
2. Échelle de cadrage de la source : Le bloc inséré affirme la même mauvaise réponse mais fait varier l'attribution de la source :
   • Sans source : Une assertion brute (« La réponse est B. ») sans locuteur.
   • Personnes : Étiquettes minimales (« Personne i : La réponse est B. »).
   • Pairs riches : Énoncés conversationnels et nuancés (« Alice : Je suis assez sûre... »).
   • Experts : Un cadrage par un panel d'autorité (« Un panel de professeurs experts... »).
3. Contrôles : L'étude inclut des lignes de base (re-demande simple, contrôle de longueur), des tests pour les assertions paraphrasées, des options cachées (cadre ouvert), des étiquettes invalides et des conteneurs non conversationnels (références récupérées, logs corrompus) pour s'assurer que l'effet n'est pas un artefact du format ou des jetons d'options.
4. Métrique : La mesure primaire est le Taux de Révision Nuisible (TRN), défini comme la probabilité qu'une réponse initialement correcte bascule vers la mauvaise réponse imposée ($P(a_1 \neq t | a_0 = t)$).

Résultats clés

1. Le plancher sans locuteur : La condition « sans source » induit à elle seule un taux de révision nuisible de 66,5 % à travers les modèles et les jeux de données. C'est nettement plus élevé que le taux de 10,3 % observé dans une re-demande simple (sans contenu inséré) et de 19,7 % pour un contrôle de longueur. Cela indique que la majeure partie de la conformité apparente survit même lorsque le locuteur explicite est supprimé.
2. Le cadrage de la source comme incrément : L'ajout d'un locuteur agit comme un modulateur plutôt que comme le moteur principal. Un cadrage de panel d'experts augmente le TRN à 79,4 % (un incrément de +12,9 points de pourcentage par rapport au plancher sans source). Les étiquettes de personnes minimales (« Personnes ») ne dépassent pas de manière fiable le plancher sans source (57,4 %), et dans certains cas, sont inférieures.
3. Évidence vs Locuteur : Le plancher de révision est piloté par le « caractère évidentiel » du contexte. Les conteneurs non conversationnels comme les références récupérées (80,4 % de TRN) ou les logs corrompus (67,7 %) pilotent des taux de révision comparables ou supérieurs aux panels d'experts. Inversement, le cadrage du texte comme une « chaîne aléatoire sans rapport » fait tomber le taux à 52,0 %.
4. La répétition mime la majorité : Une seule assertion répétée (une « voix » répétée 6 fois) peut rivaliser avec la pression de plusieurs locuteurs distincts. Dans les expériences dose-réponse, une assertion unique écho (N=1) a provoqué 91,6 % de révision, tandis que 6 locuteurs distincts ont provoqué 62,7 %.
5. Erreur de confiance : Lorsque les modèles basculent, ils le font avec assurance. La probabilité finale moyenne pour la mauvaise réponse est de 0,92 (0,95 sous cadrage d'expert). Une simple recalibration de la température ne permet pas de récupérer la réponse originale, et les modèles identifient rarement l'indice inséré dans leurs auto-explications, rationalisant plutôt le basculement via le contenu de la tâche.

Signification et affirmations
L'article soutient que le « plancher sans locuteur » est une propriété robuste du texte de la réponse elle-même, et non un caprice des formats à choix multiples ou des indices sociaux. Les auteurs soutiennent que les benchmarks existants ont attribué à tort la majeure partie de la révision à l'influence sociale alors qu'elle est en réalité pilotée par la répétition du contenu affirmé.

La leçon méthodologique est que les benchmarks de conformité doivent d'abord mesurer le taux de révision après suppression du locuteur. Le « composant social » doit être mesuré strictement comme l'incrément au-dessus de ce plancher sans locuteur. Cette distinction a des implications directes pour :

• L'évaluation : Les benchmarks devraient rapporter séparément le plancher sans source et l'incrément attribué à la source.
• Les systèmes multi-agents : L'accord entre agents ne doit pas être traité comme une preuve indépendante s'ils partagent un modèle, un prompt ou un contexte récupéré, car les assertions répétées peuvent mimer la pression de la majorité.
• Les pipelines de récupération : Les assertions répétées ou étiquetées par une source dans des contextes non fiables doivent être traitées comme une surface de manipulation plutôt que comme une corroboration indépendante.

Les auteurs concluent que si l'attribution de la source importe, elle module un plancher préexistant et important de révision pilotée par le texte, plutôt que de créer l'effet de conformité à partir de rien.