Arguments that Alter Minds: LLM Rationales Sway Human (and LLM) Notions of Plausibility

Résumé technique : Les arguments qui modifient les esprits : les rationales des LLM influencent les notions de plausibilité humaines (et des LLM)

Énoncé du problème
Les tests de raisonnement de bon sens (par exemple, Social IQA, CommonsenseQA) évaluent généralement les modèles en leur demandant de sélectionner la réponse la plus plausible parmi plusieurs choix. Contrairement aux problèmes logiques ou mathématiques, ces réponses existent sur un continuum de plausibilité plutôt que d'être définitivement vraies ou fausses. Bien que les annotateurs humains soient traditionnellement considérés comme des « experts » dans ce domaine, l'article examine si les modèles de langage de grande taille (LLM) peuvent générer des arguments (rationales) qui modifient systématiquement les jugements humains et des LLM concernant la plausibilité de ces choix de réponses. Plus précisément, les auteurs se demandent si les rationales générées par les LLM de type « PRO » (soutien) et « CON » (réfutation) peuvent influencer les évaluations de plausibilité humaines, même dans des domaines où les humains possèdent des connaissances intuitives solides.

Méthodologie
L'étude s'appuie sur un cadre préalable d'évaluation de la plausibilité (Palta et al., 2024) utilisant deux ensembles de données : Social IQA (SIQA) et CommonsenseQA (CQA).

1. Construction des données : Les auteurs ont échantillonné 100 questions (50 de chaque ensemble de données). Pour chaque question, ils ont sélectionné l'étiquette d'or (la réponse correcte) et un distracteur sélectionné aléatoirement (la réponse incorrecte).
2. Génération de rationales : En utilisant GPT-4o (sélectionné via une étude de préférence pour sa capacité à générer des arguments convaincants), les auteurs ont généré trois types de rationales pour chaque paire (question, réponse) :
   • PRO : Un argument soutenant la plausibilité de la réponse.
   • CON : Un argument soutenant l'implausibilité de la réponse.
   • PRO+CON : Les deux arguments présentés ensemble.
3. Évaluation humaine : Les auteurs ont recueilli 3 000 nouveaux jugements de plausibilité humaine (en utilisant une échelle de Likert de 1 à 5 : Impossible à Très probable) selon quatre conditions : Sans Rationale, PRO, CON et PRO+CON.
4. Évaluation par LLM : En parallèle, 17 LLM différents (divisés en familles OpenAI et Non-OpenAI) ont été sollicités pour évaluer la plausibilité des mêmes éléments sous les quatre mêmes conditions, générant 13 600 jugements.
5. Analyse : L'étude a comparé les moyennes des évaluations de plausibilité entre les conditions et a effectué une régression par moindres carrés ordinaires (OLS) pour identifier les facteurs (par exemple, l'évaluation initiale, le type de rationale) qui déterminent les changements de scores.

Résultats clés

• Effet d'influence (Swaying Effect) : Les jugements de plausibilité, tant humains que des LLM, sont significativement influencés par la présence de rationales. Les rationales PRO augmentent généralement les moyennes, tandis que les rationales CON les diminuent.
• Réponse humaine bimodale aux rationales PRO : Une découverte critique est la réaction divergente aux rationales PRO selon le type de réponse. Pour les distracteurs (réponses incorrectes), les rationales PRO ont réussi à augmenter les moyennes humaines. Cependant, pour les réponses d'or (correctes), les rationales PRO ont, de manière surprenante, abaissé les moyennes humaines. Les auteurs suggèrent que cela peut être dû à la maxime de quantité de Grice, où les humains interprètent le besoin d'un argument comme un signal que le fait n'est pas évident de soi, « sous-vendant » ainsi l'évidence de la réponse correcte.
• Sensibilité des LLM : Les LLM ont également montré des changements significatifs dans leurs évaluations. Contrairement aux humains, les LLM ont généralement augmenté leurs évaluations pour les étiquettes d'or lorsqu'ils étaient confrontés à des rationales PRO. Les modèles OpenAI semblaient plus sensibles aux rationales (générées par GPT-4o) que les modèles Non-OpenAI, ce qui pourrait indiquer un biais de préférence pour soi-même.
• Effet d'ancrage : L'analyse de régression a révélé un fort effet d'ancrage : plus l'évaluation de plausibilité initiale d'une réponse est élevée, plus le changement ultérieur après l'introduction d'une rationale est faible. Cet effet est plus prononcé pour les distracteurs que pour les étiquettes d'or, suggérant que les jugements initiaux sur les réponses incorrectes sont plus rigides.
• Dominance des CON : Les rationales CON ont exercé une influence négative plus forte sur les évaluations que les rationales PRO n'ont exercé d'influence positive. Lorsque PRO et CON étaient présentés ensemble, la composante opposée avait tendance à dominer, entraînant souvent une diminution nette des évaluations de plausibilité.
• Longueur de la rationale : La longueur de la rationale (nombre de mots) n'a montré aucune relation linéaire significative avec l'ampleur des changements d'évaluation.

Signification et affirmations
L'article affirme démontrer une utilisation novatrice des LLM pour étudier certains aspects de la cognition humaine, spécifiquement la manière dont les arguments externes influencent la formation des croyances dans le raisonnement de bon sens. Les auteurs soulignent plusieurs implications :

• Vulnérabilité du jugement humain : Même dans des domaines où les humains sont considérés comme des « experts » (le bon sens quotidien), les arguments générés par les LLM peuvent influencer de manière significative les croyances humaines. Cela soulève des inquiétudes quant au potentiel de manipulation persuasive, car les utilisateurs pourraient privilégier la plausibilité de l'argument d'un LLM par rapport à leur propre connaissance.
• Défis d'alignement : L'étude souligne la difficulté d'aligner les jugements générés par l'IA avec l'intuition humaine, particulièrement dans les tâches de raisonnement subjectif où les humains et les LLM réagissent différemment aux mêmes stimuli (par exemple, l'effet bimodal sur les étiquettes d'or).
• Sécurité et collaboration : Les résultats suggèrent que les LLM peuvent efficacement orienter le jugement humain vers des inférences plus implausibles. Cela met en évidence une vulnérabilité critique dans la collaboration humain-IA, nécessitant des mesures de protection telles que la transparence et l'atténuation des biais pour prévenir les utilisations manipulatrices nuisibles.
• Contribution méthodologique : Ce travail fournit une preuve empirique que les rationales des LLM peuvent altérer la plausibilité perçue des scénarios de bon sens, remettant en question l'hypothèse selon laquelle l'intuition humaine dans ces domaines est immunisée contre l'influence algorithmique.

Les auteurs restent modestes quant à la portée de leurs travaux, notant que leurs conclusions sont spécifiques aux ensembles de données de bon sens en langue anglaise et que le pouvoir de persuasion peut varier selon les modèles, les langues et les domaines plus contraints (par exemple, le raisonnement juridique ou scientifique).