DS@GT ARC at Touché: Large Language Models for Retrieval-Augmented Debate

Imaginez un monde où les ordinateurs ne se contentent pas de discuter, mais cherchent réellement à argumenter. C'est le terrain de jeu de l'IA conversationnelle, une branche de la science où les machines apprennent à tenir une conversation, à débattre d'un point de vue ou même à jouer le rôle d'un avocat. Mais voici la partie délicate : comment savoir si un ordinateur argumente bien ? Dans le monde humain, nous avons des règles pour une bonne conversation, comme être clair, dire la vérité et ne pas trop parler ni trop peu. Dans l'article que vous allez lire, les chercheurs utilisent un ensemble célèbre de ces règles appelées les Maximes de Grice (considérez-les comme les « règles d'une conversation polie et efficace »). Ils utilisent également la Génération Augmentée par Récupération (Retrieval-Augmented Generation), ce qui est une façon sophistiquée de dire « l'ordinateur cherche des faits dans une bibliothèque avant de parler » afin de ne pas simplement inventer des choses. La grande question que tout le monde se pose est la suivante : si nous demandons à un groupe d'ordinateurs IA super intelligents de noter les arguments les uns des autres, seront-ils d'accord ? Et s'ils sont tous d'accord, cela signifie-t-il que l'argument est réellement bon ?

Cet article, écrit par une équipe de Georgia Tech appelée DS@GT, plonge dans une compétition récente appelée Touché 2025, dont l'objectif était de construire un robot débatteur. L'équipe a construit un système qui utilise six « super-cerveaux » différents (des modèles de langage de grande taille ou LLM) pour à la fois générer des réponses de débat et les noter. Ils ont constaté que ces super-cerveaux sont effectivement excellents pour générer des arguments, surtout lorsqu'ils peuvent d'abord rechercher des faits. Cependant, la véritable surprise est survenue lorsqu'ils ont essayé d'utiliser ces cerveaux d'IA comme juges. Les chercheurs ont découvert que, bien que les juges IA soient souvent d'accord entre eux, leur accord est un peu un piège. C'est comme demander à six jumeaux de noter un examen ; ils peuvent tous donner la même note parce qu'ils ont été élevés dans la même maison et pensent de la même manière, et non parce qu'ils sont objectivement justes.

L'équipe a mené des simulations où leurs débaturs IA argumentaient sur des sujets comme le fait que la Terre soit plate. Ils ont découvert que les juges IA étaient très stricts sur certaines règles (comme la pertinence) mais étonnamment indulgents sur d'autres (comme la politesse). La découverte la plus choquante concernait la Qualité. Les juges IA convenaient souvent qu'un argument était de « haute qualité » et lui attribuaient une note élevée, mais lorsque les organisateurs humains vérifiaient les réponses officielles, l'IA se trompait souvent. Les juges IA ont été dupés par des arguments qui semblaient convaincants mais qui étaient en réalité fragiles sur le plan factuel. L'article suggère que, juste parce qu'un groupe de modèles d'IA est d'accord sur une note, cela ne signifie pas que cette note est fiable, surtout lorsqu'il s'agit de vérifier si les faits sont vrais. En résumé, les juges IA sont doués pour repérer si une phrase est bien écrite, mais ils ne sont pas doués pour repérer si la phrase est réellement vraie, et ils ont tendance à être d'accord entre eux pour de mauvaises raisons.

L'histoire des débatteurs robots

Les chercheurs ont mis en place une arène numérique pour un débat. D'un côté, il y avait un utilisateur humain simulé formulant une affirmation. De l'autre côté, le système d'IA de l'équipe DS@GT devait répondre. Mais ce n'était pas seulement une discussion ; c'était un Débat Augmenté par Récupération. Avant de parler, l'IA était contrainte d'aller dans une bibliothèque numérique (une base de données d'arguments) et d'en extraire les dix meilleurs éléments de preuve pour soutenir son point de vue. C'est la partie « RAG » : l'IA ne pouvait pas simplement deviner ; elle devait apporter des preuves.

L'équipe a utilisé six modèles différents dits « frontières » (les plus avancés disponibles à l'époque) provenant de trois entreprises différentes : OpenAI, Google et Anthropic. Ils les ont nommés par des appellations telles que gpt-4.1, gemini-2.5-pro et claude-opus-4. Ces modèles avaient une tâche spécifique : générer une réponse à l'argument de l'utilisateur. L'équipe a ensuite pris ces réponses et a demandé à ces mêmes modèles (et à d'autres) d'agir en tant que juges. Les juges devaient noter les réponses en se basant sur quatre règles :

1. Quantité : Ont-ils dit assez, mais pas trop ?
2. Qualité : Était-ce vrai et soutenu par des preuves ?
3. Relation : Est-ce resté sur le sujet ?
4. Manière : Était-ce clair et poli ?

Le problème des « Jumeaux »

C'est ici que l'histoire devient intéressante. Les chercheurs voulaient savoir : « Si tous ces juges IA donnent la même note, peut-on faire confiance à cette note ? » Ils ont lancé une simulation massive impliquant 100 sujets de débat différents et des milliers de tours.

D'abord, ils ont examiné la performance des modèles d'IA en tant que débatteurs. Les résultats étaient impressionnants. Les modèles qui utilisaient la stratégie « chercher les faits d'abord » ont très bien réussi. Par exemple, le modèle gpt-4.1 a réussi à obtenir un score moyen de 0,70 pour le respect des règles de conversation, ce qui est l'un des plus élevés de la compétition. Cela a montré que donner accès à une bibliothèque aide l'IA à mieux argumenter.

Mais ensuite, ils ont observé les modèles d'IA en tant que juges. Ils ont demandé : « Ces juges sont-ils d'accord entre eux ? » La réponse fut un oui retentissant, mais avec un bémol. Les juges de la même entreprise (comme les deux modèles Google ou les deux modèles Anthropic) étaient presque parfaitement d'accord entre eux. Par exemple, les deux juges Anthropic avaient une corrélation de 0,844 sur l'ensemble des règles. C'est comme deux jumeaux finissant un puzzle et disant : « Nous pensons tous les deux que le ciel est bleu », non pas parce qu'ils ont regardé le ciel, mais parce qu'ils partagent le même câblage cérébral.

Les chercheurs ont réalisé que cet accord élevé était trompeur. Ils ont comparé les scores des juges IA aux scores officiels donnés par les organisateurs humains. Les résultats montraient un décalage.

• Pour la Quantité et la Relation, l'accord des juges IA était relativement proche des scores humains.
• Mais pour la Qualité, l'écart était énorme. Les juges IA pensaient que les réponses étaient excellentes (donnant des notes élevées), mais les organisateurs humains leur attribuaient des notes très basses. Dans les résultats officiels, la session gpt-4.1 n'a obtenu que 0,17 pour la Qualité, ce qui signifie qu'elle a échoué à fournir des arguments factuellement corrects la plupart du temps. Pourtant, les juges IA lui avaient attribué des notes élevées.

L'expérience de la « Supervision Faible »

L'équipe a tenté de résoudre ce problème. Ils se sont demandé : « Et si nous introduisions des juges plus "faibles" ? » Ils ont ajouté des modèles open-source plus petits (comme les modèles LLaMA-8B utilisés par une autre équipe appelée SINAI) et des règles informatiques simples (comme le comptage de la longueur des mots) pour voir s'ils pouvaient briser l'accord des « jumeaux ».

Ils ont utilisé une astuce statistique appelée supervision faible pour combiner toutes ces opinions différentes. Ils espéraient qu'en ajoutant des juges qui pensent différemment, ils pourraient obtenir un score plus précis.

• Lorsqu'ils ont ajouté les juges plus faibles, les classements ont légèrement changé.
• Cependant, la corrélation entre le « consensus » des juges IA et le score « officiel » humain est restée faible. Pour la métrique de Qualité, la corrélation n'était que de 0,224 (avec le pool élargi) et de 0,286 (avec le modèle dépendant de la structure).

Cela signifie que même en essayant de diversifier les approches, les juges IA ne parvenaient toujours pas à prédire de manière fiable ce que les humains considéreraient comme un « bon » argument. L'article suggère que les juges IA sont trop doués pour repérer le style (la phrase est-elle fluide ? est-elle polie ?) mais mauvais pour repérer la substance (le fait est-il vrai ?).

La grande conclusion

L'article se conclut par un avertissement pour quiconque construit des débaturs IA. Ce n'est pas parce qu'un groupe de modèles d'IA super intelligents est d'accord pour dire qu'un argument est « bon » que cela signifie qu'il l'est. Ils peuvent simplement être d'accord parce qu'ils ont été entraînés sur des données similaires et partagent les mêmes biais. Cela est particulièrement vrai pour la Qualité. Les modèles d'IA peuvent être dupés par une réponse qui semble assurée et bien structurée, mais qui est en réalité truffée de mensonges ou de faits inventés.

Les auteurs suggèrent qu'à l'avenir, nous ne pouvons pas simplement compter sur l'IA pour noter l'IA. Nous devons être plus spécifiques. Au lieu de demander à une IA : « Est-ce un bon argument ? », nous devrions demander séparément : « Ce fait est-il vrai ? » et « Cette preuve est-elle réelle ? ». Tant que nous ne pourrons pas faire cela, le « consensus » des juges IA est un peu comme une pièce remplie de gens qui opinent du chef en signe d'accord : ils peuvent tous avoir tort, et ils peuvent tous avoir tort pour la même raison. L'article ne prétend pas avoir résolu ce problème, mais il met en lumière le problème, nous montrant que le chemin vers un débat d'IA fiable est bien plus difficile que le simple fait de demander à l'IA de s'auto-évaluer.