Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident, Especially When They are Wrong
Cet article démontre que l'incitation par la chaîne de pensée gonfle systématiquement la confiance des grands modèles de langage, en particulier lorsqu'ils se trompent, dégradant ainsi l'étalonnage et rendant les évaluations fondées sur les probabilités peu fiables.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La Grande Idée : « Se convaincre soi-même d'avoir tort »
Imaginez que vous passez un test à choix multiples. Vous avez deux façons de répondre :
- La méthode « Intuition » : Vous lisez la question et choisissez immédiatement une réponse.
- La méthode « Montrez votre travail » : Vous rédigez une explication étape par étape de pourquoi vous pensez que cette réponse est juste, et ensuite vous choisissez la réponse.
Ce document examine ce qui arrive à un Grand Modèle de Langage (LLM) — un type d'IA qui agit comme un chatbot ultra-intelligent — lorsqu'il utilise la deuxième méthode. Les chercheurs voulaient savoir : Est-ce que expliquer sa réflexion rend l'IA plus confiante dans sa réponse ?
L'Expérience : Un Test de 57 Sujets
Les chercheurs ont soumis sept modèles d'IA différents (incluant des versions de Llama, Mistral et GPT) à un test massif appelé MMLU. Imaginez ce test comme une immense bibliothèque contenant plus de 15 000 questions couvrant 57 sujets différents, de l'histoire et des mathématiques au droit et à la biologie.
Ils ont posé les mêmes questions aux IA à deux reprises :
- Tour 1 : « Donnez-moi simplement la lettre de la réponse. » (Direct)
- Tour 2 : « Réfléchissez étape par étape, expliquez votre logique, et ensuite donnez-moi la lettre. » (Chaîne de pensée)
Les Découvertes Surprenantes
Les résultats ressemblaient un peu à observer un étudiant trop confiant dans sa propre histoire.
1. L'Effet « Boost de Confiance »
Lorsqu'on demandait à l'IA de « réfléchir étape par étape », elle devenait plus confiante dans ses réponses, que la réponse soit juste ou fausse.
- L'Analogie : Imaginez une personne qui devine la réponse à une énigme. Si elle devine simplement, elle pourrait dire : « Je pense que c'est X, mais je ne suis pas sûr. » Mais si elle passe cinq minutes à écrire une longue histoire détaillée expliquant pourquoi X est la réponse, elle commence à croire sa propre histoire. Elle dit : « Je suis sûr à 99 % que c'est X ! » même si X est en réalité faux.
2. Le Problème « Faux mais Bruyant »
Voici la partie délicate : La confiance de l'IA augmentait davantage lorsqu'elle avait tort que lorsqu'elle avait raison.
- L'Analogie : Si l'IA résout correctement un problème de mathématiques, elle pourrait se sentir sûre à 80 %. Mais si elle se trompe sur un problème de mathématiques, le fait d'écrire une longue explication qui semble logique la fait se sentir sûre à 95 %. C'est comme un avocat qui présente un argument très convaincant pour un dossier qu'il sait être perdu ; plus il parle, plus il croit son propre mensonge.
3. L'Effondrement de la « Calibration »
Dans le monde de l'IA, la « calibration » signifie : « Quand vous dites que vous êtes sûr à 90 %, êtes-vous réellement dans le vrai 90 % du temps ? »
L'étude a révélé que demander à l'IA de raisonner (Chaîne de pensée) brisait en réalité sa calibration. Elle commençait à donner des réponses à haute confiance qui étaient fréquemment incorrectes.
- L'Analogie : Imaginez un prévisionniste météo. Sans l'étape de « raisonnement », il dit : « Il pourrait pleuvoir, 50 % de chances. » Avec l'étape de raisonnement, il commence à dire : « J'ai calculé la vitesse du vent, l'humidité et les motifs des nuages, donc je suis sûr à 99 % qu'il va pleuvoir ! » Mais ensuite, il ne pleut pas. Ils sont devenus plus certains, mais moins précis.
Pourquoi Cela Se Produit-il ?
Le document suggère que cela se produit à cause de la façon dont ces IA sont construites. Elles sont « autorégressives », ce qui signifie qu'elles prédisent le mot suivant en fonction des mots qui les ont précédés.
- La Boucle de Rétroaction : Une fois que l'IA commence à écrire une étape de raisonnement qui soutient une réponse spécifique, ce texte devient partie intégrante du contexte. C'est comme si l'IA lisait sa propre dissertation et se laissait convaincre par sa propre écriture. Plus elle écrit pour soutenir une réponse, plus cette réponse semble « logique » au modèle, même si la logique est défectueuse.
- Le Phénomène « Expliquer pour Croire » : Le document note que les humains font cela aussi. Lorsque nous expliquons notre réponse, nous nous sentons souvent plus confiants à son sujet. L'IA imite ce trait humain, mais sans la capacité humaine de réaliser lorsque l'explication est absurde.
La Conclusion
Le document conclut que lorsque nous utilisons l'IA pour répondre à des questions à choix multiples, nous devons être très prudents à propos de faire confiance au « score de confiance » de l'IA si on lui a demandé de « réfléchir étape par étape ».
- Si l'IA dit : « Je suis sûr à 99 % », et qu'on lui a demandé de raisonner d'abord, elle pourrait en réalité avoir tort.
- Le processus de raisonnement n'a pas seulement aidé l'IA à trouver la bonne réponse ; il a aussi aidé l'IA à se convaincre de la mauvaise réponse avec une certitude dangereuse.
En bref : Demander à une IA de « montrer son travail » la rend meilleure pour parler, mais cela ne la rend pas nécessairement plus honnête ou plus précise dans son jugement de ses propres connaissances. En fait, cela pourrait la rendre plus confiante dans ses mensonges.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.