Are You Sure You're Sure? On the Impact of Instruction Tuning on Confidence and Lexical Diversity
Cet article étudie l'impact de l'ajustement d'instruction sur les modèles de langage, constatant que, bien qu'il augmente systématiquement la confiance verbalisée et réduise la diversité des rationales, il produit des effets variables sur la diversité lexicale de surface et dégrade la calibration basée sur la vraisemblance sans modifier de manière significative la précision prédictive.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous parlez à un robot très intelligent et très cultivé. Vous lui posez une question, et il répond d'une voix assurée, expliquant précisément pourquoi il pense avoir raison. Mais voici le hic : parfois, ce robot fait simplement semblant d'être sûr de lui. Il peut deviner de manière totalement arbitraire tout en ayant l'air d'un professeur. C'est un problème majeur dans le monde de l'Intelligence Artificielle, plus précisément pour les « Large Language Models » (LLM) — ces ordinateurs super intelligents qui écrivent des histoires, résolvent des problèmes mathématiques et répondent à des questions de culture générale.
Pour comprendre cet article, vous devez connaître deux choses. Premièrement, l'Instruction Tuning (l'ajustement par instructions). Considérez un modèle d'IA brut comme un étudiant brillant mais chaotique qui connaît un million de faits mais ne sait pas comment suivre les règles d'un professeur. L'« instruction tuning » est comme envoyer cet étudiant dans un camp d'entraînement spécial où il apprend à écouter les consignes, à suivre des directives et à répondre à des questions selon un format spécifique. Cela le rend généralement bien meilleur pour faire ce que nous voulons. Deuxièmement, la Confiance et la Diversité. Lorsqu'une IA répond, elle peut nous dire à quel point elle est sûre d'elle (la confiance). Elle génère également des « rationales » — de petites explications de son raisonnement. La « diversité lexicale » est simplement une façon sophistiquée de dire « combien de mots et de structures de phrases différents elle utilise ». Si une IA réfléchit vraiment intensément, elle essaiera peut-être d'expliquer sa réponse de différentes manières. Si elle se contente de réciter un script, elle aura l'air de la même façon à chaque fois.
Pourquoi est-ce important ? Parce que dans la vie réelle — comme lorsqu'un robot médecin diagnostique un patient ou qu'un robot avocat examine un contrat — nous avons besoin de savoir si le robot est réellement dans le vrai ou s'il se contente de paraître confiant. Si le robot devient plus bruyant et plus répétitif sans devenir réellement plus intelligent, c'est un piège dangereux.
L'expérience de l'« Étudiant trop sûr de lui »
Dans cette étude, les chercheurs ont décidé de jouer les détectives. Ils voulaient voir ce qui arrive à ces étudiants IA après avoir terminé leur camp d'entraînement de l'« Instruction Tuning ». Plus précisément, ils se sont demandé : Le robot devient-il plus confiant parce qu'il a réellement appris davantage, ou fait-il simplement semblant d'être plus confiant tandis que ses explications deviennent ennuyeuses et répétitives ?
Ils ont pris trois familles différentes de modèles d'IA (considérez-les comme trois écoles différentes : Qwen, Mistral et Llama) et ont comparé leurs versions « avant » et « après ». Ils leur ont posé des milliers de questions issues de tests scientifiques, de quiz de culture générale et de puzzles logiques.
Voici ce qu'ils ont découvert, et c'est un véritable coup de théâtre.
1. Le robot devient plus bruyant, mais pas nécessairement plus intelligent
Après l'instruction tuning, les robots sont devenus nettement plus confiants. Ils ont cessé de nuancer leurs propos. Si vous leur demandiez : « À quel point êtes-vous sûr de vous ? », ils répondaient : « Je suis sûr à 90 % ! » au lieu de « Peut-être à 50 % ».
- Le hic : Cette confiance ne correspondait pas toujours à leur précision réelle. Par exemple, sur un test (ARC-Easy), la confiance du modèle Llama est passée d'environ 49 % à 90 %, mais son score réel sur ce test est resté exactement le même, soit 82,2 %. C'était comme un étudiant levant la main et criant « Je sais ! » avec une certitude de 100 %, même s'il n'avait pas réellement amélioré son score au test. Les chercheurs ont constaté que cette « surconfiance verbalisée » se produisait systématiquement sur tous les modèles testés.
2. L'explication « scriptée »
Les chercheurs ont ensuite examiné les explications (les rationales) écrites par les robots. Ils ont mesuré deux choses :
- La diversité inter-rationales (cross-rationale diversity) : Si vous posez la même question cinq fois au robot, vous donne-t-il cinq explications différentes, ou se contente-t-il de copier-coller la même ?
- La diversité de surface (surface-level diversity) : Combien de mots et de paires de mots uniques utilise-t-il dans une seule explication ?
Les résultats étaient mitigés mais révélateurs. Les robots sont devenus beaucoup plus répétitifs lorsqu'ils expliquaient leurs réponses. Si vous posiez la même question cinq fois, les modèles ayant subi l'instruction tuning donnaaient des explications très similaires, alors que les modèles « bruts » étaient plus variés. C'est comme si le camp d'entraînement leur avait appris à s'en tenir à un script unique et sûr.
- Cependant, la « diversité de surface » (combien de mots différents ils utilisaient) était un peu chaotique. Parfois, les robots utilisaient plus de mots uniques, parfois moins. Cela dépendait du robot et du test utilisé. Il n'y avait pas de règle unique pour cela.
3. Le décalage
La découverte la plus importante est que ces deux changements — devenir plus confiant et devenir plus répétitif — ne se produisaient pas toujours ensemble de manière ordonnée.
- Parfois, le robot devenait moins incertain (plus confiant) et aussi moins diversifié dans ses explications.
- D'autres fois, il devenait moins incertain mais plus diversifié dans son choix de mots.
- Les chercheurs ont découvert que l'on ne pouvait pas simplement regarder combien de mots différents un robot utilisait pour deviner son niveau de confiance. Les deux éléments dansaient sur des rythmes différents.
4. Ce n'est pas qu'une question de longueur
Vous pourriez penser : « Peut-être que les robots sont devenus plus confiants parce qu'ils ont commencé à écrire des explications plus longues ? » Les chercheurs ont vérifié cela. Ils ont forcé les robots à écrire des explications d'une longueur exacte identique et n'ont examiné que ceux qui avaient choisi la même réponse. Même ainsi, le schéma persistait : les modèles ayant subi l'instruction tuning étaient toujours plus confiants et toujours plus répétitifs dans leurs explications. Le changement n'était pas seulement un effet secondaire de l'écriture de plus ou moins de texte ; c'était un changement fondamental dans le comportement des modèles.
Conclusion
L'article conclut que l'instruction tuning fait agir les modèles d'IA comme des étudiants trop sûrs d'eux qui ont mémorisé une seule et même façon sécurisée d'expliquer les choses. Ils ont l'air plus certains, mais ils n'en savent pas forcément plus, et ils cessent d'essayer d'expliquer les choses de manières différentes.
Les chercheurs suggèrent que c'est un signal d'alarme. Si nous nous fions à la confiance d'une IA pour savoir si elle a raison, nous pourrions être trompés. Le robot pourrait crier « Je suis sûr ! » alors qu'il ne fait que répéter son vieux script habituel. Ils ont également constaté que la confiance du robot ne correspondait pas toujours à sa précision réelle, et que ses explications devenaient moins variées, ce qui pourrait rendre plus difficile la détection de ses erreurs.
En résumé : le fait qu'un robot paraisse plus sûr de lui après son entraînement ne signifie pas qu'il est plus intelligent. Il est peut-être simplement devenu meilleur pour donner l'impression de savoir ce qu'il fait, même s'il utilise toujours les mêmes répliques.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.