Accuracy and Order Sensitivity Diverge Under Label-Free Strategies
Cet article démontre que, bien que le fait d'empêcher les grands modèles de langage de voir les étiquettes des options lors de la réponse à des questions à choix multiples élimine avec succès le biais de position, cela échoue à améliorer la précision et dégrade souvent la performance, révélant que le principal goulot d'étranglement est la rétention des options plutôt que le mécanisme d'appariement.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous passiez un examen à choix multiples dans une salle de classe. Vous connaissez la réponse, mais l'enseignant a mélangé l'ordre des choix sur la page. Soudain, vous choisissez la mauvaise lettre, non pas parce que vous avez oublié le fait, mais parce que votre cerveau a été confus par le nouvel agencement. C'est le monde étrange des Grands Modèles de Langage (LLM) — des programmes informatiques super intelligents qui discutent et écrivent comme des humains. Les scientifiques utilisent des questions à choix multiples pour tester ce que ces modèles « savent », mais ils ont découvert un bug : les modèles agissent souvent comme des étudiants nerveux qui sont trop sensibles à l'endroit où les réponses sont placées sur la page. Si les choix sont listés A, B, C, D, le modèle peut réussir ; si on les mélange en B, A, D, C, il peut échouer. Cela rend les scores aux tests peu fiables, car nous ne pouvons pas savoir si le modèle est réellement intelligent ou s'il est simplement doué pour deviner le motif des lettres. Les chercheurs veulent corriger cela afin de pouvoir faire confiance à ce que ces modèles d'IA disent réellement.
Dans cet article, deux scientifiques de l'Université Queen's de Belfast, Karl Hanna et Chen Feng, ont décidé de tester une idée ingénieuse pour corriger ce « problème de mélange ». Ils se sont demandé : et si nous demandions au modèle d'écrire sa réponse en anglais courant d'abord, sans voir du tout les options à choix multiples ? Ensuite, dans une seconde étape, nous pourrions demander au modèle de faire correspondre sa propre réponse écrite à la bonne lettre. C'est comme demander à un étudiant d'écrire la réponse sur un morceau de papier, puis de lui donner la feuille d'examen pour qu'il coche la bonne case plus tard. L'espoir était qu'en cachant les options pendant la phase de réflexion, le modèle ne pourrait pas être influencé par leur ordre. Ils ont également essayé une seconde méthode où le modèle examine chaque option une par une de manière isolée, comme si l'on goûtait un seul ingrédient avant de décider d'une recette, espérant ainsi éliminer tout biais causé par l'ordre des ingrédients.
Les résultats, cependant, ont été un peu décevants. Les chercheurs ont testé ces méthodes sur six modèles d'IA différents à travers deux ensembles de questions majeurs (MMLU et ARC-Challenge). Ils ont découvert qu'aucune de leurs stratégies « sans étiquette » n'a rendu les modèles plus intelligents de manière fiable. En fait, la méthode « écrire d'abord, faire correspondre plus tard » a en fait rendu les modèles moins performants pour trouver la bonne réponse dans presque tous les cas. Il s'est avéré que cacher les options était le véritable problème ; sans voir les choix, les modèles ne pouvaient pas comprendre comment formuler correctement leurs réponses, ce qui entraînait beaucoup de confusion et d'erreurs. La seule version qui fonctionnait aussi bien que le test standard était une version où le modèle pouvait encore voir les options pendant sa réflexion.
Plus surprenant encore, les scientifiques ont découvert que rendre les modèles moins sensibles à l'ordre des réponses ne les rendait pas automatiquement plus précis. Par exemple, un modèle est devenu beaucoup moins confus par les lettres mélangées, mais son score au test a tout de même chuté. C'est comme un étudiant qui cesse de deviner en fonction de l'ordre des lettres, mais qui ne connaît toujours pas assez bien la matière pour obtenir une meilleure note. L'article conclut que le simple fait de supprimer le « biais positionnel » (la confusion causée par l'emplacement des réponses) ne garantit pas un meilleur score. En fait, la méthode traditionnelle consistant à mélanger les réponses et à prendre un vote (appelée permutation cyclique) a en réalité mieux fonctionné que ces nouveaux tours sophistiqués. La principale conclusion est que, bien que nous puissions corriger le biais, cela ne signifie pas toujours que le modèle devient plus intelligent, et que parfois, essayer d'être trop ingénieux avec la conception du test ne fait que briser la capacité du modèle à répondre du tout.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.