💬 NLP

Models Know Models Best: Evaluation via Model-Preferred Formats

Cet article propose une stratégie d'alignement dynamique de format qui exploite un classificateur léger entraîné sur des signaux privilégiés par le modèle pour sélectionner automatiquement entre des formats d'évaluation basés sur des symboles et de type « cloze », résolvant ainsi les écarts de performance et améliorant considérablement la précision en zéro décalage (zero-shot) à travers divers benchmarks de LLM.

Auteurs originaux : Joonhak Lee, Sungmok Jung, Jongyeon Park, Jaejin Lee

Publié 2026-02-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Joonhak Lee, Sungmok Jung, Jongyeon Park, Jaejin Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous passiez un test pour prouver votre intelligence. Maintenant, imaginez que ce test se présente sous deux styles différents :

Le style « Choix multiples » : Vous lisez une question, puis vous devez choisir une lettre (A, B, C ou D) qui correspond à la réponse.
Le style « Texte à trous » : Vous lisez une phrase qui s'arrête brusquement, et vous devez compléter la phrase avec les bons mots.

Pendant longtemps, les chercheurs ont pensé que ces deux styles n'étaient que des manières différentes de poser la même question. Mais cet article, intitulé « Models Know Models Best » (Les modèles connaissent mieux les modèles), a découvert quelque chose de surprenant : les grands modèles de langage (LLM) n'aiment pas les deux styles de la même manière. En fait, le style que vous choisissez peut faire passer un modèle pour un génie ou pour un échec total, même si la question est exactement la même.

Voici le détail de ce que les auteurs ont découvert, en utilisant des analogies simples.

1. Le problème de « l'outil inadapté »

Les chercheurs ont testé 22 modèles d'IA différents sur 8 types de questions. Ils ont trouvé un schéma clair :

Le style « Symbole » (Choisir A, B, C, D) : Cela fonctionne mieux pour les questions qui nécessitent de comparer des options. Pensez à un menu où vous devez choisir le plat qui convient à votre régime alimentaire. Le modèle doit examiner toutes les options côte à côte pour faire un choix.
Le style « Cloze » (Texte à trous) : Cela fonctionne mieux pour les questions qui nécessitent de continuer une histoire. Pensez à terminer une phrase dans un roman. Le modèle est entraîné pour prédire quel mot vient ensuite dans un flux naturel.

Le Problème : Lorsque les chercheurs ont forcé un modèle de type « conteur d'histoires » à choisir une lettre dans une liste (style Symbole) pour une question qui consistait réellement à terminer une phrase, le score du modèle s'est effondré. C'était comme demander à un marathonien de résoudre une équation mathématique ; il est bon pour courir, mais le format du test ne correspondait pas à sa force.

2. Les humains ne peuvent pas deviner le meilleur format

Les auteurs ont d'abord tenté de corriger cela en demandant à des humains de regarder une question et de décider : « Hé, celle-ci ressemble à une histoire, utilisons donc le style Texte à trous ».

Le Résultat : Cela n'a pas bien fonctionné. Les humains sont mauvais pour deviner quel format une IA préférera. Parfois, une question ressemble à une histoire pour un humain, mais l'IA préfère en réalité le format de la liste à choix multiples. Se fier à l'intuition humaine a souvent fait diminuer les performances de l'IA.

3. La solution : « Demander au modèle ce qu'il veut »

Puisque les humains ne pouvaient pas deviner le bon format, les auteurs ont interrogé les modèles eux-mêmes.

Ils ont construit un petit « agent de circulation » léger (un classificateur). Cet agent de circulation examine une question spécifique et demande à l'IA : « Si je te donne cette question sous forme de liste à choix multiples, quel est ton niveau de confiance ? Si je te la donne sous forme de texte à trous, quel est ton niveau de confiance ? »

En se basant sur les propres signaux de confiance internes de l'IA, l'agent de circulation décide quel format utiliser pour cette question spécifique.

Si la question porte sur la comparaison d'options : L'agent de circulation dit : « Utilisez le format Choix multiples (Symbole) ».
Si la question porte sur la fin d'une phrase : L'agent de circulation dit : « Utilisez le format Texte à trous (Cloze) ».

4. Les résultats : Libérer le potentiel caché

Lorsqu'ils ont utilisé cette stratégie de « Préférence du Modèle », les résultats ont été spectaculaires.

Pour les questions de type « Histoire » : Les performances de l'IA ont bondi de manière significative. C'était comme si on leur avait enfin donné les bonnes chaussures pour le coureur.
Pour les questions de type « Comparaison » : Les performances sont restées élevées ou se sont légèrement améliorées.
La conclusion majeure : L'article montre que de nombreux modèles d'IA sont en réalité bien plus intelligents que nous ne le pensions, mais que nous les testions souvent avec la mauvaise « règle ». En changeant la règle pour qu'elle corresponde à la tâche spécifique, nous pouvons voir leurs véritables capacités.

Résumé

L'article soutient que nous ne devrions pas simplement choisir un format de test et s'y tenir pour tout. Au lieu de cela, nous devrions laisser l'IA nous dire quel format elle préfère pour chaque problème spécifique. Ce faisant, nous arrêtons de faire trébucher les modèles et nous commençons à voir à quel point ils sont réellement intelligents.

En bref : la façon dont vous posez une question compte autant que la question elle-même, et la meilleure façon de trouver la bonne façon de poser la question est d'écouter les préférences du modèle lui-même.

Résumé Technique : Les modèles connaissent mieux les modèles : Évaluation via les formats préférés des modèles

Problématique

Les questions à choix multiples (MCQA) constituent la norme de facto pour l'évaluation des grands modèles de langage (LLM). Cependant, des études récentes indiquent que la performance des modèles en MCQA est hautement sensible au format d'entrée, particulièrement le choix entre les formats d'évaluation par symboles et par cloze (texte à trous).

Basé sur des symboles : Le modèle sélectionne une option en générant une étiquette (par exemple, « A », « B », « C », « D ») correspondant à une liste de choix.
Style Cloze : Le modèle évalue la vraisemblance du texte de la réponse elle-même lorsqu'il est ajouté à l'invite (prompt), ce qui nécessite souvent une normalisation de la longueur.

La recherche existante souligne des écarts de performance significatifs entre ces deux formats, pourtant les causes sous-jacentes restent mal comprises. Crucialement, il n'est pas clair si ces écarts sont stochastiques ou systématiques, et si les heuristiques conçues par l'humain peuvent prédire de manière fiable le format optimal pour une tâche donnée. Les protocoles d'évaluation actuels reposent souvent sur un format fixe unique, ce qui peut sous-estimer les capacités réelles des LLM en raison d'un désalignement entre le format et la tâche.

Méthodologie

Le papier propose une stratégie d'alignement dynamique des formats qui sélectionne le format d'évaluation optimal pour chaque instance de problème en se basant sur les préférences latentes propres au modèle, plutôt que sur l'intuition humaine.

1. Analyse de la base empirique

Les auteurs ont mené une comparaison systématique sur 22 LLM basés sur des décodeurs (incluant les familles Qwen 3, Llama 3.1/3.2 et Mistral) et huit benchmarks diversifiés (ex. MMLU, ARC, HellaSwag, PIQA).

Résultats : Les différences de performance sont systématiques et dépendantes de la tâche.
- Tâches favorisant les symboles : Les tâches nécessitant une comparaison explicite d'options (ex. « Lequel des suivants est... ? ») ou contenant des options comme « Aucune des réponses ci-dessus » (ex. ARC, MMLU) performent nettement mieux avec des formats basés sur les symboles.
- Tâches favorisant le style Cloze : Les tâches nécessitant une continuation en langage naturel (ex. prédire la phrase suivante dans un récit) performent nettement mieux avec des formats de type cloze (ex. HellaSwag, PIQA, WinoGrande).
Apprentissage en contexte (In-Context Learning) : Bien que les démonstrations en few-shot puissent atténuer les désalignements de format, elles n'éliminent pas totalement l'écart de performance, et les modèles échouent souvent à atteindre la base de référence du format optimal même avec 10 exemples.

2. Sélection de format par classifieur

Pour remédier à ces incohérences, les auteurs introduisent un classifieur léger basé sur un encodeur (DeBERTaV3 affiné) qui prédit le format préféré (Symbole vs Cloze) pour chaque instance de problème. Deux stratégies d'étiquetage ont été explorées pour entraîner ce classifieur :

Étiquettes annotées par l'humain : Un sous-ensemble de données a été annoté manuellement selon des heuristiques syntaxiques (ex. si l'option complète une phrase ou nécessite une comparaison explicite).
- Résultat : Cette approche a conduit à une dégradation constante des performances, suggérant que l'intuition linguistique humaine ne sitte pas en phase avec les biais inductifs latents des LLM concernant la préférence de format.
Étiquettes générées par le modèle : Les étiquettes ont été dérivées en évaluant le modèle cible (ou un ensemble de modèles) sur les deux formats et en sélectionnant celui où le modèle a démontré une meilleure exactitude ou confiance (mesurée via les marges de probabilité).
- Algorithme : Pour une instance donnée, si le modèle répond correctement dans un seul format, ce format est choisi. S'il est correct dans les deux, le format avec la marge de confiance la plus élevée est sélectionné (avec un seuil $\delta$ pour éviter le bruit).
- Généralisation : Pour tester la transférabilité, une stratégie de « vote majoritaire » a été employée où les étiquettes ont été agrégées à partir de trois modèles distincts de taille moyenne (Llama 3.1 8B, Mistral 7B, Qwen3 8B) pour entraîner un classifieur destiné à des modèles non vus.

Contributions clés

Caractérisation systématique du biais de format : Le papier établit que les écarts de performance en MCQA ne sont pas stochastiques mais varient systématiquement selon les propriétés structurelles et linguistiques de la tâche. Ces motifs sont indépendants du modèle (model-agnostic), émergeant de manière cohérente à travers divers LLM basés sur des décodeurs.
Signaux de préférence latente : Les auteurs fournissent la preuve que les caractéristiques régissant la préférence de format sont implicitement encodées dans les représentations latentes du modèle. L'élicitation explicite de ces signaux permet de récupérer la performance autrement perdue à cause d'un formatage sous-optimal.
Stratégie d'alignement dynamique des formats : La méthode proposée exploite les signaux générés par le modèle pour sélectionner dynamiquement le format d'évaluation optimal par instance. Cette approche comble l'écart entre la capacité du modèle et les caractéristiques de la tâche sans nécessiter d'heuristiques sans entraînement.

Résultats

Les résultats d'évaluation démontrent que le classifieur généré par le modèle surpasse de manière significative les bases de référence à format fixe ainsi que les classifieurs annotés par l'humain.

Gains de performance : La méthode proposée produit des améliorations substantielles et constantes de l'exactitude en zero-shot sur des benchmarks de raisonnement et de connaissance intensive.
- Sur les tâches favorisant le style cloze (ex. HellaSwag, PIQA, WinoGrande), l'approche surpasse souvent la base de référence du format « préféré », récupérant une performance significative (ex. +16,7 % sur WinoGrande pour Llama 3.2 1B, +28,3 % pour Qwen3 0.6B).
- Sur les tâches favorisant les symboles (ex. ARC, MMLU), la méthode maintient la parité avec le format préféré d'origine, évitant la dégradation observée avec les classifieurs annotés par l'humain.
Généralisation : L'approche par « étiquetage majoritaire », qui agrège les signaux de plusieurs modèles, atteint des gains comparables aux classifieurs « auto-étiquetés ». Cela indique que les préférences de format ne sont pas des artefacts uniques à des modèles spécifiques, mais reflètent des tendances partagées et dépendantes de la tâche, inhérentes aux LLM basés sur des décodeurs.
Heuristiques humaines vs modèles : Les classifieurs entraînés sur des étiquettes annotées par l'humain ont systématiquement dégradé les performances, confirmant que l'intuition humaine est un proxy peu fiable pour les préférences de format des modèles.

Signification

Le papier soutient que les pratiques d'évaluation à format fixe sous-estiment actuellement les capacités des LLM. En démontrant que les modèles possèdent des biais latents et dépendants de la tâche concernant les formats d'évaluation, les auteurs soulignent l'importance d'aligner les protocoles d'évaluation avec ces biais inductifs.

La portée de ce travail réside dans sa contribution méthodologique à l'évaluation des LLM :

Il remet en question l'hypothèse selon laquelle les heuristiques conçues par l'humain sont suffisantes pour déterminer les stratégies d'évaluation optimales.
Il introduit un mécanisme au niveau de l'instance, sans entraînement, pour récupérer les capacités latentes des modèles qui sont obscurcies par les désalignements de format.
Il suggère que les évaluations futures devraient prendre en compte la manière dont les modèles représentent et répondent en interne à différents formats d'interaction afin de fournir une évaluation plus précise et plus instructive de la performance des modèles.

Les auteurs notent que cette recherche est principalement méthodologique, visant à améliorer la fiabilité et l'interprétabilité de l'évaluation des modèles, et ne soulève pas directement de nouvelles préoccupations sociétales ou éthiques au-delà de celles inhérentes à l'évaluation des LLM elles-mêmes.