🤖 AI

Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking

Cet article introduit l'Indice de Sensibilité au Format (FSI) et l'Indice de Sensibilité à la Parsabilité (PSI) pour démontrer que des différences de formatage mineures dans les enveloppes de prompts provoquent des variations de scores significatives et dépendantes du modèle ainsi que des échecs de conformité, soutenant ainsi que la précision des benchmarks sans prise en compte de cette variance est statistiquement fragile.

Auteurs originaux : Deep Pankajbhai Mehta

Publié 2026-07-14

📖 4 min de lecture☕ Lecture pause café

CC0 1.0

Auteurs originaux : Deep Pankajbhai Mehta

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un juge dans un concours de talents, mais qu'au lieu d'écouter les chanteurs, vous n'ayez le droit que de lire leurs paroles. Maintenant, imaginez que certains chanteurs soient invités à écrire leurs paroles sur une simple feuille de papier, tandis que d'autres sont forcés de les écrire à l'intérieur d'une boîte JSON élégante et rigide, et que d'autres encore doivent envelopper leurs mots dans un sandwich spécifique « BEGIN/END ».

Vous vous attendriez à ce que le talent du chanteur reste le même, n'est-ce pas ? La chanson ne devrait pas changer simplement parce que le support a changé. Mais selon cette étude de Deep Pankajbhai Mehta de chez Adobe, c'est exactement ce qui arrive aux modèles d'IA. Le « papier » (l'enveloppe du prompt) compte tellement que cela peut renverser entièrement le classement, faisant passer un génie pour un novice et un novice pour un génie.

Le grand bouleversement des formats
Les chercheurs ont mené une expérience massive, générant 140 000 réponses à partir de quatre modèles d'IA différents (allant de 7 milliards à 72 milliards de « cellules cérébrales ») sur sept tâches de questions-réponses. Ils ont testé cinq styles d'« enveloppes » :

Simple : Juste la réponse.
JSON : Format de code informatique strict.
Structuré : Paires clé-valeur.
Structuré avec délimiteurs : Paires clé-valeur avec des balises spéciales comme <BEGIN ANSWER>.
Délibéré : Un brouillon pour réfléchir, suivi de la réponse.

Le résultat ? Les modèles étaient incroyablement sensibles à ces règles de formatage. Pour certains modèles, changer l'enveloppe entraînait des variations d'exactitude spectaculaires. Le modèle Phi-4 était une véritable diva : son exactitude a bondi de 0,763 (une plage énorme) simplement en changeant l'enveloppe. En revanche, le géant Qwen-2.5-72B était un rockstar décontracté, ne bougeant presque pas avec une variation de seulement 0,024.

Le problème du « Pouvez-vous lire ceci ? »
Pourquoi les scores ont-ils changé autant ? L'article suggère que ce n'était pas parce que l'IA devenait soudainement plus intelligente ou plus stupide sur les questions réelles. C'était principalement un problème de conformité.

Pensez à un distributeur automatique qui n'accepte que les pièces. Si vous essayez d'y insérer un billet de banque (même s'il est valide), la machine le rejette. Dans l'étude, lorsque l'IA tentait de suivre une règle JSON stricte mais ajoutait accidentellement une balise de code markdown (comme le petit symbole ```), la machine (l'extracteur de réponse) ne pouvait pas la lire. La réponse était marquée comme « non analysable », ce qui comptait comme une mauvaise réponse.

Les données montrent un lien fort : lorsque l'IA échouait à être « analysable » (lisible par une machine), son exactitude s'effondrait souvent pour atteindre presque zéro. Pour le modèle Phi-4 utilisant l'enveloppe JSON stricte, il a produit des sorties commençant par une balise de code markdown dans 85,3 % des générations, produisant une analysabilité de seulement 2,8 % et une exactitude de 0,7 %. Les chercheurs ont constaté que l'« analysabilité » était un prédicteur majeur de succès, expliquant environ 82 % des différences de scores après avoir pris en compte le modèle et la tâche.

Ce que cela signifie pour l'avenir
L'article soutient que rapporter un chiffre d'exactitude unique pour une IA est comme rapporter une température unique sans préciser si elle est en Fahrenheit ou en Celsius — c'est trompeur. Si le choix d'une enveloppe peut modifier un score de 0,76, ce chiffre unique est « statistiquement fragile ».

Les auteurs suggèrent que, lors de nos tests d'IA, nous ne devrions pas simplement choisir une enveloppe et croiser les doigts. Au lieu de cela, nous devrions :

Rapporter la plage de scores à travers différentes enveloppes (comme un « indice de sensibilité »).
Vérifier si les réponses sont réellement analysables.
Être prudents quant à l'utilisation de formats stricts dans les applications réelles, à moins que l'IA ne soit forcée de suivre les règles par son décodeur (la partie qui génère le texte), et non par le simple prompt.

L'essentiel à retenir
Cette étude ne dit pas que l'IA est cassée ; elle dit que notre ruban à mesurer est bancal. L'indice de sensibilité de format (FSI) et l'indice de sensibilité de l'analysabilité (PSI) sont de nouveaux outils pour mesurer à quel point le score d'un modèle dépend de l'enveloppe. Les conclusions suggèrent que pour certains modèles, le choix de l'enveloppe est plus important que l'intelligence réelle du modèle. Tant que nous ne réglerons pas cela, la « meilleure » IA sur un classement pourrait simplement être celle qui se trouvait par chance en phase avec le style de formatage de la personne qui a construit le test.

Résumé technique : Indice de sensibilité au format et enveloppes de prompts contrôlées par jetons

Énoncé du problème

Les benchmarks de grands modèles de langage (LLM) reposent de plus en plus sur des enveloppes de prompts (wrappers) — des modèles contenant des délimiteurs, des instructions JSON ou un formatage étape par étape — pour structurer les sorties des modèles. Bien qu'elles soient censées être sémantiquement non pertinentes, ces enveloppes sont rarement standardisées entre les articles de recherche, les boîtes à outils ou les fournisseurs. Ce manque de standardisation crée un mode de défaillance méthodologique : la performance rapportée d'un modèle peut fluctuer de manière significative en fonction du seul choix de l'enveloppe plutôt que de sa capacité sous-jacente.

Le problème central est que de nombreux pipelines de benchmark rapportent un score de précision unique par modèle et par tâche, ignorant les modes d'échec de sortie structurée (par exemple, l'adhérence au schéma, les appels d'outils) qui dominent les déploiements réels. Lorsqu'un modèle échoue à analyser une sortie selon l'extracteur du benchmark (par exemple, en raison de balises de code markdown ou de clés JSON manquantes), l'exécution est comptabilisée comme incorrecte. Ce « problème de conformité » peut faire apparaître un modèle comme étant proche du hasard sous une enveloppe JSON stricte, alors qu'il performe bien sous une enveloppe basée sur des délimiteurs, ce qui peut conduire à des conclusions inversées sur les classements (leaderboards).

Méthodologie

Les auteurs proposent un protocole contrôlé par jetons pour isoler la variance causée spécifiquement par le formatage de l'enveloppe, en contrôlant les différences de longueur de prompt et de nombre de jetons.

Configuration expérimentale

Modèles : Quatre modèles ajustés par instruction (instruct-tuned) accédés via OpenRouter, allant de 7B à 72B de paramètres : Mistral-7B-Instruct-v0.3, Gemma-2-9B-IT, Phi-4 et Qwen-2.5-72B-Instruct.
Tâches : Sept benchmarks de type QA largement utilisés (BoolQ, PIQA, ARC-Challenge, HellaSwag, WinoGrande, CommonsenseQA, GSM8K), avec 200 exemples échantillonnés par tâche.
Familles d'enveloppes : Cinq types d'enveloppes distincts ont été évalués :
1. Plain (Simple) : Instructions minimales.
2. JSON : JSON strict avec un champ answer.
3. Structured (Structuré) : Champs clé-valeur.
4. Structured Delim (Délimiteur structuré) : Champs clé-valeur avec des jetons délimiteurs explicites (<BEGIN ANSWER>).
5. Deliberate (Délibéré) : Un espace de réflexion (scratchpad) suivi d'un champ de réponse finale.
Contrôle des jetons : Pour atténuer le biais de variation de longueur des prompts, les prompts ont été complétés (padding) pour atteindre un budget de caractères fixe par tâche. Les nombres de jetons réalisés ont été enregistrés, et une métrique de dispersion relative des jetons ( $\Delta_{tok}$ ) a été calculée. Les résultats sont rapportés sur l'ensemble du jeu de données et sur un sous-ensemble apparié filtré pour $\Delta_{tok} \le 5\%$ .
Génération : 140 000 générations totales ont été produites (4 modèles $\times$ 7 tâches $\times$ 5 enveloppes $\times$ 200 exemples $\times$ 5 graines/seeds).

Métriques

Le papier introduit deux métriques de sensibilité primaires :

Indice de sensibilité au format (FSI - Format Sensitivity Index) : La plage de précision induite par le choix de l'enveloppe pour un modèle et une tâche donnés ( $FSI = \max_f A_{m,t,f} - \min_f A_{m,t,f}$ ).
Indice de sensibilité à la parcabilité (PSI - Parseability Sensitivity Index) : La plage correspondante de la parcabilité de la réponse ( $PSI = \max_f P_{m,t,f} - \min_f P_{m,t,f}$ ).

Pour traiter la sensibilité au bruit des statistiques de plage, les auteurs rapportent également un FSI normalisé (nFSI) et des intervalles de confiance par bootstrap.

Résultats clés

1. Variance extrême entre les modèles

La sensibilité au format varie nettement selon les modèles.

Qwen-2.5-72B a démontré une quasi-invariance au format, avec un FSI moyen de 0,024 (IC 95 % [0,014, 0,035]).
Phi-4 a présenté une haute sensibilité, avec un FSI moyen de 0,763 (IC 95 % [0,607, 0,872]).
Le FSI moyen variait de plus de 30 fois entre les modèles testés.
La sensibilité normalisée (nFSI) a accentué ce contraste, Phi-4 affichant un nFSI de 2,37, indiquant que le choix de l'enveloppe peut dominer le score moyen.

2. La parcabilité comme moteur principal

L'exactitude et la parcabilité sont fortement corrélées ( $r = 0,825$ ). Une analyse de régression à effets fixes ( $A_{m,t,f} = \beta P_{m,t,f} + \alpha_m + \gamma_t + \delta_f + \epsilon$ ) a révélé que la parcabilité est un prédicteur fort de l'exactitude ( $\hat{\beta} = 0,819$ ), expliquant une part substantielle de la variance résiduelle ( $R^2 = 0,82$ ).

Étude de cas : Sous l'enveloppe JSON stricte, Phi-4 a produit des sorties avec des balises de code markdown dans 85,3 % des générations, entraînant une parcabilité de 2,8 % et une exactitude de 0,7 %.
Cela suggère que de nombreux changements de score induits par l'enveloppe sont pilotés par la question de savoir si la sortie est consommable par une machine (parsable) plutôt que par un manque de capacité de raisonnement.

3. Distribution de performance des enveloppes

Aucune enveloppe unique n'est universellement optimale. Bien que les enveloppes structurées à délimiteurs aient gagné le plus fréquemment (12 sur 28 combinaisons modèle-tâche), les enveloppes « délibérées » et « structurées » ont également gagné de manière non négligeable. Cela soutient l'argument en faveur du rapport d'une distribution de scores sur les enveloppes plutôt que de la sélection d'un seul « meilleur » format.

4. Stabilité du contrôle des jetons

Le protocole de padding des jetons a réussi à réduire, mais pas à éliminer, la dispersion des jetons. La médiane de la dispersion relative des jetons était de 4,1 %. Crucialement, les conclusions sont restées stables lors du filtrage pour une faible dispersion des jetons ( $\Delta_{tok} \le 5\%$ ), le FSI moyen ne passant que de 0,391 à 0,394.

Signification et recommandations

Le papier soutient que rapporter l'exactitude sans tenir compte de la variance de l'enveloppe et de la conformité est statistiquement fragile. Les auteurs proposent les recommandations suivantes :

Pour les benchmarks : Les articles et les classements devraient rapporter :
1. La famille d'enveloppes spécifique utilisée.
2. Le nombre de jetons du prompt.
3. Les taux de parcabilité.
4. Une métrique de sensibilité tenant compte de l'incertitude (par exemple, le FSI avec intervalles de confiance) ou l'intervalle d'exactitude $[\min_f A, \max_f A]$ .
Pour les déploiements de sorties structurées : Le prompting seul est souvent insuffisant pour des schémas stricts. Si les consommateurs en aval sont fragiles, l'effondrement de la parcabilité peut dominer l'exactitude mesurée. Les auteurs suggèrent d'utiliser le FSI et le PSI comme diagnostics pour déterminer quand des contraintes au moment du décodage (par exemple, grammaires, décodage contraint par un schéma, ou modes de sortie structurée des fournisseurs) sont nécessaires.

Limites

Les auteurs reconnaissent plusieurs limites :

Le FSI est une statistique de plage sensible aux valeurs aberrantes, bien que mitigée par le bootstrap.
Le contrôle des jetons a été réalisé via le padding de caractères, et non par une égalisation stricte des jetons.
L'ensemble de modèles est restreint et mélange différentes échelles, ce qui signifie que la robustesse peut refléter la taille du modèle autant que l'architecture.
L'étude se concentre sur le QA à un tour ; l'utilisation d'outils et la génération de code à plusieurs tours peuvent présenter des dynamiques différentes.
La rigueur du parser varie ; l'étude rapporte une extraction stricte et normalisée mais ne teste pas directement les modes d'application au moment du décodage.

En conclusion, le papier pose que des benchmarks fiables et des systèmes de sortie structurée nécessitent de mesurer et souvent de réduire la sensibilité au format, en traitant les enveloppes de prompts comme un facteur de confusion important et sous-rapporté dans l'évaluation des LLM.