💻 computer science

When Specifications Conflict: A Symmetry-Based Framework for Measuring LLM Preferences

Cet article introduit un cadre expérimental fondé sur la symétrie pour mesurer systématiquement comment les modèles de langage de grande taille résolvent les conflits entre des spécifications concurrentes, révélant une hiérarchie de préférences constante où les langages formels et les langages formels naturalisés sont privilégiés par rapport au langage naturel pur et aux exemples d'entrées-sorties à travers divers domaines.

Auteurs originaux : Tairan Wang, Liang Zhou, Zikang Zhan, Pingchuan Yan

Publié 2026-07-31

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tairan Wang, Liang Zhou, Zikang Zhan, Pingchuan Yan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous demandiez l'aide d'un ami très intelligent et très cultivé pour résoudre un casse-tête difficile. Mais voici le hic : votre ami a reçu deux manuels d'instructions différents pour le même casse-tête, et les manuels se contredisent. L'un dit : « Tournez le bouton rouge vers la gauche », tandis que l'autre insiste : « Tournez le bouton rouge vers la droite ». Dans le monde de l'intelligence artificielle, ces « amis » sont des modèles de langage étendus (LLM) — de gigantesques programmes informatiques entraînés sur la quasi-totalité du texte présent sur Internet. Ils sont incroyables pour écrire des histoires, résoudre des problèmes mathématiques ou même coder, mais ils se trompent souvent lorsque les informations qu'ils reçoivent sont désordonnées ou contradictoires.

Ce document explore un recoin spécifique de la science de l'IA : la Résolution de Conflits. Il pose une question simple mais profonde : lorsqu'une IA reçoit deux instructions contradictoires, laquelle écoute-t-elle réellement ? Préfère-t-elle une formule mathématique stricte ? Une phrase décontractée en anglais courant ? Une liste d'exemples ? Ou un extrait de code formel ? Comprendre cela est crucial car, à mesure que nous commençons à utiliser l'IA pour des tâches importantes — comme écrire du code informatique, diagnostiquer des problèmes médicaux ou prendre des décisions juridiques — nous devons savoir si l'IA suit les « règles dures » ou si elle se contente de deviner en fonction de la sonorité des mots. Si nous ne savons pas quelle instruction l'IA privilégie, nous ne pouvons pas faire confiance à ses réponses.

Le Grand Duel des Instructions

Les chercheurs de l'University College London ont décidé de traiter ce problème comme une expérience de foire scientifique. Au lieu de simplement poser des questions aléatoires à l'IA, ils ont construit une arène contrôlée où ils pouvaient forcer l'IA à choisir entre deux règles spécifiques et contradictoires. Ils ont appelé cela un « cadre basé sur la symétrie », ce qui est une façon sophistiquée de dire qu'ils ont configuré le jeu de manière si parfaite que seule la manière dont les règles étaient écrites changeait, et non les règles elles-mêmes.

Pour ce faire, ils ont créé une immense « Arène de Bataille Mathématique » comprenant 550 scénarios de conflit différents. Dans chaque scénario, l'IA devait résoudre un problème mathématique (comme calculer une séquence ou trouver un chemin sur un graphe) mais se voyait donner deux manières différentes de décrire la solution. Ils ont testé quatre « langages » d'instruction distincts :

Langage Naturel Pur : Juste des phrases régulières en anglais (ex. : « Additionnez les nombres ensemble. »).
Langage Formel : Symboles et équations mathématiques stricts (ex. : $f(x) = x + 1$ ).
Langage Formel Naturalisé : Un mélange, utilisant des symboles mathématiques enveloppés dans des phrases en anglais (ex. : « La fonction est définie comme $f(x) = x + 1$ . »).
Exemples Entrée-Sortie : Une liste d'exemples montrant des entrées et leurs résultats (ex. : « Si 2 entre, 3 sort. Si 5 entre, 6 sort. »).

L'IA devait choisir l'une de ces descriptions pour résoudre une question de test spécifique. Les chercheurs ont ensuite observé quelle description l'IA « faisaitait assez confiance » pour la suivre.

Les Résultats : La Hiérarchie de la Confiance

Les conclusions ont été étonnamment cohérentes. L'IA ne choisissait pas au hasard ; elle avait un favori très clair. Il s'avère que les modèles d'IA adorent la structure et détestent l'ambiguïté.

Les chercheurs ont découvert une « hiérarchie de confiance » stricte :

Niveau Supérieur : Les langages Formels et Formels Naturalisés étaient les grands gagnants. L'IA suivait ces règles environ 87 % à 93 % du temps lorsqu'elles étaient opposées à l'anglais pur ou à des exemples. Il semble que lorsque l'IA voit une formule mathématique propre, elle la traite comme la « loi ».
Niveau Intermédiaire : Le Langage Naturel Pur arrivait en deuxième position. Il était plus fiable que les exemples, mais moins que les mathématiques. L'IA suivait ces instructions environ 78 % du temps lorsqu'elles étaient en compétition avec des exemples.
Niveau Inférieur : Les Exemples Entrée-Sortie étaient les moins dignes de confiance. Lorsque l'IA devait choisir entre une liste d'exemples et une règle claire, elle ignorait presque toujours les exemples.

Voyez cela ainsi : si vous dites à un robot : « Voici une liste de fois où j'ai déjeuné : 12h00, 12h15, 12h30 », il pourrait deviner que vous déjeunez à 12h45. Mais si vous lui dites : « Je déjeune à 12h00 tous les jours », il s'en tiendra à 12h00. L'IA préfère la règle explicite au modèle qu'elle doit deviner.

Ce n'est pas seulement des maths : Les tests en conditions réelles

L'équipe ne s'est pas arrêtée aux mathématiques. Ils voulaient voir si cette « hiérarchie de confiance » tenait bon dans des situations plus désordonnées et réelles. Ils ont testé l'IA dans trois autres domaines :

Algèbre de Boole (Portes Logiques) : Ils ont opposé une formule mathématique compacte à une immense « Table de Vérité » (une liste massive de tous les résultats possibles). Même si la Table de Vérité était exhaustive et impossible à errer, l'IA préférait quand même la formule compacte 88 % du temps. Il semble que l'IA préfère les raccourcis « intelligents » aux listes de « force brute ».
Génération de Code : Ils ont donné à l'IA un conflit entre une description écrite de ce qu'un programme informatique devrait faire et un ensemble de tests automatisés (du code qui vérifie si le programme fonctionne). Ici, les résultats dépendaient de la « puissance cérébrale » de l'IA. Les modèles plus petits et moins capables avaient tendance à suivre la description écrite, tandis que les modèles les plus puissants préféraient fortement les tests automatisés, les suivant jusqu'à 97 % du temps. Cela suggère qu'à mesure que l'IA devient plus intelligente, elle apprend à faire confiance aux « preuves concrètes » des tests de code plutôt qu'aux descriptions humaines.
Règles Cliniques (Conseils Médicaux) : Ils ont testé l'IA avec de vraies règles médicales concernant les dosages de médicaments. Curieusement, l'IA ne se souciait pas du format (anglais vs exemples) autant qu'elle se souciait du contenu. Dans ce domaine, l'IA choisissait systématiquement la règle la plus stricte (celle qui disait « ne faites pas ceci ») plutôt que la plus permissive, quel que soit le mode de rédaction de la règle. Cela suggère que dans les domaines à enjeux élevés, l'IA possède un biais intrinsèque vers la sécurité.

Ce que cela signifie pour nous

Le papier conclut que l'IA n'est pas un simple devineur aléatoire ; elle possède une manière systématique de décider quelles instructions suivre. Elle préfère généralement les règles explicites et structurées (comme les formules mathématiques) aux modèles implicites (comme les exemples).

Cependant, les chercheurs ont également découvert que ce n'est pas une loi parfaite et immuable. La préférence de l'IA peut changer selon l'intelligence du modèle et le type de tâche effectuée. Par exemple, dans les tests médicaux, l'IA a ignoré le format pour se concentrer uniquement sur la réponse la plus « sûre ».

Cette étude nous donne un nouvel outil pour mesurer comment l'IA réfléchit. En comprenant que l'IA a un « type de prédilection » pour les instructions, nous pouvons concevoir de meilleurs systèmes. Si nous voulons qu'une IA suive une règle spécifique, nous devrions probablement l'écrire sous la forme d'un énoncé formel et clair plutôt que d'espérer qu'elle la déduise d'une liste d'exemples. C'est un rappel que, bien que l'IA devienne plus intelligente, elle a toujours besoin que nous parlions son langage clairement — surtout lorsque les instructions sont en conflit.

Résumé technique : Un cadre fondé sur la symétrie pour mesurer les préférences des LLM sous des spécifications conflictuelles

Énoncé du problème

Les grands modèles de langage (LLM) opèrent de plus en plus dans des environnements où de multiples spécifications contextuelles définissent une tâche. Ces spécifications prennent souvent des formes diverses — instructions en langage naturel, contraintes formelles, tests exécutables ou exemples d'entrées-sorties — et peuvent être incohérentes ou directement conflictuelles. Bien que des recherches antérieures aient examiné la manière dont les modèles détectent ou réconcilient les conflits entre sources d'information (par exemple, dans la génération augmentée par récupération ou la vérification de faits), il manque des méthodes contrôlables et attribuables pour analyser systématiquement comment les modèles hiérarchisent différents types de spécifications de tâches lorsqu'ils soutiennent des comportements incompatibles. Plus précisément, il reste à déterminer si les LLM présentent des préférences systématiques pour certains types de représentation (par exemple, formel vs langage naturel) et comment ces préférences varient selon les modèles et les domaines de tâches.

Méthodologie

Les auteurs proposent un cadre expérimental fondé sur la symétrie conçu pour mesurer les préférences des modèles sous des spécifications conflictuelles en traitant le problème comme un processus de sélection parmi des correspondances exécutables concurrentes.

Cadre central

Correspondances exécutables : Une tâche est définie par une application $f: X \to Y$ . Les spécifications conflictuelles sont construites comme des paires de correspondances ( $f_1, f_2$ ) qui produisent des sorties distinctes et attribuables pour une requête discriminante $q^\star$ (où $f_1(q^\star) \neq f_2(q^\star)$ ).
Attribution : Puisque chaque spécification induit une sortie concrète, la réponse du modèle peut être directement attribuée à une correspondance, à l'autre, ou à aucune des deux. Cela transforme une décision implicite en une variable observable.
Contrebalancement basé sur la symétrie : Pour isoler les préférences de représentation des facteurs de confusion (tels que l'ordre de présentation ou les biais de contenu spécifiques), le cadre utilise des configurations complètes de symétrie. Pour toute comparaison entre types de représentation $A$ $A$ et $B$ $B$ , quatre essais sont générés par instance de conflit :
- $(A(f_1), B(f_2))$ , $(B(f_1), A(f_2))$ , $(A(f_2), B(f_1))$ , $(B(f_2), A(f_1))$ .
  Ce design contrebalance l'assignation des types de représentation aux correspondances sous-jacentes et l'ordre de présentation, permettant l'estimation des préférences par agrégation en neutralisant les facteurs non ciblés.

Configuration expérimentale

Le cadre a été instancié à travers trois domaines :

Benchmark mathématique : Un ensemble de données contrôlé de 550 instances de conflit à travers 11 familles de fonctions (ex: algébriques, graphes, opérations matricielles). Quatre types de représentation ont été comparés : Langage Naturel Pur (NL), Langage Formel (Form), Langage Formel Naturalisé (NatF), et Exemples Entrée-Sortie (Ex).
Algèbre de Boole : Conflits entre formules symboliques et tables de vérité.
Génération de code : Conflits entre la documentation en langage naturel et les tests unitaires exécutables (dérivés du dataset MBPP).
Règles cliniques : Conflits impliquant des seuils de dosage rénal et des indications pédiatriques dérivés des étiquettes openFDA, testant les conflits entre règles authentiques et perturbations préservant le schéma.

Résultats clés

1. Préférences de représentation systématiques (Benchmark mathématique)

À travers plusieurs modèles (incluant les familles DeepSeek, GPT et Llama), l'étude a identifié un ordre de préférence constant pour la résolution des conflits mathématiques :
$\text{Formel} \approx \text{Formel Naturalisé} > \text{Langage Naturel Pur} > \text{Exemples Entrée-Sortie}$

Formel vs Langage Naturel : Les modèles ont sélectionné les spécifications formelles plutôt que le langage naturel pur dans ~87 % des réponses attribuables.
Formel vs Exemples : La préférence pour les spécifications formelles sur les exemples était encore plus forte (~93 %).
Formel Naturalisé : Malgré une expression en langage naturel, les spécifications formelles naturalisées se sont comportées de manière similaire aux spécifications formelles pures, suggérant que la présence d'une structure mathématique explicite est le facteur dominant, et non la syntaxe de surface.
Variance des modèles : Bien que la hiérarchie globale se soit maintenue, la force relative des préférences variait. Par exemple, la préférence pour le formel par rapport au formel naturalisé n'était pas uniforme ; certains modèles (ex: GPT-5-nano) favorisaient le formel naturalisé, tandis que d'autres (ex: DeepSeek-V4-Flash) favorisaient le formel pur.

2. Le rôle des exemples

La compétitivité des exemples d'entrées-sorties s'est avérée hautement dépendante de la capacité du modèle et de la structure de la tâche :

Dépendance à la capacité : Les variantes de modèles à plus haute capacité ont généralement sélectionné plus fréquemment les correspondances soutenues par des exemples que les variantes de plus faible capacité.
Dépendance à la tâche : Les exemples étaient les plus compétitifs contre le langage naturel pur (taux de sélection jusqu'à ~55 % pour certains modèles) mais étaient nettement moins compétitifs contre les spécifications formelles ou formelles naturalisées (taux de sélection souvent <10 %).
Sensibilité à la structure : Les exemples ont eu du mal lorsque la spécification concurrente exposait une structure mathématique explicite, car les démonstrations finies étaient insuffisantes pour récupérer la règle par rapport aux contraintes explicites de la notation formelle.

3. Résultats hétérogènes selon les domaines

Algèbre de Boole : Les modèles ont montré une forte préférence pour les représentations symboliques compactes et compositionnelles (formules et réseaux de portes) par rapport aux tables de vérité exhaustives. Cependant, la préférence entre les formules et les réseaux de portes était dépendante du modèle, suggérant l'absence de hiérarchie universelle pour des représentations structurellement similaires.
Génération de code : Une divergence marquée a été observée selon la capacité du modèle. Les modèles aux scores plus faibles favorisaient généralement la documentation en langage naturel, tandis que les modèles aux scores plus élevés favorisaient fortement les tests exécutables (jusqu'à 97 % de sélection pour les meilleurs modèles).
Règles cliniques : Dans les contextes cliniques, la hiérarchie de représentation ne s'est pas transférée proprement. Au lieu de cela, un biais spécifique au domaine est apparu : les modèles ont systématiquement préféré la règle la plus restrictive (52 %–87 % de sélection), qu'il s'agisse de l'étiquette "authentique" ou d'une perturbation. Cela indique que dans les domaines à enjeux élevés, les biais de sécurité/restrictivité peuvent l'emporter sur les préférences de représentation.

4. Robustesse et abstention

Ordre de présentation : Bien qu'étant un effet secondaire, l'ordre de présentation a eu un impact minimal par rapport au type de représentation, sauf lorsque les spécifications concurrentes avaient une force similaire (ex: Formel vs Formel Naturalisé).
Abstention : Lorsqu'ils étaient explicitement autorisés à répondre "incertain", les modèles (particulièrement GPT-5-nano) ont utilisé l'abstention comme stratégie de gestion de conflit, avec des taux variant significativement selon la paire de représentation (ex: ~64 % d'abstention pour les conflits Formel vs Formel Naturalisé dans GPT-5-nano).

Signification et affirmations

L'article affirme établir la résolution de conflit dans les LLM comme un problème de mesure contrôlé, exécutable et contrebalancé par la symétrie.

Mesure attribuable : En utilisant une vérité terrain exécutable et un contrebalancement basé sur la symétrie, le cadre permet l'attribution directe des sorties du modèle à des spécifications précises, allant au-delà de l'analyse qualitative de "l'hallucination" ou de la "réconciliation".
Structuré mais dépendant du contexte : Les résultats caractérisent la résolution de conflit des LLM non pas comme un bruit aléatoire, mais comme un processus de sélection structuré. Cependant, cette structure est dépendante du contexte : si une préférence générale pour la structure explicite existe dans les tâches mathématiques, des facteurs spécifiques au domaine (comme la restrictivité dans les règles cliniques ou la précision des tests dans la génération de code) peuvent remodeler ou supplanter ces préférences.
Cadre unifié : Ce travail fournit une approche expérimentale unifiée pour analyser comment les modèles hiérarchisent différentes formes de spécification, démontrant que ces préférences ne sont pas universelles mais varient systématiquement selon les modèles, les familles de tâches et les domaines.

Les auteurs concluent que la compréhension de ces hiérarchies implicites est essentielle pour concevoir des systèmes fiables basés sur les LLM, car le "vainqueur" lors d'un conflit est déterminé par une interaction complexe entre le type de représentation, la capacité du modèle et les contraintes spécifiques au domaine.