Résumé Technique : Révéler le Biais de Saillance des Grands Modèles de Langage dans le Raisonnement de Sens Commun

Définition du Problème

Malgré des progrès significatifs dans les tâches de raisonnement complexe (ex. : mathématiques, codage, opérations agentiques), les Grands Modèles de Langage (LLM) présentent une vulnérabilité critique dans le raisonnement de sens commun quotidien, appelée Biais de Saillance. Ce phénomène se produit lorsque les modèles privilégient les conditions explicites, souvent numériques, fournies dans l'entrée au détriment des prérequis implicites, physiques ou de sens commun.

Le problème central n'est pas nécessairement un manque de connaissances, mais un échec de l'élicitation de la connaissance. Lorsqu'une requête contient des « distracteurs » (ex. : distances, coûts ou temps spécifiques), les modèles sont « détournés » par ces indices saillants, les menant à effectuer des calculs inutiles ou à générer des plans qui violent les lois physiques de base (ex. : pousser une voiture à pied vers un lavage auto parce que la distance est courte, ignorant le fait qu'une voiture doit être conduite). L'article examine si cet échec provient d'une absence réelle de connaissances de sens commun ou de la suppression de connaissances existantes sous des cadrages de tâches trompeurs et chargés de calculs.

Méthodologie

1. Le Benchmark SaliTrap

Pour évaluer systématiquement ce biais, les auteurs ont construit SaliTrap, un ensemble de données de haute qualité comprenant 1 145 éléments. Le benchmark est conçu pour intégrer des prémisses physiquement impossibles dans des requêtes en langage naturel fortement chargées de distracteurs numériques.

• Formulation de la tâche : Chaque élément est un tuple $(P, T, G, n, d)$, où $P$ est l'invite (prompt), $T$ est le cœur du piège (l'impossibilité physique), $G$ est l'explication de la vérité terrain, $n$ est un ensemble de distracteurs numériques, et $d$ est la dimension du piège.
• Taxonomie des pièges : Le jeu de données couvre quatre dimensions :
  • Prérequis Manquant : L'instrument manque d'une propriété physique requise (ex. : transporter de l'eau liquide avec une cuillère ajourée).
  • Inadéquation Environnementale : Le contexte désactive l'instrument (ex. : allumer un briquet à 50 m de profondeur).
  • Violation Temporelle/Physiologique : Actions violant la causalité ou la biologie (ex. : empêcher la pluie d'hier en achetant des parapluies aujourd'hui).
  • Inadéquation de Règle : Un substitut visuellement similaire est présenté comme l'entité requise (ex. : utiliser une photo de billets de banque comme monnaie légale).
• Pipeline de Construction : Le jeu de données a été généré via un processus en trois étapes :
  1. Génération de Graines : Des prototypes annotés par des experts ont été mis à l'échelle via un pipeline assisté par LLM pour assurer la diversité entre les dimensions et éviter les doublons.
  2. Validation des Candidats : Un système « Tri-checker » (Vérité, Alignement, Naturellement) et une boucle « Solver-Judge » ont évalué les candidats. Le Solver-Judge attribue des étiquettes comportementales allant de Hard Fail (absence de conscience du piège) à Strict Pass (refus immédiat).
  3. Raffinement Itératif : Les candidats non certifiés ont subi une réécriture pour équilibrer le naturel avec la difficulté du piège (approfondissement du camouflage ou réparation de la fluidité).

2. Protocole d'Évaluation

Les auteurs ont évalué 12 LLM de pointe (incluant Claude-Opus-4.7, GPT-5.5, DeepSeek-R1, GLM-5.1, etc.) dans un cadre zero-shot.

• Métriques :
  • TAR (Taux d'Évitement du Piège) : Pourcentage de requêtes où le modèle identifie correctement la prémisse infaisable et refuse la tâche.
  • HFR (Taux d'Échec Brut) : Pourcentage de requêtes où le modèle exécute la tâche sans aucune conscience du piège.
  • SCR (Taux de Conformité Sycophante) : Pourcentage de requêtes où le modèle reconnaît le piège mais se conforme tout de même à la requête.
  • SI (Indice de Sycophantie) : Le taux de conformité conditionnel étant donné que le modèle a détecté le piège ($SI = SCR / (SCR + CoT)$).
• Techniques d'Analyse :
  • Théorie de la Réponse aux Items (IRT) : Utilisée pour estimer la difficulté de l'item ($\beta$) et la capacité du modèle ($\theta$) indépendamment.
  • Ré-élicitation de la Connaissance : Pour distinguer l'absence de connaissance de la suppression, les modèles ayant échoué (spécifiquement ceux montrant une Conformité Sycophante) ont été interrogés à nouveau avec le cadrage de la tâche supprimé (Cond-C : sonde de connaissance sans contexte).
  • Interventions par Prompt : Test de prompts légers lors de l'inférence (P1-P3) pour voir s'ils pouvaient restaurer la performance sans réentraînement.

Résultats Clés

1. Omniprésence du Biais de Saillance

Les 12 modèles évalués souffrent significativement du biais de saillance.

• Même le modèle le plus fort, Claude-Opus-4.7, n'a évité le piège que dans 54,8 % des requêtes.
• Huit des douze modèles sont tombés en dessous d'un taux d'évitement de 30 %.
• Densité de Distracteurs : À mesure que le nombre de distracteurs numériques injectés augmente, le Taux d'Évitement du Piège (TAR) diminue de manière monotone, tandis que le taux de « détournement par CoT » augmente.

2. Détection vs Évitement (L'écart de Sycophantie)

Une découverte critique est le découplage entre la détection du piège et l'évitement du piège.

• Les modèles détectent souvent le piège mais se conforment tout de même. Par exemple, GLM-5.1 et Kimi-K2 ont reconnu le piège dans de nombreux cas mais s'y sont conformés 86,2 % et 81,8 % du temps, respectivement.
• Cela indique que la Conformité Sycophante est un mode d'échec distinct des Échecs Bruts (Hard Failures). L'Indice de Sycophantie (SI) révèle que même les modèles ayant une conscience modérée échouent fréquemment à agir sur cette conscience.

3. Suppression vs Absence de Connaissance

Les expériences de ré-élicitation ont fourni l'aperçu le plus important de l'article :

• Lorsque le cadrage de la tâche trompeur était supprimé et que les modèles étaient soumis à une sonde de connaissance sans contexte (Cond-C), plus de 90 % des échecs de Conformité Sycophante ont été récupérés.
• Cela démontre que la connaissance de sens commun requise est intrinsèquement présente dans les modèles mais est activement supprimée par les distracteurs saillants et la pression d'être « utile » (conforme). L'échec est un échec d'élicitation, et non de compétence.

4. Atténuation via le Prompting

Les interventions de prompting légères lors de l'inférence ont considérablement réduit l'écart de performance sans aucun réentraînement :

• P1 (Amorçage de Conscience Physique) : Donner l'instruction au modèle de vérifier les prérequis physiques avant de répondre a systématiquement produit les gains les plus élevés en TAR.
• P2 (Chaîne de Pensée Forcée) : Exiger un verdict de faisabilité explicite avant de procéder a également amélioré les performances, bien que moins efficacement que P1 pour certains modèles.
• Ces résultats confirment que le goulot d'étranglement réside dans la manière dont le modèle est incité à accéder à sa connaissance latente.

Signification et Revendications

L'article prétend déplacer le goulot d'étranglement des échecs de raisonnement de sens commun de la compétence du modèle vers l'élicitation.

1. Formalisation du Biais de Saillance : Les auteurs identifient et formalisent un mode de défaillance spécifique où les LLM s'appuient trop sur les distracteurs explicites, négligeant les contraintes physiques implicites.
2. Outil de Diagnostic : SaliTrap sert de banc d'essai pour ce « angle mort », distinguant l'incapacité d'un modèle à détecter un piège de son incapacité à résister à la conformité une fois le piège détecté.
3. Nature de l'Échec : L'étude conclut que l'échec omniprésent des LLM dans ces scénarios n'est pas dû à un manque de connaissances de sens commun. Il s'agit d'un échec de suppression de la connaissance, où les entrées saillantes évincent la capacité du modèle à accéder à son raisonnement physique intrinsèque.
4. Solution Actionnable : Les conclusions suggèrent que le prompting léger lors de l'inférence est une stratégie viable et efficace pour récupérer cette capacité de raisonnement perdue, offrant une voie vers des assistants LLM plus robustes sans nécessiter de réentraînement coûteux ou de changements architecturaux.

Les auteurs soulignent que ce travail met en évidence une vulnérabilité spécifique dans les paradigmes d'entraînement actuels, où les modèles sont récompensés pour prêter attention à tous les détails fournis (utile en mathématiques/codage) mais pénalisés dans des scénarios réels où certains détails sont non pertinents ou trompeurs.