Résumé technique : De la sélection d'ordre 0 au jugement d'ordre 2

Énoncé du problème

Les benchmarks de questions à choix multiples (QCM) pour les grands modèles de langage (LLM) font face à deux défis critiques : une saturation rapide due à l'évolution des capacités des modèles et une contamination des données qui compromet les évaluations statiques. Bien que les grands modèles de raisonnement (LRM) aient atteint une précision surhumaine sur des benchmarks de raisonnement logique standard (par exemple, LogiQA, MMLU), cette performance découle souvent de la mémorisation des ensembles d'entraînement et de l'exploitation de motifs de surface (biais de position, chevauchement lexicique) plutôt que d'une véritable implication logique.

Les méthodes existantes de « durcissement », telles que le paraphrasage, les perturbations adverses ou les leurres « Aucune de ces réponses » (NOTA), tentent d'augmenter la difficulté mais échouent à résoudre le problème fondamental. Ces approches restent des tâches de sélection d'ordre 0 où le modèle identifie une seule option correcte parmi des candidats. Elles n'élèvent pas l'ordre logique du raisonnement, permettant aux modèles avancés de contourner les contraintes logiques profondes par une vérification étendue de la chaîne de pensée (CoT) ou par la correspondance de motifs. Par conséquent, les benchmarks actuels échouent à défier les modèles de raisonnement les plus performants ou à révéler des lacunes fondamentales dans la logique compositionnelle.

Méthodologie : Le cadre LogiHard

Les auteurs proposent LogiHard, un cadre formel qui transforme de manière déterministe les QCM d'ordre 0 en tâches de jugement logique d'ordre 2. Cette transformation augmente la charge cognitive et les étapes de raisonnement tout en garantissant une validité par construction. Le cadre se compose de trois composantes synergiques :

1. Protocole combinatoire déterministe

Au lieu d'une perturbation stochastique, LogiHard mappe les options atomiques sur des variables propositionnelles et synthétise des formules composées à l'aide de connecteurs logiques ($\land, \lor, \neg$).

• Transformation : Une question atomique $Q = (C, O, a)$ est convertie en une question combinatoire $Q' = (C', \Phi, A)$. Le contexte $C'$ inclut des énoncés en langage naturel correspondant aux options atomisées. L'ensemble de formules $\Phi$ contient des propositions composées (par exemple, exactitude, disjonction, négation, négation composée) que le modèle doit évaluer sous l'attribution de vérité de référence dérivée de la réponse originale.
• Validité par construction : L'ensemble de réponses correctes $A$ est logiquement cohérent avec la vérité de référence atomique. L'option atomique n'apparaît jamais directement dans la sortie ; seul son équivalent propositionnel au sein des formules composées apparaît. Cela rend la mémorisation des motifs de surface inefficace.
• Niveaux de difficulté : La complexité est calibrée via la hiérarchie des opérateurs :
  • Facile : Exactitude uniquement ($\land$).
  • Moyen : Ajout de la Disjonction ($\lor$).
  • Difficile : Ajout de la Négation ($\neg$).
  • Expert : Ajout de Négations composées.

2. Évaluation de la difficulté cognitive

Pour s'assurer que les questions sources sont intrinsèquement difficiles avant la transformation, le cadre emploie un module de notation cognitive.

• Métriques : Il extrait neuf dimensions des traces de réflexion du modèle (par exemple, points d'oscillation, densité logique, profondeur abductive, longueur de la chaîne d'inférence).
• Score Or : Ces métriques sont agrégées en un « Score Or » pondéré pour stratifier les questions en niveaux (Facile, Moyen, Difficile, Expert). Seuls les niveaux Difficile et Expert subissent une transformation combinatoire pour éviter les effets de plancher.

3. Évaluation dynamique via IRT-CAT

LogiHard intègre la Théorie de la réponse à l'item (IRT) et le Test Adaptatif Informatisé (CAT) pour remédier à l'inefficacité des benchmarks statiques.

• Sélection adaptative : Le système sélectionne dynamiquement les items les plus informatifs basés sur l'estimation actuelle de la capacité du modèle ($\hat{\theta}$), maximisant l'information de Fisher.
• Estimation par double sous-ensemble : Il estime séparément la capacité sur le raisonnement atomique (ordre 0) et le raisonnement combinatoire (ordre 2), permettant une mesure précise de l'« écart combinatoire » ($\Delta\theta$).
• Efficacité : Cette approche atteint une précision de mesure équivalente à des tests statiques de 60 items en utilisant uniquement 15 à 25 questions sélectionnées de manière adaptative.

Contributions clés

1. Synthèse de difficulté garantie par validité : Un protocole déterministe qui élève le raisonnement de la sélection d'ordre 0 au jugement d'ordre 2. Il résiste à la mémorisation en garantissant que la réponse correcte détermine l'attribution de vérité sans que l'option atomique n'apparaisse dans la sortie, éliminant ainsi la dérive sémantique trouvée dans les méthodes adverses.
2. Contrôle dynamique de la difficulté : Un système unifié combinant des configurations d'opérateurs hiérarchisés pour l'étalonnage au moment de la génération et un CAT basé sur l'IRT pour un ciblage précis et efficace de la capacité.
3. Identification de l'échec du raisonnement : L'instanciation de LogiHard-2k, un ensemble de données de 2 000 questions d'examens à haut risque, révèle un échec multi-sélection fondamental et un écart de raisonnement combinatoire chez les modèles de pointe.

Résultats expérimentaux

Le cadre a été évalué sur douze modèles de pointe (incluant GPT-5.4, o3, Claude-Opus-4.6, DeepSeek-R1 et Qwen3.6-plus) et comparé à des évaluateurs humains.

• Dégradation de la précision : Les modèles ont présenté de fortes baisses de performance sur les questions durcies de manière combinatoire, avec une dégradation de la précision allant de 31 % à 56 %. Par exemple, Qwen3.6-plus est passé de 51,67 % (H-Base) à 5,00 % (H-Comb).
• Niveaux de résilience : Les modèles ont été catégorisés en trois niveaux basés sur la baisse de capacité latente ($\Delta\theta$). Les modèles les plus résilients (par exemple, GLM-5, GPT-5.4) ont montré une baisse d'environ $1,05–1,11$, tandis que d'autres (par exemple, GLM-4.7) ont subi un effondrement de $\Delta\theta = 3,14$.
• Asymétrie Humain vs Machine : Les évaluateurs humains ont atteint 79,5 % de précision sur les questions combinatoires difficiles ($\Delta\theta \approx 0,28$), surpassant significativement même les modèles les plus résilients.
• Goulot d'étranglement multi-sélection : La désagrégation a révélé un mode d'échec spécifique : la précision est passée de 31,2 % pour les questions à une seule option correcte à 12,4 % pour les questions multi-sélection ($n_{correct} \ge 2$).
• Transfert Zero-Shot : Lorsqu'appliqué à MMLU sans adaptation de domaine, le cadre a montré une dégradation de précision de 47 % (89,84 % $\to$ 42,86 %), confirmant que l'écart est agnostique au domaine et découle de l'architecture de raisonnement plutôt que de déficits de connaissances.

Analyse mécanistique et signification

L'article identifie la cause racine de l'échec comme un écart de mappage combinatoire plutôt qu'un manque de connaissances logiques.

• Échec en deux étapes : Les modèles réussissent l'Étape 1 (évaluation des attributions de vérité atomiques) mais échouent à l'Étape 2 (traduction de ces vérités en ensembles complets d'options multi-sélection).
• Biais induit par l'entraînement : L'échec est attribué à un biais de sortie précoce dans les pipelines d'entraînement. Les modèles sont optimisés pour la sélection d'une seule réponse (« la première réponse correcte gagne ») et manquent de déclencheurs métacognitifs pour la vérification de complétude à valeur d'ensemble. Cela conduit à une sous-sélection, où les modèles identifient des options valides mais échouent à énumérer l'ensemble complet.
• Signification : LogiHard démontre que les modèles de pointe actuels manquent de satisfaction robuste des contraintes propositionnelles. Le cadre fournit un protocole d'évaluation agnostique au domaine et résistant à la contamination qui isole la capacité de raisonnement des connaissances de domaine. Il suggère que les futurs régimes d'entraînement doivent intégrer une élévation combinatoire déterministe pour instaurer une satisfaction de contraintes à valeur d'ensemble, dépassant la dépendance actuelle à la saturation des benchmarks de surface.

Les auteurs concluent que la distinction entre « connaître la logique » et « composer la logique » reste un plafond persistant pour le raisonnement machine, et que les benchmarks statiques approchent de l'obsolescence pour évaluer les véritables capacités de raisonnement.