Résumé technique : Évaluation du raisonnement interactif dans les grands modèles de langage

Énoncé du problème

Les évaluations actuelles du raisonnement des grands modèles de langage (LLM) sont principalement statiques, présentant aux modèles des problèmes entièrement spécifiés et exigeant une réponse en un seul coup (single-shot). Ce paradigme ne parvient pas à évaluer le raisonnement comme un processus actif d'acquisition d'informations et de mise à jour des croyances. De plus, les benchmarks statiques confondent souvent deux modes de défaillance distincts : un déficit de connaissances (manque de faits nécessaires) et un déficit de raisonnement (échec de l'utilisation correcte des informations disponibles). Les benchmarks multi-tours existants mélangent souvent le raisonnement avec la connaissance du monde, les compétences de dialogue ou le respect des instructions, et manquent fréquemment de l'échelle ou de la diversité structurelle nécessaire pour isoler des capacités de raisonnement spécifiques. Il existe un besoin pour un cadre qui traite le raisonnement comme une acquisition séquentielle de preuves sous observabilité partielle, isole le raisonnement de la récupération factuelle et sonde les capacités de niveau supérieur comme la robustesse et la métacognition.

Méthodologie

Les auteurs proposent un cadre hiérarchique pour l'évaluation du raisonnement interactif, instancié par un benchmark de 474 jeux exécutables.

1. Noyau de raisonnement interactif

Le cœur du cadre formule le raisonnement comme un problème de recherche d'état sous observabilité partielle.

• Configuration : Le LLM ne reçoit que les règles de la tâche et un état d'environnement caché. Il doit émettre de manière itérative des requêtes ciblées pour recueillir des preuves partielles, mettre à jour ses croyances et décider du moment où soumettre une réponse finale.
• Structure : Les jeux sont construits à partir de primitives structurelles minimales pour éviter de dépendre des connaissances du monde réel. Ils couvrent quatre structures de données canoniques (ensembles, séquences, arbres, graphes) et trois modes d'inférence (déductif, inductif, abductif).
• Protocole : L'interaction suit un format d'action structuré (par exemple, <submit>réponse</submit>) pour assurer un parsing fiable. L'environnement répond aux requêtes ou évalue les soumissions.
• Difficulté : Chaque jeu est évalué sous cinq espaces de recherche de configurations fixes, correspondant à cinq niveaux de difficulté définis par la taille de l'espace de recherche latent (par exemple, la cardinalité des ensembles, la profondeur des arbres).

2. Couches d'évaluation de niveau supérieur

Au-delà de la recherche interactive de base, le cadre introduit deux couches pour sonder les capacités avancées :

• Robustesse contextuelle : Teste si le raisonnement est préservé sous :
  • Perturbation isomorphe : Variantes sémantiquement enrichies (par exemple, changer les nœuds d'un graphe en patients) qui préservent la logique sous-jacente mais modifient la forme de surface.
  • Injection de bruit intra-jeu : Ajout de texte non pertinent aux règles ou aux réponses.
  • Contrôle de frontière inter-jeu : Introduction d'un nouveau jeu sans réinitialiser l'historique de l'interaction pour tester le changement de contexte.
• Adaptation métacognitive : Teste la capacité du modèle à gérer son état de raisonnement interne :
  • Révision contrefactuelle : L'environnement corrige une observation précédente en cours de jeu, obligeant le modèle à mettre à jour ses croyances et à réviser sa stratégie de recherche.
  • Jugement de nécessité : Le modèle reçoit l'intégralité des preuves, on lui demande de résoudre le problème, puis on lui demande d'identifier et de supprimer les observations redondantes pour former un ensemble de support minimal.

3. Construction du benchmark

Le benchmark se compose de 474 jeux (totalisant 2 370 instances à travers les niveaux de difficulté). Pour garantir la qualité et l'extensibilité, les auteurs ont employé une stratégie de construction hybride humain-LLM :

• Génération de règles : Des modèles de pointe ont généré des règles candidates sous des contraintes strictes concernant les états cachés, les types de requêtes et la solvabilité.
• Génération de programmes : Une interface tempérée a été utilisée pour générer des environnements exécutables, les LLM n'implémentant que la logique spécifique au jeu.
• Filtrage : Les jeux ont été filtrés sur la base des performances préliminaires des modèles pour éliminer ceux qui étaient trop faciles (>90 % de succès), trop difficiles (<10 % de succès) ou ambigus. Une revue manuelle a permis d'affiner davantage l'ensemble.

Résultats clés

Les auteurs ont évalué un large ensemble de modèles de pointe (incluant Qwen3-max, Deepseek-3.2, Claude-4.5, GPT-5.4 et diverses versions de Gemini) sur le benchmark.

• Pouvoir discriminatif : Le benchmark différencie efficacement les modèles. Les taux de réussite varient de ~43 % à ~74 %. Gemini-3.1-pro a obtenu le taux de réussite (74,21 %) et l'efficacité les plus élevés, tandis que Claude-4.5 a montré une précision comparable mais a nécessité près de deux fois plus de tours, indiquant une efficacité d'interaction moindre.
• Régimes de raisonnement :
  • Le raisonnement déductif a été systématiquement le plus facile pour tous les modèles, probablement dû à l'accent mis dans les données d'entraînement.
  • Le raisonnement abductif et les tâches basées sur les ensembles ont été les plus difficiles, les ensembles s'avérant plus complexes que les arbres ou les graphes en raison de l'absence d'indices structurels explicites.
• Robustesse contextuelle :
  • Perturbation isomorphe : A causé des baisses de performance modérées mais constantes (par exemple, Gemini-3.1-pro a chuté de ~5-6 %), indiquant une difficulté à préserver le raisonnement abstrait sous des changements sémantiques.
  • Injection de bruit : A systématiquement réduit les performances, suggérant que les modèles peinent à filtrer le contenu non pertinent tout en suivant les preuves actives.
  • Contrôle de frontière : Étonnamment, les performances sont restées stables ou se sont légèrement améliorées lorsque de nouveaux jeux étaient introduits sans réinitialisation de l'historique, suggérant que les modèles peuvent reconnaître les frontières des tâches.
• Adaptation métacognitive :
  • Révision contrefactuelle : A provoqué des chutes de performance significatives (par exemple, Gemini-3.1-pro est passé de 74,21 % à 57,56 %), révélant une faiblesse qualitative dans la mise à jour des états de raisonnement internes lorsque les preuves changent.
  • Jugement de nécessité : Les modèles ont fréquemment supprimé une grande fraction des observations (62–83 %) mais ont échoué à préserver la réponse correcte après l'élagage. Les taux de réussite ont chuté après l'élagage (par exemple, de 70,76 % à 48,87 % pour Gemini-3.1-pro), indiquant que les modèles sont meilleurs pour utiliser les preuves lorsqu'elles sont présentes que pour identifier les preuves indispensables.
• Modes de défaillance : Le mode de défaillance dominant était l'Erreur de Format (FormatError — échec du respect du protocole structuré), plutôt que les dépassements de délai (timeouts), soulignant le défi du maintien de la conformité au protocole sur plusieurs tours.

Signification et affirmations

L'article affirme fournir un cadre résistant à la contamination et diagnostiquement riche pour évaluer le raisonnement des LLM. En traitant le raisonnement comme une acquisition active de preuves, le benchmark isole les déficits de raisonnement des déficits de connaissances.

Les auteurs affirment que, bien que les modèles de pointe actuels démontrent des capacités de raisonnement interactif non négligeables, ils restent substantiellement plus faibles en :

1. Robustesse : Maintenir les performances sous des perturbations sémantiques et du bruit.
2. Révision des croyances : Mettre à jour le raisonnement lorsque les preuves précédentes sont corrigées.
3. Attribution de preuves : Distinguer entre les informations suffisantes et nécessaires.

Le travail suggère que les modèles actuels sont meilleurs pour résoudre des problèmes sous des preuves fixes que pour maintenir un compte révisable de pourquoi une réponse est correcte. Les auteurs positionnent ce benchmark comme un outil pour les travaux futurs en diagnostic de raisonnement, interventions lors de l'entraînement et apprentissage par renforcement interactif, notant que la nature exécutable de l'environnement permet des protocoles d'interaction explicites.

Le papier reconnaît modestement des limites, notamment l'incapacité des espaces de configuration fixes à capturer pleinement la nature continue des défis de raisonnement du monde réel et le potentiel de simplification excessive de la dynamique d'interaction due au format d'action structuré basé sur XML.