Résumé Technique : XDomainBench : Diagnostic de l'effondrement du raisonnement dans la composition de connaissances scientifiques multidimensionnelles

1. Énoncé du problème

Bien que les grands modèles de langage (LLM) soient de plus en plus déployés pour la synthèse des connaissances, leur capacité de généralisation compositionnelle dans le domaine des connaissances scientifiques reste sous-caractérisée. Les benchmarks existants se concentrent principalement sur des scénarios à tour unique et restreints (par exemple, requêtes statiques en un seul coup) ou sur des évaluations de domaines isolés (par exemple, ScienceQA, GPQA). Ces approches échouent à capturer la nature dynamique, interactive et multi-contrainte de la découverte scientifique réelle (IA4S), où les trajectoires de recherche nécessitent l'entrelacement de contraintes issues de domaines disparates (par exemple, combiner la chimie analytique, la physique du solide et l'évaluation des coûts financiers).

Par conséquent, il existe un manque de compréhension systématique quant à la manière et aux raisons pour lesquelles les LLM se dégradent lorsque plusieurs contraintes scientifiques entrent en collision. Les évaluations actuelles ne permettent pas de distinguer si les échecs proviennent d'un manque de connaissances de domaine ou de limitations dans le raisonnement conjoint à travers les domaines.

2. Méthodologie : Cadre XDomainBench

Pour combler cette lacune, les auteurs introduisent XDomainBench, un benchmark diagnostique conçu pour tester la généralisation compositionnelle dans le raisonnement scientifique interdisciplinaire interactif. Le cadre repose sur deux dimensions contrôlables :

1. Ordre de composition ($k$) : Le nombre de domaines distincts impliqués dans une session, mesurant la largeur de l'intégration ($k \in \{1, 2, 3, 4\}$).
2. Structure de mélange : La dépendance logique et la distribution des domaines au sein d'une session, mesurant la profondeur du raisonnement conjoint.

Construction du jeu de données

• Échelle : Le benchmark comprend 8 598 sessions interactives réparties sur 20 domaines scientifiques (organisés en 6 grandes catégories : Sciences naturelles, Ingénierie, Sciences sociales, Humanités, Arts et Général) et 4 types de tâches (Choix multiples, QA factuelle, Raisonnement, Code).
• Sélection des domaines : Les domaines sont combinés en utilisant la similarité sémantique basée sur les embeddings pour assurer des connexions interdisciplinaires réalistes, suivies de contrôles de cohérence humains.
• Modèles de trajectoire : Les sessions sont construites avec 8 modèles de trajectoire réalistes couvrant la difficulté et la dynamique du mélange de domaines :
  • Modèles de difficulté : Stable, Augmentation progressive, Diminution progressive, Pic, Fluctuation.
  • Modèles de mélange : Stable, Déplacement progressif, Fluctuation.
• Contrôle de qualité : Un pipeline multi-étapes impliquant la génération par LLM, un ensemble de trois modèles pour la validation (vérification de la difficulté et des poids des domaines) et un audit humain détaillé garantit que les sessions réalisées correspondent aux objectifs diagnostiques prévus.

Mécanismes diagnostiques

Le benchmark attribue la dégradation des performances à deux causes racines :

1. Mécanisme direct (Niveau tour) : Augmentations immédiates de la difficulté induites par la composition des domaines, augmentant la charge cognitive et les exigences de raisonnement conjoint avant toute propagation d'erreur multi-tours.
2. Mécanisme indirect (Niveau session) : Échecs amplifiés par l'interaction où des modèles de trajectoire spécifiques déclenchent :
   • Accumulation d'erreurs : Déclin soutenu des performances après un tour d'apparition.
   • Ruptures de raisonnement : Chutes soudaines de précision indiquant un échec à maintenir la continuité.
   • Confusion des domaines : La dépendance aux domaines réalisée s'écarte du mélange prévu.

3. Résultats clés

Des évaluations extensives sur des modèles propriétaires de pointe (par exemple, GPT-5.2, Claude-4.5), des modèles à poids ouverts (par exemple, Qwen, Llama) et des modèles MoE (par exemple, Mixtral) révèlent un effondrement systématique du raisonnement à mesure que l'ordre de composition augmente.

• Dégradation non linéaire : À mesure que $k$ passe de 1 à 4, les performances chutent considérablement. Pour les grands modèles, la précision au niveau du tour (Rappel) tombe de 38,7 % ($k=1$) à 27,1 % ($k=4$). La dégradation s'accélère de manière non linéaire aux ordres supérieurs.
• Sensibilité des modèles : Les petits modèles présentent une dégradation plus abrupte et une variance plus élevée que les grands modèles. Les modèles MoE démontrent des performances supérieures, surpassant systématiquement les autres sur toutes les métriques, en particulier dans les taux de réussite des sessions.
• Validation des mécanismes :
  • Effet direct : Même au Tour 1 (avant l'interaction multi-tours), la composition des domaines induit une chute immédiate des performances par rapport aux références à domaine unique, confirmant une charge cognitive intégrative.
  • Effet indirect : Des modèles de trajectoire spécifiques (par exemple, difficulté « Fluctuation » ou « Pic ») sont fortement corrélés à des phénomènes d'échec tels que l'accumulation d'erreurs et les ruptures de raisonnement, conduisant à l'effondrement de la session.
• Robustesse : L'évaluation sémantique via des juges LLM préserve la même tendance de dégradation monotone que le Rappel au niveau des tokens, confirmant que l'effondrement n'est pas un artefact du chevauchement lexicale mais une limitation fondamentale du raisonnement.

4. Signification et revendications

L'article revendique que le simple passage à l'échelle est insuffisant pour résoudre le raisonnement scientifique compositionnel. L'effondrement systématique observé suggère que les architectures actuelles luttent face à la charge cognitive des compositions de domaines de haute dimension et au maintien de la cohérence à travers les interactions multi-tours.

XDomainBench fournit un bac à sable contrôlable pour :

• Diagnostic : Aller au-delà des simples scores de précision pour identifier les mécanismes d'échec exacts (directs vs indirects).
• Stratégies d'entraînement : Permettre un entraînement conscient des modèles où les modèles apprennent à s'adapter aux pics de difficulté et aux déplacements de mélange.
• Conception d'architecture : Motiver des approches spécialisées telles que l'acheminement d'experts pour les mélanges de domaines (soutenu par les performances des MoE) et des architectures augmentées par la mémoire pour prévenir la propagation des erreurs.

Les auteurs positionnent XDomainBench non pas comme un simulateur complet de la découverte scientifique, mais comme un outil diagnostique pour isoler les capacités intrinsèques de raisonnement interdisciplinaire multi-tours, ouvrant la voie à des assistants IA4S plus robustes et adaptatifs.