QSTRBench: a New Benchmark to Evaluate the Ability of Language Models to Reason with Qualitative Spatial and Temporal Calculi

Résumé technique de QSTRBench : Un nouveau benchmark pour évaluer la capacité des modèles de langage à raisonner avec des calculs spatiaux et temporels qualitatifs

Énoncé du problème
Le raisonnement spatial et temporel qualitatif (QSTR) est un domaine bien établi qui traite de la représentation et du raisonnement sur des informations qualitatives (par exemple, « à gauche de », « avant », « partie de ») à l'aide de calculs formels. Bien que les grands modèles de langage (LLM) aient démontré des capacités impressionnantes en traitement du langage naturel, leur aptitude à effectuer un raisonnement rigoureux au sein de ces systèmes formels reste à vérifier. Les benchmarks existants manquent souvent d'une couverture systématique des tâches d'inférence QSTR fondamentales ou s'appuient sur des questions informelles non ancrées dans des calculs spécifiques. De plus, un débat existe quant à savoir si les LLM raisonnent véritablement ou se contentent de répliquer des motifs issus de leurs données d'entraînement. Cet article aborde la question de savoir si les LLM contemporains peuvent effectuer les tâches de raisonnement spécifiques associées aux calculs QSTR : déterminer les relations inverses, calculer les compositions relationnelles et identifier les voisinages conceptuels.

Méthodologie
Les auteurs introduisent QSTRBench, un benchmark complet conçu pour tester les LLM sur neuf calculs QSTR distincts : l'algèbre des points (PA), l'algèbre des intervalles d'Allen (IA), les intervalles et durées (INDU), le calcul de connexion des régions (RCC-5, RCC-8, RCC-22), le modèle des neuf intersections (9IM), le calcul des directions cardinales (CDC) et STAR révisé.

Le benchmark évalue trois tâches d'inférence spécifiques pour chaque calcul :

1. Inverse : Étant donné une relation $R(x, y)$, déterminer la relation $R^{-1}(y, x)$.
2. Table de composition (CT) : Étant donné $R_1(x, y)$ et $R_2(y, z)$, déterminer les relations possibles entre $x$ et $z$.
3. Voisinage conceptuel (CN) : Identifier les relations qui peuvent directement suivre une relation donnée sous une déformation continue ou une translation.

L'ensemble de données comprend 1 806 questions couvrant 102 relations de base à travers les calculs sélectionnés. Pour tester la robustesse et distinguer l'appariement de motifs du raisonnement véritable, les auteurs ont créé un ensemble de données étendu (QSTRBenchExtended) comportant 14 372 questions. Cet ensemble étendu varie la présentation des invites par :

• Notation : Préfixe vs infixe.
• Terminologie : Mots anglais standards, symboles mathématiques et mots « nonce » (termes générés aléatoirement sans signification sémantique).
• Styles de description : Texte en langage naturel, diagrammes ASCII schématiques et formules LaTeX.
• Anonymisation : Échange des noms de relations (par exemple, étiqueter « TPP » comme « EC ») pour tester si les modèles s'appuient sur les données d'entraînement ou sur une logique spécifique à l'invite.

L'étude a évalué 32 LLM contemporains, allant des modèles commerciaux de pointe (par exemple, GPT-5.2, Gemini-2.5-Pro, Grok-4) aux modèles open-weights plus petits (par exemple, Llama-3, Gemma-3). Les expériences ont été menées avec des paramètres de température stricts (0,01) pour minimiser la stochasticité, et les résultats ont été rapportés sous forme de moyennes micro de précision.

Contributions clés

1. Création de benchmark : La publication de QSTRBench et QSTRBenchExtended, fournissant le premier ensemble de données open-source étendu pour évaluer le raisonnement QSTR dans les LLM à travers plusieurs calculs et variations d'invites.
2. Données nouvelles : La publication du voisinage conceptuel (CN) RCC-22 pour la première fois, dérivé et vérifié par les auteurs.
3. Évaluation systématique : Une évaluation rigoureuse de 32 modèles sur trois tâches d'inférence, analysant la performance non seulement par la précision mais aussi par l'utilisation des jetons, les traces de raisonnement et la cohérence lors des répétitions.
4. Rigueur méthodologique : L'utilisation de mots « nonce » et de descriptions schématiques pour sonder si les modèles récupèrent des faits mémorisés ou effectuent une inférence logique.

Résultats

• Performance générale : Tous les modèles testés ont mieux performé que le hasard, mais aucun modèle n'a répondu correctement à toutes les questions de manière cohérente. La performance variait considérablement selon le calcul et le type de tâche.
• Difficulté des tâches : Les modèles ont obtenu les meilleurs résultats sur les questions d'Inverse, suivies par les questions de Table de composition (CT), les questions de Voisinage conceptuel (CN) étant les plus difficiles.
• Difficulté des calculs : L'algèbre des points (PA) était la plus simple (précision la plus élevée), tandis que le RCC-22 était le plus difficile. Fait intéressant, la précision ne corrélait pas strictement avec le nombre de relations de base ; par exemple, INDU (25 relations) était plus facile que RCC-22 (22 relations).
• Performance des modèles :
  • GPT-5.2 (avec un effort de raisonnement élevé) s'est imposé comme le meilleur performant global, obtenant des scores quasi parfaits sur PA, CDC et STAR, bien qu'il ait encore du mal avec RCC-22.
  • GPT-5.1 d'OpenAI a mal performé (précision de 0,22), sous-performant significativement son prédécesseur (GPT-5) et son successeur (GPT-5.2), suggérant des problèmes avec sa configuration de « raisonnement adaptatif ».
  • Petits modèles : Les modèles plus petits (par exemple, Gemma-3 1B, Llama-3 8B) ont très mal performé, échouant souvent à des vérifications d'identité ou de transitivité de base.
• Raisonnement vs Récupération :
  • Les modèles ont généralement maintenu une précision élevée avec des invites standard mais ont montré une performance dégradée lorsque les noms de relations étaient échangés ou remplacés par des mots « nonce », suggérant une dépendance aux motifs des données d'entraînement.
  • Cependant, o1 et GPT-5.2 ont montré une certaine capacité à généraliser même lorsque les descriptions étaient schématiques ou que les noms étaient anonymisés, bien que la précision ait chuté considérablement avec les diagrammes schématiques par rapport au texte.
  • Hallucinations : Les modèles ont fréquemment halluciné des noms de relations inexistants (par exemple, « TPPPi » ou des relations INDU invalides), indiquant un manque de compréhension sémantique profonde des calculs.
• Utilisation des jetons : Des calculs plus complexes (comme RCC-22) nécessitaient significativement plus de jetons de sortie (de plusieurs ordres de grandeur par rapport à PA) pour les modèles à haut raisonnement, sans pour autant garantir une précision parfaite.

Signification et affirmations
L'article affirme que si les LLM démontrent une capacité à simuler le raisonnement (surpassant le hasard), ils ne possèdent pas encore de capacités de raisonnement fiables et cohérentes pour les calculs formels QSTR. Les auteurs soulignent que :

• Incohérence : Même les meilleurs modèles produisent des réponses différentes à la même question lors de répétitions, même avec des graines fixes.
• Limites des données d'entraînement : La baisse de performance avec les mots « nonce » et les invites schématiques suggère que les modèles actuels s'appuient fortement sur des motifs mémorisés issus des corpus d'entraînement plutôt que de dériver des réponses à partir de premiers principes.
• Barrière de complexité : La difficulté du RCC-22 par rapport à des calculs plus simples met en évidence un plafond dans les capacités actuelles des modèles concernant les topologies spatiales complexes.
• Utilité future : Le benchmark sert d'outil nécessaire pour suivre les progrès du raisonnement en IA. Les auteurs suggèrent que si les LLM peuvent éventuellement remplacer les raisonneurs symboliques, les approches neuro-symboliques actuelles (utilisant les LLM pour traduire le langage naturel vers des solveurs symboliques) sont toujours sujettes à des erreurs de traduction qui causent des échecs en aval.

L'article conclut avec modestie, notant que l'évaluation est un instantané d'un domaine en évolution rapide et que la valeur durable principale réside dans le benchmark lui-même et la méthodologie pour tester la robustesse du raisonnement.