QSTRBench: a New Benchmark to Evaluate the Ability of Language Models to Reason with Qualitative Spatial and Temporal Calculi

Technische Samenvatting van QSTRBench: Een Nieuwe Benchmark om het Vermogen van Taalmodellen te Evalueren om te Redeneren met Kwalitatieve Ruimtelijke en Temporele Kalkielen

Probleemstelling
Kwalitatieve Ruimtelijke en Temporele Redenering (QSTR) is een gevestigd vakgebied dat zich bezighoudt met het representeren en redeneren over kwalitatieve informatie (bijvoorbeeld "links van", "voor", "onderdeel van") met behulp van formele kalkielen. Hoewel Large Language Models (LLM's) indrukwekkende vaardigheden hebben getoond in natuurlijke taalverwerking, blijft hun vermogen om strikt te redeneren binnen deze formele systemen onbevestigd. Bestaande benchmarks missen vaak een systematische dekking van kerninference-taken voor QSTR of vertrouwen op informele vragen die niet zijn verankerd in specifieke kalkielen. Bovendien bestaat er een debat over de vraag of LLM's werkelijk redeneren of slechts patronen uit trainingsdata repliceren. Dit artikel adresseert de vraag of hedendaagse LLM's de specifieke redeneertaken die geassocieerd zijn met QSTR-kalkielen kunnen uitvoeren: het bepalen van converse-relaties, het berekenen van relationele composities en het identificeren van conceptuele buurten.

Methodologie
De auteurs introduceren QSTRBench, een uitgebreide benchmark ontworpen om LLM's te testen op negen verschillende QSTR-kalkielen: Point Algebra (PA), Allen's Interval Algebra (IA), Interval and Duration (INDU), Region Connection Calculus (RCC-5, RCC-8, RCC-22), het Nine Intersection Model (9IM), Cardinal Direction Calculus (CDC) en Revised STAR.

De benchmark evalueert drie specifieke inferentietaken voor elk kalkiel:

1. Converse: Gegeven een relatie $R(x, y)$, bepaal de relatie $R^{-1}(y, x)$.
2. Compositietabel (CT): Gegeven $R_1(x, y)$ en $R_2(y, z)$, bepaal de mogelijke relaties tussen $x$ en $z$.
3. Conceptuele Buurt (CN): Identificeer relaties die direct kunnen volgen op een gegeven relatie onder continue vervorming of translatie.

De dataset bestaat uit 1.806 vragen die 102 basisrelaties bestrijken over de geselecteerde kalkielen. Om robuustheid en het potentieel voor patroonherkenning versus echt redeneren te testen, creëerden de auteurs een uitgebreide dataset (QSTRBenchExtended) met 14.372 vragen. Deze uitgebreide set varieert de prompt-presentatie via:

• Notatie: Prefix versus infix.
• Terminologie: Standaard Engelse woorden, wiskundige symbolen en "nonce"-woorden (willekeurig gegenereerde termen zonder semantische betekenis).
• Beschrijvingsstijlen: Tekst in natuurlijke taal, schematische ASCII-diagrammen en LaTeX-formules.
• Anonimisering: Het verwisselen van relatienaam (bijvoorbeeld "TPP" labelen als "EC") om te testen of modellen vertrouwen op trainingsdata of prompt-specifieke logica.

De studie evalueerde 32 hedendaagse LLM's, variërend van geavanceerde commerciële modellen (zoals GPT-5.2, Gemini-2.5-Pro, Grok-4) tot kleinere open-weights modellen (zoals Llama-3, Gemma-3). Experimenten werden uitgevoerd met strikte temperatuurinstellingen (0,01) om stochasticiteit te minimaliseren, en resultaten werden gerapporteerd als micro-gemiddelden van nauwkeurigheid.

Belangrijkste Bijdragen

1. Benchmarkcreatie: De release van QSTRBench en QSTRBenchExtended, die de eerste uitgebreide, open-source dataset bieden voor het evalueren van QSTR-redenering in LLM's over meerdere kalkielen en promptvariaties.
2. Nieuwe Data: De publicatie van de RCC-22 Conceptuele Buurt (CN) voor het eerst, afgeleid en geverifieerd door de auteurs.
3. Systematische Evaluatie: Een rigoureuze evaluatie van 32 modellen over drie inferentietaken, waarbij prestaties niet alleen worden geanalyseerd op basis van nauwkeurigheid, maar ook op tokengebruik, redeneersporen en consistentie over herhalingen.
4. Methodologische Strenge: Het gebruik van nonce-woorden en schematische beschrijvingen om te onderzoeken of modellen opgeslagen feiten ophalen of logische inferentie uitvoeren.

Resultaten

• Algemene Prestaties: Alle geteste modellen presteerden beter dan willekeurig gokken, maar geen enkel model beantwoordde consequent alle vragen correct. De prestaties varieerden aanzienlijk per kalkiel en taaktype.
• Taakmoeilijkheid: Modellen presteerden het beste op Converse-vragen, gevolgd door Compositietabel (CT)-vragen, waarbij Conceptuele Buurt (CN)-vragen het meest uitdagend waren.
• Kalkielmoeilijkheid: Point Algebra (PA) was het meest rechttoe rechtaan (hoogste nauwkeurigheid), terwijl RCC-22 het moeilijkst was. Interessant genoeg correleerde de nauwkeurigheid niet strikt met het aantal basisrelaties; bijvoorbeeld, INDU (25 relaties) was makkelijker dan RCC-22 (22 relaties).
• Modelprestaties:
  • GPT-5.2 (met hoge redeneerinspanning) kwam naar voren als de beste presterende in het algemeen, met bijna perfecte scores op PA, CDC en STAR, hoewel het nog steeds worstelde met RCC-22.
  • OpenAI's GPT-5.1 presteerde slecht (0,22 nauwkeurigheid), aanzienlijk onder zijn voorganger (GPT-5) en opvolger (GPT-5.2), wat wijst op problemen met zijn "adaptieve redenering"-configuratie.
  • Kleine Modellen: Kleinere modellen (zoals Gemma-3 1B, Llama-3 8B) presteerden zeer slecht, vaak falend bij basisidentiteits- of transitiviteitscontroles.
• Redeneren versus Ophalen:
  • Modellen behielden over het algemeen een hoge nauwkeurigheid bij standaardprompts, maar vertoonden een verslechterde prestatie wanneer relatienaam werden verwisseld of vervangen door nonce-woorden, wat wijst op een afhankelijkheid van patronen in trainingsdata.
  • Echter, toonden o1 en GPT-5.2 enig vermogen om te generaliseren, zelfs wanneer beschrijvingen schematisch waren of namen geanonimiseerd, hoewel de nauwkeurigheid aanzienlijk daalde bij schematische diagrammen vergeleken met tekst.
  • Hallucinaties: Modellen hallucineerden vaak niet-bestaande relatienaam (bijvoorbeeld "TPPPi" of ongeldige INDU-relaties), wat wijst op een gebrek aan diep semantisch begrip van de kalkielen.
• Tokengebruik: Complexere kalkielen (zoals RCC-22) vereisten aanzienlijk meer outputtokens (ordes van grootte meer dan PA) voor modellen met hoge redeneerinspanning, maar dit garandeerde geen perfecte nauwkeurigheid.

Betekenis en Claims
Het artikel beweert dat hoewel LLM's een capaciteit tonen om redenering te simuleren (beter dan willekeurig gokken), ze nog niet beschikken over betrouwbare, consistente redeneercapaciteiten voor formele QSTR-kalkielen. De auteurs benadrukken dat:

• Inconsistentie: Zelfs de beste modellen verschillende antwoorden geven op dezelfde vraag over herhalingen, zelfs met vaste zaden.
• Beperkingen van Trainingsdata: De daling in prestaties bij nonce-woorden en schematische prompts suggereert dat huidige modellen zwaar vertrouwen op opgeslagen patronen uit trainingscorpora in plaats van antwoorden af te leiden uit eerste principes.
• Complexiteitsdrempel: De moeilijkheid van RCC-22 in vergelijking met eenvoudigere kalkielen benadrukt een plafond in de huidige modelcapaciteiten met betrekking tot complexe ruimtelijke topologieën.
• Toekomstige Nut: De benchmark dient als een noodzakelijk instrument voor het volgen van vooruitgang in AI-redenering. De auteurs suggereren dat hoewel LLM's op termijn symbolische redenaars kunnen vervangen, huidige neurosymbolische benaderingen (het gebruik van LLM's om natuurlijke taal te vertalen naar symbolische oplossers) nog steeds vatbaar zijn voor vertaalfouten die downstream-fouten veroorzaken.

Het artikel concludeert bescheiden, met de opmerking dat de evaluatie een momentopname is van een snel evoluerend veld en dat de primaire blijvende waarde ligt in de benchmark zelf en de methodologie voor het testen van redeneerrobuustheid.