💬 NLP

Reasoning or a Semblance of it? A Diagnostic Study of Transitive Reasoning in LLMs

Dit artikel onderzoekt of LLaMA 2 en Flan-T5 werkelijke transitieve redenering vertonen of vertrouwen op oppervlakkige aanwijzingen door te controleren op woordoverlappen, vooraf getrainde kennis en benoemde entiteiten, waarbij wordt onthuld dat hoewel beide modellen gebruikmaken van lexicale overlappen, Flan-T5 een grotere veerkracht vertoont tegen kennisgebaseerde manipulaties, wat wijst op een potentiële rol voor fijnafstemming bij het ontwikkelen van logisch begrip.

Oorspronkelijke auteurs: Houman Mehrafarin, Arash Eshghi, Ioannis Konstas

Gepubliceerd 2026-09-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Houman Mehrafarin, Arash Eshghi, Ioannis Konstas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het snel evoluerende veld van kunstmatige intelligentie heeft een specifiek type computerprogramma, bekend als een Large Language Model, de wereldwijde aandacht getrokken. Deze systemen, getraind op enorme hoeveelheden tekst van het internet, kunnen verhalen schrijven, talen vertalen en complexe vragen beantwoorden. Een centrale vraag voor wetenschappers die deze machines bestuderen, is of ze werkelijk logica begrijpen of dat ze simpelweg de patronen nabootsen die ze eerder hebben gezien. Om dit te testen, kijken onderzoekers naar een fundamentele vaardigheid genaamd transitieve redenering. In alledaagse termen is dit het vermogen om twee afzonderlijke stukjes informatie met elkaar te verbinden om tot een nieuwe conclusie te komen. Bijvoorbeeld, als iemand weet dat een kat een type dier is, en dat alle dieren voedsel nodig hebben, kan diegene logischerwijs afleiden dat een kat voedsel nodig heeft zonder dat die specifieke feit expliciet is verteld. Dit proces vereist meer dan alleen geheugen; het vereist het vermogen om feiten aan elkaar te weven. De vraag die de recente research drijft, is of deze krachtige computerprogramma's daadwerkelijk dit mentale weven uitvoeren, of dat ze een kortere weg nemen door bekende woorden te herkennen en het antwoord te raden.

Een team van onderzoekers van de Heriot-Watt University en de University of Edinburgh zette zich af om dit specifieke probleem te onderzoeken. Ze richtten zich op twee verschillende soorten taalmodellen, één genaamd LLaMA 2 en een andere genaamd Flan-T5, om te zien hoe zij omgingen met vragen die het verbinden van twee feiten vereisten. De wetenschappers gebruikten twee bestaande collecties vragen die ontworpen zijn om dit soort denken te testen. Eén collectie, bekend als QASC, presenteert meerkeuzevragen over wetenschap die vereisen dat twee stellingen worden gecombineerd om het juiste antwoord te vinden. De andere collectie, genaamd Bamboogle, bevat vragen die lastig genoeg zijn dat een standaard zoekmachine op het internet ze fout zou kunnen hebben, waardoor het model gedwongen wordt te vertrouwen op zijn eigen verwerking. De onderzoekers wilden weten of de modellen werkelijk door de stappen redeneerden of dat ze zich slechts vastklampden aan specifieke woorden, zoals datums of namen, die zowel in de vraag als in het antwoord voorkwamen.

Om de waarheid te achterhalen, ontwierp het team een reeks slimme experimenten waarbij ze de gegeven informatie systematisch aanpasten. Ze begonnen door te controleren of de modellen de problemen konden oplossen wanneer ze de feiten en een duidelijk voorbeeld kregen van hoe ze deze moesten verbinden. Beide modellen presteerden goed onder deze omstandigheden, maar de onderzoekers vermoedden dat dit te makkelijk was. Vervolgens verwijderden ze het voorbeeld van hoe de feiten verbonden moesten worden, waardoor de modellen het zelf moesten uitzoeken. De resultaten waren onthullend. Het Flan-T5-model, dat specifiek was getraind op vergelijkbare redeneertaken, bleef zeer goed presteren, zelfs zonder het voorbeeld. Het LLaMA 2-model had echter aanzienlijk moeite zonder die begeleiding, wat suggereerde dat het zwaar leunde op het zien van het patroon van redeneren voordat het het kon volgen.

De onderzoekers namen vervolgens een drastischerere aanpak om te zien of de modellen de betekenis van de woorden werkelijk begrepen. Ze door elkaar gehusseld de volgorde van de woorden binnen de feiten, waardoor duidelijke zinnen veranderden in verwarrende, betekenisloze reeksen tekst. Als de modellen werkelijk zouden redeneren over de betekenis, zou deze chaos de antwoorden onmogelijk hebben gemaakt. Verrassend genoeg daalde de prestatie van de modellen nauwelijks. Ze waren nog steeds in staat het juiste antwoord te kiezen, zelfs wanneer de zinnen geen grammaticaal correct zin maakten. Dit suggereerde dat de modellen de zinnen niet lazen als samenhangende gedachten. In plaats daarvan waren ze waarschijnlijk op zoek naar specifieke trefwoorden die overeenkwamen met de antwoordopties. Wanneer de onderzoekers die overeenkomende trefwoorden volledig verwijderden, stortte de nauwkeurigheid van de modellen in, wat bevestigde dat ze vaak slechts woorden matchten in plaats van logica af te leiden.

Om de mogelijkheid uit te sluiten dat de modellen simpelweg de antwoorden uit hun trainingsdata hadden onthouden, wendde het team zich tot de Bamboogle-dataset, die vragen bevatte die de modellen nog nooit eerder hadden gezien. Hier introduceerden ze een laatste, rigoureuze test. Ze namen de namen van mensen, plaatsen en datums — de specifieke entiteiten die vaak in de antwoorden voorkomen — en vervingen deze door onzinwoorden. Ze husselden ook de volgorde van de woorden in de feiten door elkaar. Wanneer de modellen werden geconfronteerd met deze versies vol onzin, faalde het LLaMA 2-model bijna volledig. Het kon het antwoord niet vinden zonder de bekende namen en datums om het te leiden. Het Flan-T5-model vertoonde echter een ander soort veerkracht. Hoewel de prestatie daalde, bleef het aanzienlijk beter presteren dan het andere model. Dit suggereert dat, omdat Flan-T5 expliciet getraind was op redeneertaken, het een robuustere capaciteit had ontwikkeld om de logische keten te volgen, zelfs wanneer de bekende aanwijzingen werden weggenomen.

De studie concludeert dat hoewel grote taalmodellen kunnen lijken te redeneren, hun succes vaak afhangt van de specifieke manier waarop ze zijn getraind en de aanwijzingen die in de tekst beschikbaar zijn. Voor modellen die niet specifiek zijn bijgesteld (fine-tuned) op redeneertaken, lijkt het vermogen om complexe vragen te beantwoorden sterk te rusten op het herkennen van bekende woorden en patronen in plaats van op werkelijke logische deductie. Zelfs wanneer ze lijken te denken in stappen, kunnen ze simpelweg de juiste trefwoorden opsporen. Echter, de research suggereert dat wanneer een model zorgvuldig wordt getraind op datasets die bedoeld zijn om het te leren hoe het feiten moet verbinden, het een meer authentieke capaciteit voor transitieve redenering kan ontwikkelen. Deze capaciteit stelt het in staat om vragen te behandelen zelfs wanneer de gebruikelijke afkortingen, zoals herkenbare namen of datums, worden verwijderd. De bevindingen dienen als een herinnering dat hoge scores op redeneertests niet altijd bewijzen dat een machine logica begrijpt; soms is het gewoon heel goed in het vinden van de juiste woorden.

Technische Samenvatting: Redeneren of een Schijn van Redeneren? Een Diagnostische Studie naar Transitief Redeneren in LLM's

Probleemstelling

Hoewel Large Language Models (LLM's) een hoge prestatie leveren op benchmarks voor redeneren, blijft het onduidelijk of ze werkelijk logisch redeneren of slechts vertrouwen op impliciete aanwijzingen, zoals woordoverlap, benoemde entiteiten of voorkennis, om antwoorden te genereren. Specifiek zijn de mechanismen die ten grondslag liggen aan transitief redeneren — het vermogen om een conclusie ( $A \to C$ ) af te leiden uit twee premissen ( $A \to B$ en $B \to C$ ) — niet goed begrepen. Bestaande benchmarks weerspiegelen mogelijk niet accuraat het vermogen van een model om te redeneren, omdat modellen oppervlakkige patronen kunnen exploiteren in plaats van compositionele deductie uit te voeren.

Methodologie

De auteurs voerden een diagnostische studie uit met behulp van twee verschillende LLM-architecturen: LLaMA 2 (decoder-only, 7B en 13B parameters) en Flan-T5 XXL (encoder-decoder, 11B parameters). De studie maakte gebruik van twee compositionele datasets:

QASC: Een dataset met meerkeuzevragen die de integratie van twee feiten vereist om een antwoord af te leiden.
Bamboogle: Een dataset van vragen die niet beantwoord kunnen worden door standaard zoekmachines, gedecomposeerd in twee feiten om transitief redeneren af te dwingen. Cruciaal is dat deze dataset na de pre-training van Flan-T5 is uitgebracht, wat garandeert dat de modellen geen voorafgaande blootstelling aan de specifieke vragen hadden.

De onderzoekers ontwierpen een reeks diagnostische experimenten waarbij gebruik werd gemaakt van automatische en handmatige her-annotaties om te controleren voor specifieke bronnen van informatie-exploitatie:

Prompt Variaties: Het vergelijken van prestaties over prompts die inclusief volledige demonstraties met deducties zijn, vragen zonder feiten (QA), vragen met feiten maar zonder deductiestappen (QAF), en prompts met gehusselde woordvolgordes.
Word/Phrase Overlap Ablatie: Het systematisch verwijderen van verbindingswoorden tussen de vraag en de feiten, of tussen de twee feiten zelf, om de afhankelijkheid van lexicale overlap te testen.
Keyword Verwijdering: Het verwijderen van antwoord-keywords uit de feiten om te bepalen of modellen vertrouwen op het matchen van tokens tussen de feiten en de antwoordopties.
Named Entity Manipulatie: Het transformeren van eigennamen, datums en getallen naar "onzin" (gerandomiseerde tekens) om de afhankelijkheid van de modellen van specifieke benoemde entiteiten (bijv. zoeken naar datums wanneer de vraag "Wanneer" vraagt) te controleren.
Word Order Shuffling: Het willekeurig husselen van woorden binnen feiten om te testen of modellen de syntactische structuur intern kunnen herstellen of of ze vertrouwen op de sequentie van tokens.

Belangrijkste Resultaten

1. Prestaties op QASC (Fine-tuned vs. Niet-Fine-tuned)

Flan-T5 (fine-tuned op QASC) presteerde aanzienlijk beter dan LLaMA 2 over alle prompts heen.
LLaMA 2 modellen hadden moeite wanneer demonstraties geen expliciete deductiestappen bevatten (QAF prompt), terwijl Flan-T5 een hoge nauwkeurigheid behield, wat suggereert dat fine-tuning op redeneerdatasets een redeneerachtig gedrag kan induceren.
Woordvolgorde Ongevoeligheid: Het husselen van de woordvolgorde binnen feiten had minimale impact op de prestaties voor beide modellen. Echter, vervolgexperimenten toonden aan dat modellen de woordvolgorde van gehusselde zinnen niet intern konden herstellen wanneer daarom werd gevraagd als een op zichzelf staande taak. Dit suggereert dat modellen de feiten niet syntactisch parsen, maar patronen extraheren uit de tokensequenties.
Keyword Afhankelijkheid: Het verwijderen van antwoord-keywords uit de feiten veroorzaakte een significante daling in prestaties (tot 34% voor LLaMA 2-7b), wat wijst op een zware afhankelijkheid van het matchen van antwoordopties aan keywords in de feiten in plaats van pure deductie.

2. Prestaties op Bamboogle (Controleren voor Voorkennis)

Voorkennis: Lage scores op de "QA" prompt (vragen zonder feiten) bevestigden dat geen van beide modellen deze specifieke vragen tijdens hun pre-training of fine-tuning had gezien.
Entiteit Afhankelijkheid: Wanneer benoemde entiteiten (datums, namen) werden omgezet naar onzin:
- De prestaties van LLaMA 2-13b daalden significant (25% daling in Rouge-1), wat wijst op een sterke afhankelijkheid van het herkennen van specifieke benoemde entiteiten om vragen te beantwoorden.
- Flan-T5 ervoer een nog grotere prestatiedaling (38% daling), wat suggereert dat ondanks de hogere baseline nauwkeurigheid, het ook zwaar afhankelijk is van benoemde entiteiten, hoewel het een hogere absolute nauwkeurigheid behield dan LLaMA 2 in de oorspronkelijke setting.
Shuffling: Wanneer de feiten werden gehusseld, daalde de prestatie van Flan-T5 aanzienlijk van 96% (Full) naar 77% (Both Facts Shuffled), wat aangeeft dat hoewel het robuuster is dan LLaMA 2, het nog steeds afhankelijk is van de structurele integriteit van de feiten.

Belangrijkste Bijdragen

Diagnostisch Kader: Het paper introduceert een rigoureuze set manipulaties (ablatie van verbindingswoorden, keyword verwijdering, entiteit-gibbering en woord shuffling) om de specifieke cues te ontleden die LLM's exploiteren in transitief redeneer-taken.
Differentiatie van Mechanismen: De studie onderscheidt modellen die vertrouwen op lexicale cues (overlappende woorden, antwoord-keywords, benoemde entiteiten) van diegenen die mogelijk transientiele redeneer-capaciteiten vertonen.
Rol van Fine-tuning: De resultaten suggeren dat hoewel LLM's over het algemeen vertrouwen op oppervlakkige cues, fine-tuning op specifieke redeneerdatasets (zoals Flan-T5 op QASC) kan leiden tot meer veerkrachtige redeneergedragingen die minder afhankelijk zijn van specifieke benoemde entiteiten of exacte woordoverlaps vergeleken met niet-fine-tuned modellen, hoewel ze niet immuun zijn voor deze manipulaties.
Beperkingen van Benchmarks: De bevindingen dagen de validiteit van huidige redeneer-benchmarks uit, door aan te tonen dat hoge nauwkeurigheid vaak voortkomt uit patroonherkenning (bijv. het vinden van een datum in de tekst wanneer de vraag "Wanneer" vraagt) in plaats van logische deductie.

Betekenis en Claims

De auteurs beweren dat huidige LLM's vaak een "schijn" van redeneren vertonen in plaats van echte logische deductie. Hun prestaties op transitief redeneer-taken worden frequent gedreven door:

Impliciete Cues: Het exploiteren van woordoverlap tussen vragen, feiten en antwoorden.
Named Entity Bias: Het vertrouwen op specifieke entiteiten (datums, namen) om vragen te beantwoorden.
Voorkennis: Het oproepen van antwoorden uit pre-training data in plaats van te deduceren.

Echter, het paper stelt dat fine-tuning op relevante redeneerdatasets (zoals Flan-T5 op QASC) lijkt te leiden tot een robuustere vorm van transitief redeneren die minder gevoelig is voor de verwijdering van benoemde entiteiten dan niet-fine-tuned modellen, hoewel het nog steeds steunt op enige structurele cues. De auteurs concluderen dat hoewel modellen in staat zijn om compositionele vragen op te lossen, de mechanismen die ze gebruiken vaak verschillend zijn van menselijk logisch redeneren, en dat toekomstig werk moet onderzoeken hoe specifieke trainingsdoelstellingen deze capaciteiten beïnvloeden. De studie beweert niet dat modellen werkelijk redeneren hebben bereikt, maar identificeert de condities waaronder zij dit het dichtst benaderen.