From Proof to Program: Characterizing Tool-Induced Reasoning Hallucinations in Large Language Models

Titel: Van Bewijs naar Programma: Karakterisering van Tool-Geïnduceerde Redeneringshallucinaties in Grote Taalmodellen

Auteurs: Farima Fatahi Bayat, Pouya Pezeshkpour, Estevam Hruschka (Megagon Labs)

1. Het Probleem: Tool-Geïnduceerde Myopie (TIM)

Hoewel Tool-Augmented Language Models (TaLMs) – modellen die externe tools zoals een Code Interpreter kunnen aanroepen – vaak betere resultaten behalen bij complexe taken, is het onduidelijk of deze verbeteringen voortkomen uit betrouwbare redenering of uit een vorm van hallucinatie.

De auteurs introduceren het concept Tool-Induced Myopia (TIM). Dit is een specifieke foutmodus die optreedt zelfs wanneer tools correct worden geselecteerd en uitgevoerd zonder technische fouten. Bij TIM neigt het model ertoe om de uitvoer van de tool (bijv. numerieke resultaten) te gebruiken als een vervanging voor diepgaande wiskundige redenering, in plaats van deze als ondersteunend bewijs te gebruiken.

• Kernkenmerk: Het model vervangt logische afleidingen en wiskundige bewijzen door empirische checks, brute-force zoektochten of enumeratie via code.
• Gevolg: Het model kan het juiste eindantwoord geven, maar de redenering is oppervlakkig, mist essentiële logische stappen en is afhankelijk van de tool in plaats van interne kennis. Bestaande evaluatiemethoden (die zich richten op het eindantwoord) detecteren dit falen niet.

2. Methodologie

A. Benchmark: PYMATH

Om TIM te bestuderen, hebben de auteurs PYMATH ontwikkeld, een dataset van 1.679 wiskundige problemen op olympiade-niveau.

• Selectiecriteria: Problemen zijn geselecteerd waarvoor Python-code nuttig is (voor berekeningen), maar niet voldoende is voor een volledige oplossing. Dit dwingt het model om zowel te rekenen als te redeneren.
• Doel: Creëren van een omgeving waar TIM natuurlijk kan ontstaan zonder verstorende factoren zoals API-fouten of slechte datakwaliteit.

B. Evaluatie-Suite (4 Dimensies)

De auteurs stellen een multidimensionale evaluatieframework voor om TIM te kwantificeren, aangezien traditionele "eindantwoord-accuraatheid" ontoereikend is:

1. Eindantwoord-accuraatheid (Final-Answer Accuracy): Meet het succes van de taak, maar onthult niet de kwaliteit van de redenering.
2. Win Rate (Pairwise Comparison): Vergelijkt de oplossing van een TaLM met die van een basis-LLM (zonder tools) via een LLM-judge. Een lagere win-rate voor de TaLM wijst op verslechterde redenering.
3. Miss Rate: Meet het percentage logische stappen uit de referentie-oplossing dat ontbreekt in de gegenereerde oplossing. Een hoge miss-rate duidt op het overslaan van essentiële afleidingen.
4. PRM Accuracy (Process Reward Model): Gebruikt een getraind model om de correctheid van individuele redeneringsstappen te scoren, zonder afhankelijk te zijn van een gouden referentie.

C. Experimenteel Opzet

• Modellen: Zeven frontier-modellen (GPT-4.1, o4-mini, GPT-5, Gemini-2.0/2.5, Claude-Opus-4) werden getest in twee configuraties: met en zonder Code Interpreter.
• Analyse: Er werd gekeken naar de relatie tussen het aantal tool-aanroepen en de kwaliteit van de redenering, evenals naar de verschuiving in fouttypes.

3. Belangrijkste Resultaten

1. Accuracy vs. Redenering Trade-off:

   • TaLMs behalen tot 19,3 procentpunten hogere nauwkeurigheid in het eindantwoord dan basis-LLMs.
   • Echter, de redeneringskwaliteit verslechtert consistent. In paarwijze vergelijkingen wint het basis-LLM (zonder tools) tot 41,5% meer vaak dan de TaLM, wat aangeeft dat de tool-gebaseerde oplossingen minder logisch coherent zijn.

2. Correlatie met Tool-Gebruik:

   • Hoe vaker een model tools aanroept, hoe slechter de redenering wordt. Bij een hoger aantal tool-aanroepen neemt de Win Rate van de TaLM af, de Miss Rate toe en daalt de PRM-score.
   • "Thinking"-modellen (zoals GPT-5 en Claude-Opus-4) gebruiken tools vaker en lopen hierdoor een groter risico op TIM.

3. Verschuiving in Fouttypes:

   • Tool-gebruik vermindert rekenfouten (arithmetic errors) omdat de tool dit overneemt.
   • Echter, het introduceert meer globale redeneringsfouten op het gebied van logica, aannames en creativiteit. Modellen maken ongefundeerde sprongen of vertrouwen blindelings op numerieke checks in plaats van een bewijs te leveren.

4. TIM in de Praktijk:

   • Een handmatige audit van "hoog-risico" oplossingen (juist antwoord, maar slechte redenering) toonde aan dat ~55% van deze gevallen daadwerkelijk TIM vertoonde.
   • Typische signalen zijn zinnen als "een numerieke check toont aan..." of "we kunnen dit systematisch controleren met code", wat de overgang van deductief redeneren naar empirisch zoeken markeert.

4. Mitigatiestrategieën

De auteurs stellen twee methoden voor om TIM te verminderen:

1. Prompting Interventie:

   • Een instructie toevoegen die het model vraagt om code-resultaten alleen als "hints" te zien en de oplossing via wiskundig redeneren af te leiden.
   • Resultaat: Verbeterde redenering (hogere Win Rate), maar ten koste van de eindnauwkeurigheid.

2. DPO (Direct Preference Optimization):

   • Een fine-tuning methode waarbij het model wordt getraind op voorkeursparen: een "gewenste" oplossing (die tools gebruikt als assistent maar redeneert) versus een "afgekeurde" oplossing (die tools gebruikt als vervanging voor redenering). Cruciaal: beide oplossingen hebben hetzelfde juiste eindantwoord, zodat de leerfocus puur op de redeneringskwaliteit ligt.
   • Resultaat: De gefinetuned TaLM behaalt de hoogste eindnauwkeurigheid (27,6%) én de beste redeneringskwaliteit (laagste Miss Rate, hoogste Win Rate). Dit toont aan dat het mogelijk is om zowel nauwkeurig als diep redenerend te zijn met tools.

5. Significatie en Bijdragen

• Nieuw Fouttype: TIM identificeert een subtiel maar gevaarlijk falen waarbij tools de cognitieve diepte van het model ondermijnen, zelfs zonder technische fouten.
• Evaluatie-innovatie: De paper toont aan dat eindantwoord-accuraatheid misleidend kan zijn voor tool-gebruikende modellen. De voorgestelde multidimensionale evaluatiesuite is essentieel voor het detecteren van dit soort hallucinaties.
• Betrouwbaarheid: De bevindingen waarschuwen voor het blind vertrouwen op TaLMs in kritieke domeinen (zoals wetenschap of wiskunde), omdat de onderliggende logica vaak onbetrouwbaar is.
• Oplossingsrichting: De succesvolle toepassing van DPO toont aan dat we modellen kunnen "heraligneren" om tools als ondersteunende bewijslast te gebruiken in plaats van als een vervanging voor denken.

Conclusie:
Hoewel tools de rekenkracht van LLMs vergroten, leiden ze zonder de juiste training en monitoring tot een "korte zicht" (myopie) waarbij de diepgang van het redeneren verloren gaat. De paper biedt zowel een meetlat om dit te detecteren als een trainingsframework om dit te corrigeren, waardoor we naar betrouwbaardere, tool-versterkte AI-systemen kunnen streven.