Omanic: Towards Step-wise Evaluation of Multi-hop Reasoning in Large Language Models

Dit paper introduceert Omanic, een nieuw dataset- en benchmarkkader voor open-domein multi-hop vragen die stapsgewijze redeneerprocessen evalueren en waarvoor fijnafstemming aanzienlijke prestatieverbeteringen oplevert op diverse redeneer- en wiskundetaken.

De kern

Omanic: De "Foutenboek" voor Slimme Computers

Stel je voor dat je een zeer slimme, maar soms overmoedige student hebt die alle boeken van de bibliotheek heeft gelezen. Als je hem vraagt: "Wie was de eerste president van de Verenigde Staten?", antwoordt hij direct en correct: "George Washington". Maar wat als je vraagt: "Wie was de president die de eerste president opvolgde, en in welk jaar werd die opvolger geboren?"

Deze vraag vereist twee stappen: eerst de naam van de opvolger vinden (John Adams), en dan zijn geboortejaar opzoeken. Vaak geven deze slimme computers (Large Language Models of LLM's) het juiste eindantwoord, maar hebben ze de tussenstappen helemaal verkeerd gedaan. Ze gissen, gebruiken slimme trucs, of halen feiten uit hun hoofd die niet kloppen. Het is alsof ze het antwoord op de proefopgave hebben gelezen, zonder de som te hebben uitgeschreven.

Het probleem: We zien alleen het eindresultaat
Tot nu toe konden onderzoekers alleen kijken naar het eindantwoord. Als het goed was, dachten ze: "Goed gedaan!" Maar als het fout was, wisten ze niet waarom. Was het omdat de computer de naam van Adams niet kende? Of omdat hij de rekenfout maakte bij het geboortejaar? Zonder de tussenstappen te zien, is het alsof je een auto bekijkt die niet start, maar de motor niet mag openmaken om te zien of het aan de bougie of de brandstofpomp ligt.

De oplossing: Omanic
De onderzoekers in dit papier hebben Omanic bedacht. Dit is een nieuwe testset, een soort "gymzaal" voor slimme computers, speciaal ontworpen om te kijken hoe ze redeneren en niet alleen wat ze antwoorden.

Stel je Omanic voor als een recept voor een complexe taart:

1. De Traps: In plaats van alleen te vragen "Wat is de taart?", breekt Omanic de vraag op in vier kleine, logische stappen (zoals: "Haal de eieren", "Mix de bloem", "Bak de bodem", "Versier de taart").
2. De Controle: Voor elke stap is er een "juf" (een menselijke expert) die controleert of de computer de juiste ingrediënten heeft gebruikt.
3. De Wiskunde: De vragen zijn niet alleen feitelijke kennis, maar vereisen ook rekenen. Het is alsof je moet zeggen: "Als de taart 3 lagen heeft en elke laag 2 uur moet bakken, hoeveel tijd is dat dan?"

Wat hebben ze ontdekt?
Toen ze de slimme computers deze nieuwe test gaven, zagen ze twee interessante dingen:

• Het "Kennis-Vloer" Effect: Stel je voor dat een computer een trap moet beklimmen. Als hij de eerste trede (een basisfeit) mist, kan hij de rest van de trap niet beklimmen, hoe slim hij ook is. Zelfs als hij een "Chain-of-Thought" (een manier van denken waarbij hij hardop nadenkt) gebruikt, faalt hij als hij de basisfeiten niet kent. Het nadenken helpt niet als je de grond onder je voeten mist.
• De "Golf van Fouten": Fouten worden erger naarmate je verder komt in de keten. Als de computer in stap 1 een klein foutje maakt, wordt dat foutje in stap 2 groter, en in stap 4 een gigantische ramp. Het is alsof je een toren bouwt van blokken: als de onderste blokken scheef staan, valt de hele toren om, hoe mooi de bovenste blokken ook zijn.

Waarom is dit belangrijk?
De onderzoekers hebben ook een trainingsset gemaakt (OmanicSynth) met duizenden voorbeelden. Ze hebben getoond dat als je een computer hierop traint, hij niet alleen beter wordt in deze specifieke test, maar ook in andere moeilijke taken, zoals wiskunde en logisch redeneren.

Kort samengevat:
Omanic is als een diagnose-apparatuur voor de hersenen van AI. Het laat zien dat slimme computers niet alleen moeten leren antwoorden, maar ook moeten leren nadenken zonder fouten te maken die zich opstapelen. Het is een stap in de richting van computers die echt begrijpen wat ze doen, in plaats van alleen maar raden.

Technische samenvatting

Probleemstelling

Hoewel redeneringsgerichte Large Language Models (LLMs) aanzienlijke vooruitgang hebben geboekt in veel NLP-taken, blijft hun evaluatie uitdagend. Bestaande methoden focussen vaak uitsluitend op het eindantwoord, waardoor de tussenliggende redeneerstappen onzichtbaar blijven. Dit maakt het moeilijk om te bepalen of een model daadwerkelijk correct redeneert of dat het succes berust op "redeneerkortsluitingen" (heuristische patroonherkenning) in plaats van rigoureuze deductie.

Bestaande benchmarks voor meerstapsvragen (multi-hop QA), zoals HotpotQA en MuSiQue, missen stap-niveau annotaties. Zonder deze gedetailleerde grondwaarheid (ground truth) is het onmogelijk om precies te diagnosticeren waar en waarom een model faalt binnen een redeneerketen. Dit creëert een fundamenteel blinde vlek in het onderzoek naar de redeneercapaciteiten van LLMs.

Methodologie: De Omanic-pijplijn

Om deze kloof te dichten, stellen de auteurs Omanic voor, een open domein dataset voor meerstapsvragen die is opgebouwd uit twee componenten: OmanicSynth (trainingsdata) en OmanicBench (evaluatiedata).

1. Constructie en Retrieval:

   • De basis wordt gevormd door antwoorden op 2-stapsvragen uit MuSiQue.
   • Deze antwoorden dienen als ankerpunten om corresponderende (onderwerp, relatie, object) triplets op te halen uit Wikidata5M.
   • Deze triplets vormen de bouwstenen voor een expansie naar 4-stapsvragen.

2. Gedwongen Synthese (Constrained Synthesis):

   • Met behulp van een model (Claude-Sonnet-4.5) worden nieuwe single-hop vragen gegenereerd die aan de triplets zijn gekoppeld.
   • Domeinbeperkingen: Elke gegenereerde vraag valt onder één van acht vooraf gedefinieerde domeinen (bijv. Geschiedenis, Kunst).
   • Wiskundige Integratie: Elke 4-staps instantie moet minstens één wiskundig onderbouwde stap bevatten (bijv. vergelijken, tellen, rekenen), waarbij numerieke attributen worden omgezet in subvragen die expliciete kwantitatieve redenering vereisen.
   • Graph Topologieën: De vragen worden georganiseerd volgens drie specifieke redeneergraph-topologieën (Bridge, Chain, Converging) om te voorkomen dat modellen shortcuts nemen die tussenstappen overslaan.

3. Automatische Filtering:

   • Een ensemble van vier modellen filtert de gegenereerde dataset. Vragen die door twee of meer modellen correct worden beantwoord, worden als te eenvoudig beschouwd en verwijderd. Dit resulteert in een moeilijke trainingsset van 10.296 voorbeelden (OmanicSynth).

4. Expert Review (OmanicBench):

   • Voor de evaluatie-set (967 voorbeelden) wordt een strenge menselijke audit uitgevoerd door 10 getrainde annotatoren (ongeveer 300 uur).
   • Annotatoren verifiëren de feitelijke juistheid van elke subvraag, de logische coherentie van de volledige keten, de kwaliteit van de afleiders (distractors) en de wiskundige consistentie.
   • Het resultaat is een dataset met expliciete stap-voor-stap annotaties (gedecomponeerde subvragen en tussenantwoorden).

Belangrijkste Bijdragen

1. Omanic Benchmark: De eerste open-domein 4-staps QA-benchmark met structurele annotaties voor stap-niveau diagnose. Het bevat 10.296 trainingsvoorbeelden en 967 door experts gecontroleerde testvoorbeelden.
2. Empirische Validatie: Uitgebreide evaluaties tonen aan dat state-of-the-art LLMs slechts een nauwkeurigheid van 73,11% behalen op de meerkeuzevragen van OmanicBench, wat de hoge moeilijkheidsgraad bevestigt.
3. Transfer Learning: Supervised Fine-Tuning (SFT) op OmanicSynth leidt tot aanzienlijke verbeteringen (gemiddeld +7,41 punten) op zes externe redeneer- en wiskundebenchmarks, wat aantoont dat de dataset hoogwaardige, overdraagbare redeneercapaciteiten leert.
4. Diagnostische Analyse: De dataset stelt onderzoekers in staat om twee fundamentele fenomenen te kwantificeren: het "knowledge floor effect" en "error propagation".

Resultaten en Analyse

De auteurs voeren een systematische analyse uit van het redeneergedrag van LLMs met behulp van de stap-voor-stap annotaties:

• Knowledge Floor Effect: De prestaties van Chain-of-Thought (CoT) zijn sterk afhankelijk van de feitelijke volledigheid. Zodra een model essentiële feiten mist (atomic facts), nemen de voordelen van CoT drastisch af en verdwijnen ze volledig boven een bepaalde drempel. CoT kan geen ontbrekende feiten compenseren.
• Error Propagation (Foutpropagatie): Fouten versterken zich langs de redeneerketen.
  • Zelfs bij onafhankelijke evaluatie (waarbij elke stap de juiste antwoorden van eerdere stappen krijgt) vertoont stap 4 al een aanzienlijk hogere foutenratio dan eerdere stappen.
  • Bij ketenevaluatie (waarbij fouten worden doorgegeven) nemen de fouten exponentieel toe. Bij directe prompting bereikt stap 4 een foutenratio van 33,0%, wat 4,7 punten hoger is dan bij onafhankelijke evaluatie.
  • Hoewel CoT de absolute foutenratio's verlaagt, blijft het patroon van versterking intact, wat aangeeft dat sequentiële meerstapsinferentie inherent fragiel is in latere stappen.

Significantie

Omanic biedt een cruciaal nieuw instrument voor het onderzoek naar LLMs:

• Diagnostisch Inzicht: Het verschuift de focus van "eindantwoord correctheid" naar "procesdiagnose", waardoor onderzoekers kunnen zien waar een redeneerketen breekt.
• Scheiding van Vaardigheden: De bevindingen ondersteunen het idee dat redeneren en kennisretrieval gescheiden vaardigheden zijn bij LLMs; een model kan goed redeneren als de feiten bekend zijn, maar faalt als de feitelijke basis ontbreekt.
• Toekomstgericht: De dataset dient als een robuust testbed voor het ontwikkelen van modellen die niet alleen patronen herkennen, maar werkelijk complexe, multi-domein redeneertaken kunnen voltooien, met name in combinatie met wiskundige logica.

De dataset en code zijn openbaar beschikbaar gesteld via Hugging Face en GitHub.