Technische Samenvatting: Verankering van Multi-Hop Redenering in Structurele Causale Modellen via Groepsrelatieve Beleidsoptimalisatie

1. Probleemstelling

Multi-Hop Fact Verification (MHFV) vereist dat modellen discrete bewijsvoering uit meerdere bronnen ophalen en coherente redeneerketens synthetiseren om complexe beweringen te verifiëren. Hoewel Large Language Models (LLM's) in dit domein zijn geïntegreerd, staan ze voor aanzienlijke beperkingen:

• Logische Fragiliteit: Bestaande methoden, waaronder Supervised Fine-Tuning (SFT) en Chain-of-Thought (CoT)-benaderingen, leren vaak statistische correlaties in plaats van rigoureuze logische mechanismen. Dit leidt tot gebroken logische ketens en "gehallucineerde redenering".
• Gebrek aan Causale Modellering: Huidige kaders (bijvoorbeeld Graph Neural Networks, symbolische programma's) verbeteren de integratie van bewijs, maar falen in het expliciet modelleren van de intrinsieke causale afhankelijkheden tussen bewijs en beweringen, wat resulteert in ondoorzichtige verificatieprocessen.
• Het Complexiteitsparadox: De auteurs identificeren empirisch een "omgekeerde U-vormige" correlatie tussen de lengte van de redeneerketen en de nauwkeurigheid. Hoewel langere ketens aanvankelijk de prestaties verbeteren, introduceert excessieve structurele complexiteit ruis en verslechtert de nauwkeurigheid, met name in complexe scenario's (bijvoorbeeld 3-hop of 4-hop taken).

2. Methodologie

Het voorgestelde kader, SCM-GRPO, adresseert deze problemen via een twee-traps trainingspijplijn die Structurele Causale Modellen (SCM) combineert met Group Relative Policy Optimization (GRPO).

2.1. Structureel Causaal Model (SCM) Kader

De auteurs formaliseren MHFV als een constructief causaal inferentieproces in plaats van een eenvoudige taak voor labelvoorspelling. Het redeneerproces wordt gemodelleerd als een Gerichte Acyclische Grafiek (DAG) gedefinieerd door de tuple $\mathcal{M} = (U, V, F)$:

• Exogene Variabelen ($U$): Objectieve feiten opgehaald uit bewijsdocumenten (wortelknopen).
• Endogene Variabelen ($V$): Intermediaire conclusies en het uiteindelijke oordeel afgeleid via logische deductie.
• Structurele Functies ($F$): Afbeeldingen die expliciet de causale afhankelijkheid van endogene variabelen van hun ouders definiëren.

Een kritieke beperking wordt afgedwongen: een nieuwe endogene variabele kan alleen aan de grafiek worden toegevoegd als de vereiste ouder-set volledig aanwezig is. Dit zorgt voor een topologische orde, waardoor logische sprongen en impliciete aannames worden geëlimineerd.

2.2. Dataconstructie via Distillatie

Om modellen te trainen op dit gestructureerde paradigma, hanteren de auteurs een distillatiepijplijn:

1. Zaaddata: Gebruik van hoogwaardige multi-hop benchmarks (HoVer, EX-FEVER).
2. Leraar-Distillatie: Een krachtige "Leraar"-LLM (bijvoorbeeld Qwen3-30B-A3B) wordt geprompt om expliciet SCM-componenten ($U, V, F$) te genereren in plaats van slechts een eindlabel.
3. Validatie: gegenereerde ketens worden gefilterd op consistentie met ground truth-labels en samengesteld in sequentiële besluitvormingsformaten ($C = \{(\tau_t, \alpha_t, o_t)\}_{t=1}^N$).

2.3. Supervised Fine-Tuning (SFT)

Het basismodel wordt eerst afgestemd op het SCM-redeneerparadigma met behulp van het geconstrueerde gestructureerde dataset ($D_{struct}$). Het doel is om de waarschijnlijkheid te maximaliseren van het genereren van de juiste gestructureerde sequentie (Bewijs $\to$ Afleiding $\to$ Conclusie), waarmee een fundament wordt gelegd voor traceerbare verificatie.

2.4. Optimalisatie via Group Relative Policy Optimization (GRPO)

Om de afweging tussen structurele diepte en beknoptheid aan te pakken (het "omgekeerde U"-probleem), introduceren de auteurs een op regels gebaseerde Reinforcement Learning (RL)-strategie met behulp van GRPO.

• Groepsbemonstering: Voor een gegeven prompt genereert het beleid een groep van $K$ redeneersequenties.
• Samengestelde Beloningsfunctie ($R$): De kwaliteit van een sequentie wordt beoordeeld door drie componenten:
  1. Correctheid ($R_c$): Binaire beloning gebaseerd op antwoordnauwkeurigheid.
  2. Structuur ($R_s$): Moedigt parsimonie (Ockhams scheermes) aan door een hogere ratio van bewijsvariabelen ($U$) tot inferentiestappen ($V$) te belonen, en straft excessieve "mentale gymnastiek" af.
  3. Lengte ($R_l$): Leidt de ketenlengte naar een optimaal interval $[l_{min}, l_{max}]$ om de degradatie die gepaard gaat met te lange ketens te vermijden.
• Relatief Voordeel: GRPO update het beleid op basis van de relatieve prestaties van steekproeven binnen de groep, wat de trainingsvariantie vermindert en het leren van complexe redeneerstrategieën stabiliseert.

3. Belangrijkste Bijdragen

1. Formeel Causaal Kader: De introductie van SCM aan MHFV, wat een interpreteerbare semantische basis biedt die expliciet causale afhankelijkheden tussen bewijs en beweringen modelleert via een DAG.
2. Empirisch Inzicht & RL-Optimalisatie: De ontdekking van de omgekeerde U-vormige relatie tussen de lengte van de redeneerketen en de nauwkeurigheid. De auteurs stellen een nieuwe GRPO-gebaseerde strategie voor om structurele complexiteit adaptief te beperken, en zo rigoreusheid in evenwicht te brengen met parsimonie.
3. State-of-the-Art Prestaties: Het SCM-GRPO-kader bereikt superieure prestaties op publieke benchmarks, wat robuuste generalisatie en logische consistentie in complexe multi-hop scenario's aantoont.

4. Experimentele Resultaten

Het kader werd geëvalueerd op HoVer en EX-FEVER benchmarks tegen diverse baselines, waaronder Direct Prediction, ProgramFC, FOLK, RAG en Search-o1.

• Algemene Prestaties: SCM-GRPO behaalde State-of-the-Art (SOTA) resultaten over alle evaluatiesubsets.
  • HoVer 2-hop: 73,42% (tegenover 69,00% voor Search-o1).
  • HoVer 4-hop: 60,88% (tegenover 56,60% voor Search-o1).
  • EX-FEVER 3-hop: 75,00% (tegenover 72,80% voor Search-o1).
• Validatie van RL-Noodzaak: Experimenten toonden aan dat het toepassen van SCM-CoT zonder RL-optimalisatie de prestaties vaak verslechterde (bijvoorbeeld daalde de nauwkeurigheid van Qwen3-14B van 57,48% naar 47,22% op HoVer 2-hop bij gebruik van alleen SCM-CoT). De volledige SCM-GRPO-pijplijn was vereist om structureel potentieel om te zetten in prestatiewinst.
• Ablatiestudies: Bij vergelijking van optimalisatiestrategieën op de Qwen3-8B-ruggengraat, presteerde GRPO (75,42% nauwkeurigheid) significant beter dan zowel SFT alleen (73,33%) als Context Preference Optimization (CPO) (71,91%), wat de effectiviteit bevestigt van groepsgerelateerde relatieve doelen in het stabiliseren van complexe redenering.

5. Betekenis en Beperkingen

Betekenis:
Het artikel claimt een betrouwbare en interpreteerbare oplossing te bieden voor complexe feitenverificatie door redenering te verankeren in expliciete causale structuren. Het adresseert de kritieke kloof van "gehallucineerde redenering" in LLM's door topologische geldigheid af te dwingen en RL te gebruiken om de afweging tussen redeneerdiepte en beknoptheid dynamisch te optimaliseren. Het werk biedt nieuwe empirische inzichten in hoe structurele complexiteit de betrouwbaarheid van LLM-redenering beïnvloedt.

Beperkingen:
De auteurs erkennen bescheiden twee primaire beperkingen:

1. Data-Afhankelijkheid: De prestaties van het kader zijn gedeeltelijk afhankelijk van de kwaliteit van de automatisch geconstrueerde gestructureerde trainingsdata die via distillatie is gegenereerd.
2. Generalisatie naar Ultra-Lange Ketens: Het generalisatievermogen voor redeneerketens die langer zijn dan 4 hops moet verder worden geverifieerd.

Toekomstig werk wordt voorgesteld om robuustere methodologieën voor dataconstructie te verkennen en het causale redeneerkader uit te breiden naar een breder spectrum van complexe redeneertaken.