Knowledge Graphs are Implicit Reward Models: Path-Derived Signals Enable Compositional Reasoning

Dit artikel introduceert een post-training pipeline waarbij kennisgrafieken fungeren als impliciete beloningsmodellen om taalmodellen te trainen in compositief redeneren, wat resulteert in superieure prestaties op complexe meerstapsvragen in de medische domein vergeleken met grotere frontier-modellen.

De kern

🧠 De Geheime Wiskunde van Slimme AI: Waarom een "Stoep" beter werkt dan een "Toren"

Stel je voor dat je een zeer slimme robot wilt bouwen die medische diagnoses kan stellen. Tot nu toe hebben we geprobeerd deze robots te trainen door ze miljoenen boeken te laten lezen en ze te laten gissen naar het juiste antwoord. Soms werkt dat goed, maar bij complexe, moeilijke vragen (waar je meerdere stappen nodig hebt) raken ze in de war of geven ze een antwoord dat klinkt alsof het waar is, maar dat eigenlijk fout is.

De auteurs van dit paper, Yuval Kansal en Niraj Jha van de Princeton Universiteit, zeggen: "Stop met gissen. Laat de robot eerst de regels van de wereld leren, en geef hem dan een onzichtbare leraar die hem corrigeert terwijl hij denkt."

Hier is hoe ze dat doen, vertaald naar alledaagse taal:

1. Het Probleem: De "Goochelkunstenaar" vs. De "Architect"

Huidige grote AI-modellen (zoals die van Google of OpenAI) zijn als goochelkunstenaars. Ze zijn goed in het nabootsen van de stijl van een expert. Als je ze een moeilijke vraag stelt, kunnen ze een antwoord verzinnen dat klinkt als een arts, maar ze hebben de logica erachter niet echt begrepen. Ze raden vaak op basis van patronen die ze eerder hebben gezien.

De auteurs willen echter een architect. Een architect bouwt een huis niet door te gokken welke bakstenen er mooi uitzien, maar door te weten dat elke steen op de juiste plek moet liggen volgens de wetten van de fysica.

2. De Oplossing: De "Onzichtbare Leraar" (Het Kennisnetwerk)

Om de AI tot een architect te maken, gebruiken ze iets dat een Kennisgrafiek (Knowledge Graph) heet.

• De Analogie: Denk aan een gigantisch, digitaal spinnenweb. In dit web zijn alle medische feiten met elkaar verbonden.
  • Punt A: "Tumor"
  • Lijn: "Veroorzaakt"
  • Punt B: "Hoogte in bloed"
  • Lijn: "Leidt tot"
  • Punt C: "Oedeem (zwelling)"

In plaats van de AI te laten gissen, dwingen ze de AI om te denken in deze lijntjes. Als de AI een diagnose stelt, moet ze kunnen laten zien welke lijntjes ze heeft gevolgd in dit web.

3. De Magische Truc: Het Kennisnetwerk als "Onzichtbare Leraar"

Dit is het meest innovatieve deel van het paper. Normaal gesproken moet een menselijke expert elke stap van de AI controleren om te zien of ze goed redeneert. Dat is duur en traag.

De auteurs zeggen: "Waarom laten we de mens niet de leraar zijn, maar het Kennisnetwerk?"

Ze gebruiken het Kennisnetwerk als een onzichtbare leraar (een "Implicit Reward Model").

• Hoe het werkt: Stel je voor dat de AI een puzzel oplost. De onzichtbare leraar kijkt niet alleen naar het eindantwoord ("Is het antwoord A?"). Nee, de leraar kijkt of de AI de juiste weg heeft bewandeld in het spinnenweb.
• De Beloning: Als de AI een logische stap maakt die klopt met de feiten in het web, krijgt ze een beloning (een puntje). Als ze een stap maakt die eruit ziet als een zin, maar niet logisch is in het web, krijgt ze een straf.
• Het Resultaat: De AI leert niet alleen wat het juiste antwoord is, maar hoe je er logisch aan komt. Ze leert de "bouwstenen" van de logica te combineren.

4. De Oefening: Van Korte naar Lange Sprongen

Om de AI te trainen, beginnen ze met simpele puzzels:

1. Korte sprongen (1-3 stappen): De AI leert feiten te verbinden (bijv. "Symptoom X leidt tot ziekte Y").
2. De Test: Vervolgens krijgen ze een heel moeilijke vraag die 4 of 5 stappen vereist, iets wat ze nooit eerder hebben gezien.

Het verrassende resultaat:
Omdat de AI de logica van het bouwen heeft geleerd (de "compositional reasoning"), kan ze de lange, moeilijke puzzels oplossen die ze nooit heeft geoefend. Ze is als een kind dat eerst heeft geleerd hoe je blokken stapelt, en daarna ineens een kasteel kan bouwen zonder dat iemand het heeft voorgebouwd.

5. Waarom is dit zo belangrijk?

• Kleinere modellen, grotere prestaties: Ze hebben een model van 14 miljard parameters gebruikt. Dat is klein vergeleken met de "reuzen" van de wereld (zoals GPT-5 of Gemini 3 Pro, die veel groter zijn).
• De Wedstrijd: Hun kleine, slim getrainde model wint van de enorme, brute kracht-modellen op de moeilijkste medische vragen.
• Betrouwbaarheid: Als je de volgorde van de antwoordopties in de vraag verwisselt (een trucje om AI's te testen), blijven hun modellen rustig en geven ze nog steeds het juiste antwoord. De grote modellen raken in paniek en maken fouten. Dit bewijst dat hun AI echt denkt en niet alleen gokt.

🏁 Conclusie in één zin

In plaats van een AI te laten gissen naar het juiste antwoord door miljoenen voorbeelden te zien, hebben de auteurs een AI getraind om te denken als een detective die feitelijke bewijslijnen volgt in een digitaal spinnenweb, waardoor ze zelfs de moeilijkste puzzels kan oplossen zonder ooit die specifieke puzzel te hebben gezien.

Het is de overgang van "Ik heb het antwoord gezien" naar "Ik weet hoe ik het antwoord kan vinden".

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) hebben indrukwekkende prestaties geleverd in gestructureerde redeneringsdomeinen zoals wiskunde en programmeren. Echter, hun vermogen tot compositional reasoning (het betrouwbaar combineren van axioma's en feiten voor complexe multi-hop redeneringen) blijft beperkt in gespecialiseerde wetenschappelijke domeinen, zoals de geneeskunde. Bestaande methoden voor post-training, zoals Reinforcement Learning from Human Feedback (RLHF) of Direct Preference Optimization (DPO), optimaliseren vaak voor het eindresultaat of menselijke voorkeur, zonder de onderliggende redeneerprocessen te valideren. Dit leidt tot "reward hacking" en kwetsbare antwoorden die oppervlakkige patronen volgen in plaats van logische afleidingen. Het uitdaging is om schaalbare systemen te bouwen die grondige, verifieerbare compositional reasoning aanleren zonder afhankelijk te zijn van dure, menselijke annotatie voor elke stap.

Methodologie

De auteurs stellen een bottom-up leerparadigma voor waarbij modellen worden verankerd in axioma's (basisfeiten) en deze worden samengesteld tot complexe kennis. De kern van hun aanpak is het gebruik van Kennisgrafieken (KGs) als impliciete beloningmodellen.

Het trainingsproces bestaat uit drie fasen:

1. Supervised Fine-Tuning (SFT): Een base model (Qwen3) wordt getraind op een dataset van 19.660 vragen met korte redeneerpaden (1-3 hops) afgeleid uit een medische kennisgrafiek (UMLS). Dit zorgt voor een grondige kennis van domeinfeiten.
2. Reinforcement Learning (RL): Een tweede fase met Group Relative Policy Optimization (GRPO) op een subset van 5.000 vragen. In plaats van menselijke feedback, wordt een nieuwe beloningsfunctie gebruikt die direct is afgeleid uit de KG.
3. Beloningsontwerp (Reward Design): De totale beloning ($R_{total}$) is een combinatie van:
   • Binary Correctness ($R_{bin}$): Een signaal voor het juiste eindantwoord (met negatieve straffen voor fouten om exploratie te stimuleren).
   • Path Alignment ($R_{path}$): Dit is de kerninnovatie. De beloning wordt berekend op basis van de overlap tussen de redeneertrace van het model en de grond-waarheid KG-pad (een reeks van triples: head, relation, tail). Het model wordt beloond voor het identificeren en toepassen van de axioma's die nodig zijn om de oplossing samen te stellen, niet alleen voor het juiste antwoord.

De auteurs benadrukken dat SFT de kennisbasis levert, terwijl RL fungeert als de "compositional bridge" die het model leert deze feiten logisch te combineren.

Belangrijkste Bijdragen

• Een schaalbaar RL-framework met verifieerbare beloningen (RLVR): Een pipeline die KGs gebruikt als grond-waarheid voor procesbewaking, waardoor menselijke annotatie voor elke redeneerstap overbodig wordt.
• KG-Path Inspired Reward: Een nieuwe beloningssignaal dat modellen stimuleert om axioma's te combineren en logische ketens te vormen, in plaats van alleen het eindresultaat te optimaliseren.
• Compositional Generalization: Het bewijs dat training op korte paden (1-3 hops) leidt tot generalisatie naar complexe, onzichtbare taken (4-5 hops).
• Robuustheid: Validatie van het model tegen adversariale perturbaties, zoals het door elkaar halen van meerkeuze-opties.

Resultaten

De experimenten zijn uitgevoerd in het medische domein met een 14B parameter model (Qwen3) en getest op de ICD-Bench dataset.

• Generalisatie naar onzichtbare complexiteit: Hoewel het model alleen getraind was op 1-3 hop paden, presteerde het aanzienlijk beter op 4- en 5-hop vragen dan modellen die alleen met SFT waren getraind. Er was een verbetering van +11,1% op 5-hop taken ten opzichte van de SFT-only baseline.
• Superioriteit ten opzichte van grotere modellen: Het 14B model met SFT+RL overtrof veel grotere "frontier" modellen zoals GPT-5.2 en Gemini 3 Pro, evenals een gespecialiseerd 32B model (QwQ-Med-3), vooral op de moeilijkste vragen (niveau 5). Terwijl de prestaties van de grote modellen daalden bij toenemende complexiteit, steeg de nauwkeurigheid van het SFT+RL model.
• Robuustheid: Het model toonde een uitzonderlijke weerstand tegen "option shuffling" (het willekeurig herschikken van antwoordopties), met een prestatieverlies van slechts ~1%, vergeleken met 4-6% bij andere state-of-the-art modellen.
• Ablatie Studies: De studie toonde aan dat "Zero-RL" (RL zonder SFT) onvoldoende is en dat de combinatie van pad-uitgelijnde beloningen met negatieve binaire straffen de beste resultaten oplevert.

Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in de ontwikkeling van expert-systemen. Het toont aan dat grondige data en slim beloningsontwerp effectiever kunnen zijn dan brute kracht schaalvergroting (meer parameters). Door kennisgrafieken te gebruiken als impliciete beloningmodellen, kunnen kleinere modellen leren om "van eerste principes" te redeneren in plaats van oppervlakkige patronen te matchen.

De bevindingen suggereren dat het verankeren van redenering in gestructureerde kennis een schaalbare en efficiënte route is naar intelligentie in specifieke domeinen. Dit biedt een praktische weg voor het bouwen van superintelligente systemen die betrouwbaar zijn in hoog-risico domeinen zoals de gezondheidszorg, zonder afhankelijk te zijn van onbeperkte menselijke supervisie.