Technische Samenvatting: KbSD – Knowledge Boundary Aware Self-Distillation voor Gedragscalibratie in Agentic Search

Probleemstelling

Agentic search-systemen stellen Large Language Models (LLM's) in staat om dynamisch informatie op te halen, maar huidige reinforcement learning (RL)-benaderingen kampen met een fundamentele flessenhals: beloningsschaarsheid bij de calibratie van de kennisgrens (knowledge boundary calibration). Hoewel bestaande methoden kunnen bepalen wanneer er gezocht moet worden, worstelen ze met het begeleiden van de agent in hoe conflicterende kennisbronnen (parametrische geheugen versus opgehaald bewijs) te verzoenen of wanneer men zich moet onthouden van een antwoord.

De kern van het probleem is dat binaire of schaarse terminale beloningen alleen ongewenste uitkomsten bestraffen (bijv. hallucinaties) zonder sturing te bieden op het tussenliggende redeneerproces. Dit is bijzonder problematisch over vier verschillende kennisgrens-kwadranten die zijn gedefinieerd door interne zekerheid en de kwaliteit van de zoekopdracht:

1. Geïntegreerd (Integrated): Beide bronnen zijn betrouwbaar.
2. Extern (External): Zoekopdracht is betrouwbaar, intern onzeker.
3. Weigering (Refusal): Beide bronnen zijn onbetrouwbaar.
4. Intern (Internal): Intern betrouwbaar, zoekopdracht onbetrouwbaar.

Schaarse beloningen falen in het deconstrueren van de cognitieve stappen die nodig zijn om principieel onthouden te onderscheiden van ongeïnformeerd gokken (Kwadrant 3) of om de integratie van overeenstemmende bewijslast te begeleiden (Kwadrant 1). Bovendien is een uniforme trainingsdoelstelling niet geschikt voor deze heterogene toestanden, omdat deze verschillende distributionele kenmerken vertonen (bijv. geconcentreerde integratie versus diverse weigeringspatronen).

Methodologie: KbSD-framework

De auteurs stellen KbSD (Knowledge Boundary Self-Distillation) voor, een framework dat de schaarste aan beloningen aanpakt via dichte token-niveau supervisie en kwadrant-adaptieve optimalisatie. De pijplijn bestaat uit drie stadia:

1. Grensgerichte Datasynthese

Om modellen te trainen nabij hun kennisgrenzen, synthetiseren de auteurs uitdagende multi-hop queries uit seed-datasets (HotpotQA, 2WikiMultiHopQA) met behulp van twee operatoren:

• Fact Injection: Voegt compositionele diepte toe door nieuwe 'fact hops' te introduceren, wat het model dwingt bewijs te combineren.
• Information Fuzzing: Vervangt precieze condities door ondergespecificeerde beschrijvingen om de moeilijkheidsgraad en ambiguïteit van de zoekopdracht te vergroten.

2. Kwantificering van de Kennisgrens & Kwadrant-mapping

Voor elke query kwantificeert het systeem de kennisstatus met behulp van:

• Parametrische Zekerheid ($\mu$): Het fractie correcte antwoorden gegenereerd door het model zonder zoekopdracht.
• Semantische Stabiliteit ($\sigma$): De consistentie van de interne respons van het model (semantische gelijkenis).
• Zoekkwaliteit ($\hat{\rho}$): De geschatte sufficiëntie van extern bewijs.

Deze signalen mappen elke query naar een van de vier gedragskwadranten (Geïntegreerd, Extern, Weigering, Intern), wat de doelstelling voor het gewenste gedrag definieert.

3. Hint-geaugmenteerde Self-Distillation

KbSD maakt gebruik van een informatie-asymmetrisch self-distillation ontwerp:

• Teacher Model: Een kopie van het studentmodel dat geprivilegieerde hints ($h(q)$) ontvangt met daarin parametrische zekerheid, stabiliteit, zoekkwaliteit en het doelkwadrant. De teacher genereert gekalibreerde redeneerdemonstraties (bijv. hoe men bewijs inspecteert voordat men weigert).
• Student Model: Getraind op de originele input zonder hints, waarbij het leert de gekalibreerde redeneerpatronen van de teacher te internaliseren via token-niveau supervisie.

4. Kwadrant-adaptieve Distillatie-doelstellingen

Om de heterogene optimalisatiegeometrie van de vier kwadranten aan te pakken, past KbSD specifieke divergentie-doelstellingen toe:

• Kwadrant 1 (Geïntegreerd): Gebruikt Reverse KL (mode-seeking) omdat correct redeneren geconcentreerd is rond één enkel integratiepatroon.
• Kwadrant 3 (Weigering): Gebruikt Forward KL (mass-covering) omdat geldige weigeringsgedragingen divers zijn; het model mag niet convergeren naar een enkele template.
• Kwadranten 2 & 4 (Extern/Intern): Gebruikt Pareto-optimale Bidirectionele KL, waarbij adaptief wordt gewogen tussen forward en reverse KL om een balans te vinden tussen precisie (bronselectie) en dekking (robuustheid tegen ruis).

Deze distillatieverlies wordt gezamenlijk geoptimaliseerd met GRPO-gebaseerde Reinforcement Learning, die schaarse traject-niveau beloningen biedt voor de uiteindelijke taakcorrectheid, terwijl de distillatie zorgt voor dichte proces-niveau supervisie.

Belangrijkste Bijdragen

1. Identificatie van Beloningsschaarsheid: Het artikel identificeert het gebrek aan proces-niveau supervisie als een kritieke flessenhals bij de calibratie van kennisgrenzen, met name bij het onderscheiden van verschillende redeneerstrategieën in heterogene kennisstaten.
2. Informatie-asymmetrische Self-Distillation: Een nieuw framework dat een hint-geaugmenteerde teacher construeert om dichte, token-niveau redeneerdemonstraties te genereren zonder een groter extern model nodig te hebben. Dit overbrugt de kloof tussen schaarse gedragslabels en het volledige cognitieve proces.
3. Kwadrant-adaptieve Optimalisatie: Een distillatiestrategie die de optimalisatiegeometrie afstemt op de specifieke kennisstaat, door gebruik te maken van Reverse KL, Forward KL en Pareto-optimale Bidirectionele KL om respectievelijk geconcentreerde, diverse en asymmetrische distributies te behandelen.

Experimentele Resultaten

Experimenten werden uitgevoerd op negen benchmarks (waaronder HotpotQA, NQ, TriviaQA, FRAMES en GAIA) met behulp van Qwen2.5-modellen (3B en 7B).

• Prestaties: KbSD behaalde consistent de laagste Onbetrouwbaarheidsratio (gedefinieerd als $1 - (\text{F1} + \text{Refusal Rate})$) over alle benchmarks en model-schalen, waarmee het sterke baselines zoals Search-R1, AEPO en de schaarse-beloning baseline KbPO versloeg.
• Schaalefficiëntie: De verbeteringen namen toe met de modelomvang. Op Qwen2.5-7B daalde de gemiddelde onbetrouwbaarheidsratio van 57,99% (KbPO) naar 41,18% (KbSD).
• Generalisatie: Ondanks dat er uitsluitend getraind werd op gesynthetiseerde multi-hop QA-data, generaliseerde KbSD effectief naar out-of-domain agentic reasoning taken (FRAMES, GAIA).
• Ablatie-studies: Het verwijderen van de distillatie-loss of het gebruiken van vaste (niet-adaptieve) KL-doelstellingen leidde tot een significante verslechtering van de prestaties, wat het belang bevestigt van zowel dichte supervisie als kwadrant-adaptieve divergentie.
• Case Studies: Analyse toonde aan dat KbSD succesvol leerde te weigeren bij ongeldige vragen (Kwadrant 3) waar schaarse-beloning baselines hallucineerden, en correct bewijs integreerde in Kwadrant 1. Echter, een residuele uitdaging blijft in Kwadrant 4 (Intern), waar modellen soms te veel vertrouwen op retrieval, zelfs wanneer de interne kennis voldoende is.

Betekenis en Claims

Het artikel claimt dat KbSD het paradigma van agentic search-training fundamenteel verschuift van het uitsluitend vertrouwen op resultaatgerichte schaarse beloningen naar het benutten van dichte, proces-niveau supervisie afgeleid van self-distillation.

De auteurs stellen dat de primaire flessenhals bij het kalibreren van agentic gedrag niet de modelcapaciteit is, maar de schaarsheid van proces-niveau supervisie. Door latente gedragstargets expliciet te maken via een hint-geaugmenteerde teacher en de optimalisatie-doelstelling aan te passen aan de specifieke kennisstaat, stelt KbSD modellen in staat om te leren hoe zij het vertrouwen tussen interne en externe kennis moeten kalibreren. De resultaten suggereren dat deze aanpak bijzonder effectief is in "uitdagende kwadranten" (waar schaarse beloningen de minste informatie bieden), waardoor de hallucinatiecijfers aanzienlijk worden verlaagd terwijl de behulpzaamheid bij hanteerbare taken behouden blijft. Het werk positioneert kennisgrens-bewustzijn als een domein-agnostische vaardigheid die geleerd kan worden via dit self-distillation mechanisme.