Technische Samenvatting: SEARCHSKILL

Probleemstelling

Grote Taalmodellen (LLMs) beschikken over brede parametrische kennis, maar blijven fundamenteel statisch en missen vaak de zeldzame feiten of actuele informatie die nodig zijn voor kennisintensieve taken zoals open-domein en multi-hop vraag-antwoord (QA). Hoewel Retrieval-Augmented Generation (RAG) en tool-use frameworks (bijv. ReAct, Toolformer) LLMs in staat hebben gesteld om te interageren met zoekmachines, blijft een kritieke bottleneck bestaan: querykwaliteit.

Bestaande methoden leren modellen vaak dat ze moeten zoeken, maar niet hoe ze hoogwaardige queries moeten formuleren. In multi-hop scenario's geven modellen vaak brede, gekopieerde of redundante queries uit (bijv. het plakken van de volledige vraag in de zoekbalk). Dit leidt tot verspillen van zoekbudgetten, ruis in het bewijsmateriaal, redundante tool-aanroepen en verminderde redeneernauwkeurigheid. Bovendien definiëren huidige "vaardigheids"-frameworks voor agenten niet expliciet hoe vaardigheden moeten worden weergegeven, opgeroepen of bijgewerkt binnen de specifieke context van zoektrajecten, met name met betrekking tot hoe een vaardigheid de volgende query, verificatiegedrag en stopbeslissingen vormgeeft.

Methodologie: SEARCHSKILL

De auteurs stellen SEARCHSKILL voor, een framework dat het gebruik van zoektools expliciet maakt door elke interactiestap te ontleden in vaardigheidsselectie gevolgd door vaardigheidsgebaseerde uitvoering. De kerninnovatie is een evoluerende SkillBank die dient als externe, herbruikbare prior voor zoekstrategieën.

1. De Vaardigheidsgeconditioneerde Interface

In plaats van zoeken te behandelen als een ongedifferentieerde actie, dwingt SEARCHSKILL een token-niveau protocol af:

1. Vaardigheidsselectie: Het model geeft een <skill>...</skill>-tag uit om de specifieke herbruikbare strategie aan te kondigen die het zal toepassen (bijv. bridge-entity-search, parallel-attribute-compare).
2. Uitvoering: Geconditioneerd op de geselecteerde vaardigheidskaart genereert het model ofwel een <search>...</search>-query of een <answer>...</answer>.
3. Feedback: Opgehaald bewijsmateriaal wordt teruggegeven via <information>...</information>-tags.

Deze interface maakt de keuze van strategie tot een expliciete, trainbare controlevariabele voor elke ophaal- of antwoordactie.

2. Evoluerende SkillBank

De SkillBank is niet statisch; deze evolueert via een falingsgedreven buitenlus die is afgestemd op toenemende taakcomplexiteit (van single-hop tot complexe multi-hop datasets zoals MuSiQue):

• Initialisatie: Start met een compacte seed-bank ($B_0$) met algemene ophaal- en grounding-vaardigheden.
• Verfijning: In elke fase analyseert het systeem terugkerende falingspatronen uit modelrollouts. Een docentmodel (GPT-5.4) stelt nieuwe vaardigheden voor of verfijnt bestaande op basis van deze fouten (bijv. het toevoegen van bridge-entity-search voor multi-hop redenering).
• Reconstructie: Na acceptatie van een bank-update worden de betrokken trajecten gereconstrueerd om consistentie te waarborgen.
• Taxonomie: De uiteindelijke bank ($B_4$) bevat vaardigheden voor directe opzoeking, brugoplossing, ontleding van relatieketens, temporele verankering, conflictcontrole en antwoordgrounding.

3. Tweestaps Supervised Fine-Tuning (SFT)

Het trainingsrecept brengt het model in lijn met het inferentie-tijdprotocol:

• Fase 1 (Uitvoering): Het model leert het basisactieformaat: het uitgeven van een <skill>-tag gevolgd door een <search>- of <answer>-tag. Deze fase maakt gebruik van een pool van gevalideerde docenttrajecten om vaardigheid-getagde queryplanning en grounded stoppen te leren.
• Fase 2 (Routing): Het model leert om vaardigheden te selecteren uit de SkillBank-index. Elke oorspronkelijke actiebeurt wordt opgesplitst in een vaardigheidsselectie-beurt, een gebruikersbeurt met de inhoud van de geselecteerde vaardigheidskaart, en de oorspronkelijke actiebeurt. Het model moet door de SkillBank routeren zonder vraag-specifieke hints, waarbij het zijn volgende actie conditioneert op de inhoud van de geselecteerde kaart.

4. Reinforcement Learning (Auxiliair)

De auteurs verkennen ook een lichtgewicht GRPO (Group Relative Policy Optimization)-fase na SFT om zoekgedrag verder te verfijnen, met name gericht op het gebruik van bewijsmateriaal, antwoordgrounding en stopgedrag, hoewel de primaire winst wordt toegeschreven aan het SFT-proces.

Belangrijkste Bijdragen

1. Vaardigheidsgeconditioneerde Interface: Een nieuw framework dat de queryformulering verbetert door het model te dwingen een herbruikbare zoekstrategie te selecteren voor elke tool-aanroep, waarmee het falen bij het uitgeven van brede of gekopieerde multi-hop queries wordt aangepakt.
2. Evolueerbare Zoekvaardigheidsbank: Een dynamische repository die wordt bijgewerkt via falingsanalyse, toevoeg-/verfijn-operaties en trajectreconstructie. Het biedt een herbruikbare prior voor toolgebruik die verder reikt dan de specifieke QA-instelling.
3. Tweestaps SFT-recept: Een trainingsmethodologie die prestaties bereikt die vergelijkbaar zijn met of beter zijn dan zoekagenten op basis van grootschalige RL (zoals Search-R1), terwijl de hoge rekenkosten van RL-rollouts worden vermeden.
4. Generaliseerbaarheid: Aangetoonde effectiviteit voor zowel open-source (Qwen2.5 3B/7B) als gesloten-bron modellen. De bevroren SkillBank kan dienen als externe planningsgids voor propriëtaire modellen zonder fine-tuning.

Experimentele Resultaten

Het framework werd geëvalueerd op zeven benchmarks die single-hop (Natural Questions, TriviaQA, PopQA) en multi-hop (HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle) QA bestrijken.

• Prestaties: SEARCHSKILL behaalde de beste macro-gemiddelde Exact Match (EM)-scores op zowel Qwen2.5-7B (42,34%) als Qwen2.5-3B (36,94%), en presteerde beter dan sterke baselines waaronder Search-R1 (RL-gebaseerd) en ZeroSearch.
• Querygedrag: De methode verminderde significant de "eerste query kopie"-percentages (waarbij het model de volledige vraag kopieert) en verhoogde "atomische hop-gerichte" queries. Het behaalde hogere nauwkeurigheid binnen een klein zoekbudget (bijv. Correct@≤3 zoekopdrachten).
• Ablatiestudies:
  • Het verwijderen van de SkillBank (lege bank) veroorzaakte prestatiedalingen, wat de waarde van expliciete vaardigheidsrouting bevestigt.
  • Het verwijderen van de inhoud van de vaardigheidskaarten (alleen ID's behouden) verlaagde ook de prestaties, wat aangeeft dat de semantische inhoud van de vaardigheden cruciaal is.
  • Het vervangen van de evoluerende bank door de seed-bank ($B_0$) verslechterde de prestaties, wat het belang van iteratieve verfijning benadrukt.
• Transfer naar Gesloten Bron: Het toepassen van de bevroren SkillBank als planningsgids voor propriëtaire modellen (GPT-4o-mini, Gemini 2.5 Flash Lite, Claude Haiku 4.5) leverde consistente macro-winsten op, wat de overdraagbaarheid van de geleerde zoekpriors bewijst.

Betekenis en Claims

Het artikel stelt dat expliciete vaardigheidsgeconditioneerde queryplanning een lichtgewicht en effectief alternatief is voor het behandelen van zoeken als een ongedifferentieerde actie. Door de zoekstrategie expliciet en trainbaar te maken, adresseert SEARCHSKILL de root-oorzaak van ophaalinefficiëntie: slechte queryformulering.

De auteurs beweren dat deze aanpak:

• Strategie ontkoppelt van uitvoering: De SkillBank fungeert als een externe prior, waardoor het model kan leren hoe te zoeken zonder deze patronen impliciet opnieuw te hoeven ontdekken tijdens SFT.
• Efficiëntie verbetert: Het vermindert redundante zoekopdrachten en verbetert de kwaliteit van opgehaald bewijsmateriaal, wat leidt tot betere antwoorden binnen strakkere budgetten.
• Een schaalbaar trainingspad biedt: Het tweestaps SFT-recept biedt een kosteneffectieve manier om zoekagenten te trainen, waarbij de instabiliteit en hoge rekenkosten worden vermeden die gepaard gaan met het trainen van zoekgedrag voornamelijk via Reinforcement Learning.

Het werk suggereert dat, hoewel RL uitvoeringsgewoonten (bijv. stopgedrag) verder kan verfijnen, de fundamentele capaciteit voor intelligent zoeken het beste wordt gevestigd via gestructureerde, vaardigheidsgeconditioneerde supervisie.