Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification

1. Probleemstelling

Deep Research Agents (DRAs) aangedreven door Large Language Models (LLM's) transformeren de geautomatiseerde kennisontdekking, maar kampen met betrouwbaarheidsproblemen. Veelvoorkomende faalmodi omvatten hallucinaties, onjuist API-gebruik, afhankelijkheid van onvolledige secundaire bronnen en redeneerfouten.

• Beperkingen van huidige benaderingen: Bestaande methoden richten zich voornamelijk op het verbeteren van beleidsmogelijkheden via post-training (Supervised Fine-Tuning of Reinforcement Learning). Hoewel "Test-Time Scaling" (bijvoorbeeld Best-of-N sampling) bestaat, faalt dit vaak omdat verschillende rollouts de neiging hebben dezelfde systematische fouten te herhalen.
• Het gat: Er ontbreekt een schaalbaar, geautomatiseerd kader dat agenten in staat stelt zich tijdens inferentie zelf te laten evolueren door hun eigen output te verifiëren, gerichte feedback te genereren en antwoorden te verfijnen zonder extra training. Bovendien is het genereren van hoogwaardige feedback moeilijk omdat dit geavanceerde redeneervermogens vereist.

2. Methodologie

De auteurs stellen DeepVerifier voor, een kader dat gebruikmaakt van de asymmetrie van verificatie (het controleren van een antwoord is vaak gemakkelijker dan het genereren ervan) om iteratieve zelfverbetering mogelijk te maken. De methodologie bestaat uit drie kerncomponenten:

A. DRA Faaltaxonomie

Om verificatie te sturen, hebben de auteurs een systematische taxonomie van agentfouten opgesteld op basis van een analyse van 555 foutpunten uit de WebAggregatorQA-dataset.

• Structuur: De taxonomie classificeert fouten in 5 hoofdcategorieën en 13 subcategorieën.
• Belangrijkste bevindingen: De meest voorkomende faalmode is "Bronnen vinden" (bijvoorbeeld het raadplegen van verkeerd bewijs, generieke zoekopdrachten), gevolgd door "Redeneren" (voorbarige conclusies, hallucinaties).
• Gebruik: Deze taxonomie dient als fundament voor het creëren van gestructureerde rubrieken die het verificatieproces sturen.

B. Het DeepVerifier-kader

DeepVerifier is een drie-traps, multi-module pijplijn ontworpen om complexe verificatietaken te decomponeren:

1. Decompositie-agent:
   • In plaats van een LLM te vragen het hele complexe probleem opnieuw op te lossen (wat foutgevoelig is), vat deze agent de oorspronkelijke trajecten samen en identificeert potentiële foutpunten op basis van de Faaltaxonomie.
   • Het formuleert hoogwaardige vervolgvragen die specifieke kwetsbaarheden targeten (bijvoorbeeld "Staat Bron X Claim Y expliciet?").
2. Verificatie-agent:
   • Voert de vervolgvragen uit met externe tools (webzoekopdrachten, code-uitvoering) om concreet bewijs te verzamelen.
3. Rechter-agent:
   • Evalueert het oorspronkelijke antwoord tegen het trajectoverzicht, de lijst met potentiële fouten en het bewijs verzameld uit de vervolgvragen.
   • Output een op rubrieken gebaseerde score (1–4) en gedetailleerde, actievere feedback.

C. Test-Time Scaling & Zelfevolutie

• Iteratieve lus: De agent genereert een antwoord $\rightarrow$ DeepVerifier controleert het $\rightarrow$ Feedback wordt gegeven $\rightarrow$ De agent probeert het antwoord opnieuw/verfijnt het.
• Op rubrieken gebaseerde feedback: De feedback is niet generiek; deze is afgeleid van de specifieke faaltaxonomie, zodat de agent precies weet waarom het faalde (bijvoorbeeld "Je vertrouwde op een generieke zoekopdracht in plaats van een primaire bron").
• Geen training vereist: Dit proces vindt volledig plaats tijdens de inferentie en vereist geen gradiëntupdates van het basismodel.

D. DeepVerifier-4K Dataset

Om open-source modellen in staat te stellen robuuste verificatiecapaciteiten te ontwikkelen, hebben de auteurs DeepVerifier-4K gecreëerd, een gecureerde Supervised Fine-Tuning (SFT)-dataset met 4.646 hoogwaardige prompt-responseparen. Deze paren richten zich op het reflectie- en zelfkritiekproces, waardoor open modellen (zoals Qwen) leren hoe ze hun eigen output kunnen verifiëren en verfijnen.

3. Belangrijkste bijdragen

1. Formalisatie van agentreflectie: Het paper formaliseert een reflectiepijplijn voor DRAs die gebruikmaakt van de verificatieasymmetrie, en gaat voorbij aan holistisch beoordelen naar gerichte bewijscontrole.
2. DRA Faaltaxonomie: De creatie van een uitgebreide, automatisch geconstrueerde taxonomie (5 klassen, 13 subklassen) die agentfouten systematisch categoriseert en dient als blauwdruk voor op rubrieken gebaseerde beloningen.
3. DeepVerifier-kader: Een plug-and-play module die verificatie en feedbackgeneratie integreert en prestaties levert die beter zijn dan standaard "Agent-as-Judge" en LLM-rechter baselines.
4. DeepVerifier-4K dataset: Een hoogwaardige SFT-dataset die aan de open gemeenschap wordt vrijgegeven om modellen te trainen in reflectie en zelfkritiek, en zo de schaarste aan data voor deze specifieke capaciteit aanpakt.

4. Experimentele resultaten

Verificatieprestaties (Meta-evaluatie)

• DeepVerifier presteert aanzienlijk beter dan de standaard "Agent-as-Judge" en standaard LLM-rechters.
• Meting: Het behaalt een verbetering van 12%–48% in meta-evaluatie F1-scores.
• Ablatie: Het verwijderen van de decompositiemodule leidt tot hoge precisie maar lage recall (subtiele fouten worden gemist). Het verwijderen van de verificatiemodule leidt tot slechte nauwkeurigheid. De volledige pijplijn balanceert beide.

Test-Time Scaling (Prestatiewinst)

• Closed-Source modellen (Claude-3.7-Sonnet):
  • Op de GAIA-benchmark verbeterde de nauwkeurigheid met 8%–11% (bijvoorbeeld GAIA-Web steeg van ~52% naar ~63,5%).
  • Op XBench-DeepSearch bereikten de winsten 6%.
  • Op BrowseComp (extreem moeilijk) bereikten de winsten 5%.
• Open-Source modellen (Qwen3-8B / DeepVerifier-8B):
  • Modellen die zijn gefinetuned op DeepVerifier-4K toonden superieure reflectiecapaciteiten.
  • DeepVerifier-8B behaalde een nauwkeurigheidswinst van 5,5% na 10 rondes reflectie, en presteerde aanzienlijk beter dan de basis Qwen3-8B en de CK-Pro-8B (die alleen op standaarddata was getraind).

Schalingstrends

• De prestaties pieken doorgaans rond 3–4 feedbackrondes.
• Vroege rondes herstellen veel fouten (Onjuist $\to$ Correct), maar latere rondes lopen het risico op overcorrectie (Correct $\to$ Onjuist). Het kader bevat een early-stoppingmechanisme wanneer de verifier een antwoord accepteert.

5. Betekenis en Impact

• Paradigmaverschuiving: Het paper verschuift de focus van het uitsluitend trainen van betere agenten naar het schalen van verificatie tijdens de inferentie. Het demonstreert dat agenten zich effectief zelf kunnen corrigeren zonder extra trainingskosten.
• Schaalbaarheid: De aanpak is modelonafhankelijk en werkt effectief met zowel krachtige closed-source API's als gefinetuned open-source modellen.
• Ressource-efficiëntie: Door verificatie te decomponeren in kleine subtaken in plaats van het hele probleem opnieuw op te lossen, biedt het een betere nauwkeurigheids-kostverhouding dan brute-force methoden zoals Best-of-N.
• Bijdrage aan de gemeenschap: De vrijgave van de Faaltaxonomie en de DeepVerifier-4K-dataset biedt een kritieke basis voor toekomstig onderzoek naar reflectie-versterkte Reinforcement Learning (RL) en de ontwikkeling van betrouwbare agenten.

Kortom, dit werk stelt vast dat gestructureerde, op rubrieken gebaseerde verificatie een krachtig mechanisme is voor het schalen van de betrouwbaarheid van Deep Research Agents, en dat het rekenvermogen tijdens inferentie omzet in een zelfverbeterende lus die de nauwkeurigheid op complexe, meerstaps redeneertaken aanzienlijk verhoogt.