🤖 AI

Beyond Confidence: Test-Time Scaling for Multi-Turn Search Agents via Retrieval Grounding

Dit artikel stelt vast dat op vertrouwen gebaseerde stemming faalt in multi-turn zoekagenten door "kopie-inflatie" van opgehaalde documenten en stelt Retrieval-Grounded Voting (RGV) voor, een methode die rollouts scoort op basis van lexicale overlap met opgehaalde bronnen om significante nauwkeurigheidsverbeteringen te bereiken over meerdere benchmarks.

Oorspronkelijke auteurs: Hyunho Kook, Junhyuk So, Tianyu Fu, Haizhong Zheng, Beidi Chen

Gepubliceerd 2026-08-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hyunho Kook, Junhyuk So, Tianyu Fu, Haizhong Zheng, Beidi Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de snel evoluerende wereld van kunstmatige intelligentie zijn grote taalmodellen bekwaam geworden in het redeneren door complexe problemen. Om deze systemen betrouwbaarder te maken, vragen onderzoekers hen vaak om meerdere mogbare antwoorden op dezelfde vraag te genereren en vervolgens te stemmen over de beste. Voor eenvoudige taken is een slimme truc ontstaan: het systeem weegt elk antwoord op basis van hoe "zelfverzekerd" het model zich voelt tijdens het schrijven ervan. Als het model woorden genereert met een hoge zekerheid, krijgt dat antwoord een zwaardere stem. Deze methode werkt goed wanneer het model in een vacuüm werkt, leunend op alleen zijn interne training. Echter, een nieuwe generatie AI-agenten verandert het spel. Deze agenten denken niet alleen; ze zoeken. Ze fungeren als digitale onderzoekers die externe documenten van het internet ophalen om vragen te beantwoorden, deze lezen en vervolgens hun definitieve reactie schrijven op basis van die nieuwe informatie. Deze verschuiving van solitair denken naar actief zoeken heeft een blinde vlek gecreëerd in hoe we de kwaliteit van hun antwoorden beoordelen.

Een team van onderzoekers van universiteiten in de Verenigde Staten en Azië heeft ontdekt dat de oude methode om zelfvertrouwen te meten spectaculair faalt in deze nieuwe omgeving. Ze ontdekten dat wanneer een AI-agent tekst kopieert uit een document dat het zojuist heeft opgehaald, de interne vertrouwensmeter van het model volledig ontregeld raakt. Het systeem ziet de gekopieerde woorden en, omdat ze direct in zijn onmiddellijke geheugen aanwezig zijn, wordt het kunstmatig zeker dat het het juiste doet. Dit creëert een vals gevoel van veiligheid. Het model kan een foutief feit kopiëren uit een misleidend artikel, terwijl de interne signalen toch schreeuwen dat het correct is. De onderzoekers noemen dit fenomeen "copy inflation" (kopie-inflatie). Het is alsof een student die een toets maakt, de mogelijkheid krijgt om in het antwoordenformulier te kijken terwijl hij zijn essay schrijft; het proces van het kopiëren van het antwoord zorgt ervoor dat de student zich ongelooflijk zelfverzekerd voelt, zelfs als het formulier waar hij naar kijkt onjuist is. Deze inflatie vlakt de verschillen tussen goede en slechte antwoorden af, waardoor het stemmechanisme instort tot een simpele telling van hoe vaak een antwoord voorkomt, in plaats van een slimme selectie van de meest betrouwbare optie.

Om dit op te lossen, stelden de onderzoekers een nieuwe manier van stemmen voor die volledig buiten de geest van het model kijkt. In plaats van het model te vragen hoe zeker het zich voelt, stelden zij voor om te controleren hoe goed het definitieve antwoord overeenkomt met de werkelijke documenten die de agent heeft gevonden. Ze noemen deze methode Retrieval-Grounded Voting (op retrieval gebaseerd stemmen). Het proces is recht door zee: nadat de agent zijn werk heeft voltooid, vergelijkt het systeem de woorden in het definitieve antwoord met de tekst van de documenten die de agent heeft opgehaald. Als het antwoord direct is opgebouwd uit het gevonden bewijs, krijgt het een hoge score. Als het antwoord vaag is of steunt op woorden die niet in het bronmateriaal voorkomen, krijgt het een lage score. Deze aanpak omzeilt de besmette interne signalen van het model. Het vereist niet dat het model zichzelf opnieuw evalueert, noch heeft het extra rekenkracht nodig om nieuwe gedachten te genereren. Het controleert simpelweg de relatie tussen het antwoord en het bewijs, een verbinding die onafhankelijk bestaat van het zelfvertrouwen van het model.

Het team testte dit idee over vier verschillende benchmarks met betrekking tot complexe zoektaken en vijf verschillende grote taalmodellen. De resultaten waren consistent en significant. De nieuwe methode presteerde consequent beter dan de traditionele op zelfvertrouwen gebaseerde stemming, waarbij de nauwkeurigheid met wel 5,4 procentpunt werd verbeterd. De verbetering was zelfs nog dramatischer in de moeilijkste gevallen, waar het juiste antwoord slechts in een klein deel van de pogingen voorkwam. In deze moeilijke scenario's was de nieuwe methode 35 procent nauwkeuriger dan de oude manier. Dit is cruciaal omdat het betekent dat het systeem het juiste antwoord kan vinden, zelfs wanneer de meeste van zijn pogingen fout zijn, mits de juiste poging goed is geworteld in het opgehaalde bewijs. De onderzoekers vonden ook dat deze nieuwe methode ongelooflijk efficiënt is. Het voegt bijna geen kosten toe aan het proces en neemt minder dan een milliseconde per antwoord in beslag op een standaard computerprocessor, terwijl andere methoden die proberen de problemen met zelfvertrouwen op te lossen, vaak dure extra berekeningen of aanvullende model-aanroepen vereisen.

De studie onthulde ook dat het probleem van "copy inflation" geen zeldzame glitch is, maar een fundamenteel kenmerk van hoe deze zoekagenten werken. De onderzoekers maten dat in veel gevallen het overgrote deel van de woorden die een agent schrijft, direct is gekopieerd uit de opgehaalde documenten. Dit hoge tempo van kopiëren is wat de interne zelfvertrouwenssignalen onbetrouwbaar maakt. Door de focus te verleggen naar het externe bewijs, toonden de onderzoekers aan dat de kwaliteit van een antwoord het best wordt beoordeeld door de verbinding met het bronmateriaal, en niet door het interne gevoel van zekerheid van het model. Deze bevinding suggereert een bredere les voor het vakgebied: wanneer een AI-agent op externe informatie vertrouwt, kunnen de signalen die het genereert over zijn eigen zelfvertrouwen misleidend zijn. De meest betrouwbare manier om het werk te verifiëren is door naar het bewijs te kijken dat het gebruikt, niet naar de gevoelens die het uitdrukt.

Dit onderzoek beweert niet elk probleem met AI-agenten te hebben opgelost. De nieuwe methode is nog steeds afhankelijk van de kwaliteit van de zoekresultaten; als de agent slechte documenten vindt, kan de methode het antwoord niet magisch repareren. Bovendien meet de methode hoe goed een antwoord is geworteld in de tekst, niet of de tekst zelf waar is. Als de opgehaalde documenten een leugen bevatten, kan het systeem het antwoord nog steeds als hoog geworteld beoordelen. Desalniettemin biedt de studie een duidelijk en praktisch pad vooruit om te verbeteren hoe we het werk van meerdere AI-pogingen aggregeren. Door buiten de interne context van het model te stappen en te kijken naar het tastbare bewijs dat het heeft verzameld, kunnen onderzoekers systemen bouwen die robuuster, nauwkeuriger en minder vatbaar zijn voor de illusies van zelfvertrouwen die ontstaan wanneer machines lezen en herhalen wat ze vinden. Het werk demonstreert dat in het tijdperk van zoekgebaseerde AI, het meest betrouwbare signaal niet de stem van het model is, maar de documenten die het vasthoudt.

Technische Samenvatting: Beyond Confidence: Test-Time Scaling voor Multi-Turn Search Agents via Retrieval Grounding

1. Probleemstelling

Moderne Large Language Models (LLMs) fungeren steeds vaker als multi-turn zoekagenten die externe documenten ophalen en hun redenering baseren op de opgehaalde context. Hoewel confidence-gebaseerd stemmen (het wegen van parallelle rollouts op basis van interne signalen zoals token log-waarschijnlijkheden) effectief is gebleken voor single-turn redeneren, toont dit artikel aan dat dit slecht overdraagbaar is naar multi-turn zoekagenten.

Het kernprobleem dat wordt geïdentificeerd is copy-inflation (kopieer-inflatie). Wanneer opgehaalde documenten aan de context van een agent worden toegevoegd, ontvangen tokens in de gegenereerde output van het model die uit deze documenten zijn gekopieerd, systematisch opgeblazen log-waarschijnlijkheden. Dit fenomeen treedt op omdat het model in feite tekst "naboot" die al aanwezig is in zijn contextvenster. Als gevolg hiervan:

Worden confidence-scores binnen een enkele vraag afgeplat, aangezien zowel correcte als incorrecte rollouts die uit de context kopiëren, vergelijkbaar hoge confidence ontvangen.
Collabseert weighted majority voting (gewogen meerderheidsstemmen) tot eenvoudige majority voting (meerderheidsstemmen), waardoor het vermogen om te differentiëren tussen hoogwaardige en laagwaardige trajecten verloren gaat.
Wordt het stemsignaal vervuild door de door de omgeving afgeleide context in plaats van de werkelijke redeneer-confidence van het model te reflecteren.

Bestaande oplossingen, zoals traject-bewuste aggregatoren (die extra LLM-aanroepen vereisen) of RL-gebaseerde recalibratie (die fine-tuning vereisen), pakken de kernoorzaak niet aan of introduceren ze prohibitieve inferentie-kosten.

2. Methodologie: Retrieval-Grounded Voting (RGV)

Om copy-inflation aan te pakken, stellen de auteurs Retrieval-Grounded Voting (RGV) voor, een methode die het stemsignaal verplaatst van binnen de vervuilde modelcontext naar buiten de context, specifiek door gebruik te maken van het retrieval log.

Kernmechanisme

In plaats van token log-waarschijnlijkheden te gebruiken, scoort RGV elke rollout op basis van de lexicale overlap tussen de uiteindelijke tekstuele bewoording van het antwoord en de documenten die tijdens dat specifieke traject zijn opgehaald.

Scoreberekening: Voor een rollout $i$ met antwoordtekst $P_i$ en opgehaalde documenten $D_i = \{d_1, \dots, d_{m_i}\}$ , wordt het gewicht $w_i$ gedefinieerd als de maximale prose-recall:
$w_i = \max_{d \in D_i} \frac{|T(P_i) \cap T(d)|}{|T(P_i)|}$
Waarbij $T(\cdot)$ een genormaliseerde token-set vertegenwoordigt (lowercase, gestript van interpunctie/markdown, stopwoorden verwijderd).
Ontwerpkeuzes:
- Max-over-docs: De score is gebaseerd op het enkelvoudige best passende document in plaats van de unie van alle documenten. Dit voorkomt dat irrelevante documenten het signaal van een sterk ondersteunende passage verzwakt.
- Prose-zijde Normalisatie: De noemer is de grootte van de antwoordtekst, niet de unie van het antwoord en het document. Dit zorgt ervoor dat de score invariant is voor de lengte van het opgehaalde document, wat antwoorden met een sterke verankering beloont ongeacht de lengte van de ondersteunende tekst.
Stemregel: De berekende gewichten worden ingevoegd in een standaard weighted majority vote. Antwoordstrings worden geclusterd na lichte normalisatie (lowercase, witruimte samenvoegen, lidwoorden strippen) om de uiteindelijke output te bepalen.

Belangrijke Eigenschappen

Extern Signaal: Het signaal wordt afgeleid van het retrieval log van de omgeving, waardoor het onafhankelijk is van de verborgen staat van het model.
Efficiëntie: RGV vereist geen extra LLM-aanroepen, geen extractie van log-waarschijnlijkheden en geen fine-tuning. Het brengt een verwaarloosbare CPU-kost met zich mee (~0,3 ms per rollout).

3. Belangrijkste Bijdragen

Diagnose van Copy-Inflation: Het artikel identificeert en kwantificeert "copy-inflation" als het mechanisme dat de oorzaak is van het falen van confidence-gebaseerd stemmen in zoekagenten. Het toont aan dat gekopieerde tokens opgeblazen log-waarschijnlijkheden dragen (+0,50 nats hoger dan niet-gekopieerde tokens), wat de variantie van confidence-scores binnen een vraag comprimeert en weighted voting ineffectief maakt.
Retrieval-Grounded Voting (RGV): De auteurs stellen een voting-laag oplossing voor die het signaal leest van buiten de vervuilde context. Door de lexicale verankering van het antwoord in de opgehaalde documenten te meten, omzeilt RGV de log-waarschijnlijkheid-inflatie volledig.
Empirische Validatie: Uit uitgebreide experimenten over vier benchmarks en vijf LLM's blijkt dat RGV consistent beter presteert dan zowel eenvoudige majority voting als log-waarschijnlijkheid-gebaseerde confidence voting (DeepConf).

4. Experimentele Resultaten

De auteurs hebben RGV geëvalueerd op vier multi-turn zoekagent benchmarks (BrowseComp-Plus, BrowseComp, GAIA, FRAMES) met behulp van vijf LLM's (waaronder Tongyi-DeepResearch, GPT-OSS-120B, MiniMax-M2.7, Kimi-K2.5, GLM-5.1).

Algemene Prestaties: RGV behaalde de hoogste nauwkeurigheid in alle 20 benchmark $\times$ model configuraties.
Nauwkeurigheidswinsten: RGV presteerde tot wel +5,4% in absolute nauwkeurigheid beter dan de beste baseline (DeepConf).
Vragen met een minderheid als correct antwoord: De meest significante winsten werden waargenomen bij "moeilijke om te stemmen" vragen waar het correcte antwoord slechts in 1 of 2 van de 8 rollouts voorkwam (minority-correct). Op deze vragen verbeterde RGV de nauwkeurigheid met +35% ten opzichte van DeepConf. Dit komt omdat DeepConf er niet in slaagt de correcte minderheid te onderscheiden van de incorrecte meerderheid door copy-inflation, terwijl RGV de rollout met de sterkste verankering correct identificeert.
Schaalefficiëntie: RGV met 4 rollouts bereikte de nauwkeurigheid van DeepConf met 8 rollouts, wat effectief het rollout-budget halveert voor een gelijkwaardige prestatie.
Validiteit van het Signaal: Analyse bevestigde dat het signaal van RGV wordt gedreven door matching van zeldzame entiteiten (cijfers, hoofdlettergevoelige entiteiten) in plaats van veelvoorkomende woorden of verbositeit. RGV-scores correleerden sterk met de gold-document recall ( $r=0,57$ ), wat aangeeft dat het succesvol de kwaliteit van de retrieval meet.

5. Betekenis en Claims

Het artikel beweert dat omgevings-afgeleide signalen (retrieval logs) een betrouwbaardere basis bieden voor test-time scaling in zoekagenten dan interne model-signalen (log-waarschijnlijkheden) wanneer de context vervuild is door opgehaalde bewijslast.

Generaliseerbaarheid: De diagnose van copy-inflation is niet beperkt tot stemmen; de auteurs suggereren dat elk mechanisme dat vertrouwt op token-niveau confidence (bijv. early stopping, routing, hallucinatie detectie) in multi-turn zoekagenten vatbaar is voor dezelfde foutmodus.
Kosteneffectiviteit: RGV biedt een hoogwaardig alternatief voor methoden die extra LLM-aanroepen (aggregatoren) of fine-tuning (RL) vereisen, met een verwaarloosbare computationele overhead.
Beperkingen: De auteurs merken op dat RGV de kwaliteit van het retrieval-systeem erft; als de retrieval faalt, kan RGV dit niet herstellen. Daarnaast meet RGV oppervlakte-overlap en geen entailment (logische implicatie), wat betekent dat het misleid kan worden door "goed verankerde maar onjuiste" antwoorden waarbij het model correct een document kopieert dat feitelijke fouten bevat. De methode is momenteel geëvalueerd op Engelse taken.

Concluderend stelt het artikel dat voor multi-turn zoekagenten de voting-laag buiten de context van het model moet kijken om de verwarrende effecten van copy-inflation te vermijden, en dat lexicale verankering in opgehaalde documenten een robuuste, goedkope proxy is voor de juistheid van het antwoord.