Technische Samenvatting: Inference-Time Budget Control voor LLM Search Agents

1. Probleemformulering

Het artikel behandelt de uitdaging van het inzetten van Large Language Model (LLM) search agents onder expliciete, harde dubbele budgetten: een limiet op tool-aanroepen ($B_{tool}$) en een limiet op output-tokens ($B_{tok}$). Hoewel eerdere werken test-time schaling hebben onderzocht via herhaalde sampling of zelf-verfijning, behandelen deze benaderingen rekenkracht vaak als een uitsluitend token-gerelateerd hulpbron. Voor search agents kan extra budget echter leiden tot redundante ophaling, verspillende vertakkingen en broze contextgroei als dit niet expliciet wordt beheerd.

Het kernprobleem wordt geformuleerd als een tweestaps inference-time control probleem:

1. Search-Time Actieallocatie: Bij elke stap moet de agent beslissen hoe het resterende dubbele budget wordt toegewezen aan heterogene acties: het ophalen van bewijsmateriaal (SEARCH), het ontleden van de vraag (DECOMPOSE), of het vastleggen van een antwoord (ANSWER). Deze acties verschillen in kosten en potentieel rendement, en de optimale keuze hangt af van de huidige bewijstoestand en het resterende budget.
2. Answer-Time Finalisatie: Nadat de zoektocht is beëindigd, moet de agent beslissen of het basisantwoord van de traject ($a_{base}$) behouden blijft of wordt vervangen door een verfijnde kandidaat ($a_{ref}$). Deze beslissing moet het potentieel gewin in nauwkeurigheid afwegen tegen het risico van "interventie-schade"—het wissen van correcte bruggestructuren of het wijzigen van vergelijkende semantiek door onnodige herschrijving.

Het doel is om de verwachte beloning $E[R(\hat{a}, y)]$ te maximaliseren, onderworpen aan de dubbele budgetbeperkingen en een beperking op de verwachte schade door antwoordvervanging ($E[L_{harm}] \leq \rho_{harm}$).

2. Methodologie

De voorgestelde methode, VOI (Value-of-Information), is een trainingsvrije, tweestaps controller gebouwd bovenop een generieke boomzoek-achtergrond (geïnspireerd door BAVT).

Stap 1: Search-Time Budgetallocatie

De controller selecteert de volgende actie door haalbare opties te scoren met behulp van een Task-Level VOI-score. Deze score is een operationele schatting van de marginale taakwaarde per eenheid budget, onderscheiden van Shannon-informatiewinst of geleerde waardenmodellen.

• Utility Constructie: Voor elke actie $k$ wordt een taakniveau-utility $u_t(k)$ berekend als:
  $$u_t(k) = \hat{\Delta}_t(k) + \Psi_t(k) - \Pi_t(k; b_t)$$
  • $\hat{\Delta}_t(k)$: Een door een criticus afgeleid progressiesignaal.
  • $\Psi_t(k)$: Structurele signalen (bijv. bruggestructuur, lusdruk, bereidheid).
  • $\Pi_t(k; b_t)$: Een budget-afhankelijke strafterm die toeneemt voor SEARCH- en DECOMPOSE-acties wanneer het resterende budget krap is, dienend als proxy voor de orakel-schaduwkosten.
• Normalisatie en Guards: De utility wordt genormaliseerd door een actie-specifieke budgetschaal om de VOI-score $r_t(k)$ te produceren. Een deterministische guard-operator $G_t$ past deze score vervolgens aan om conservatief gedrag af te dwingen (bijv. het onderdrukken van voortijdige antwoorden, het afdwingen van een minimum zoektocht voor compositieve vragen).
• Selectie: De actie met de hoogste bewaakte uitvoerbare score wordt geselecteerd en uitgevoerd.

Stap 2: Answer-Time Finalisatie

Zodra de zoektocht is afgerond, evalueert een selectieve, bewijs-gegronde finalizer of het antwoord moet worden herschreven.

• Gain-Risk Trade-off: De finalizer vergelijkt het basisantwoord $a_{base}$ en een verfijnde kandidaat $a_{ref}$ (opgebouwd uit hetzelfde spoor). Hij grijpt alleen in als het verwachte gewin in nauwkeurigheid opweegt tegen het risico van beschadiging van het antwoord.
• Veilige Set ($S_{safe}$): Herschrijving is beperkt tot laag-risico scenario's, zoals het corrigeren van ja/nee-polariteit, binaire keuzes, type-slot mismatches, of het voltooien van ondersteunde feiten.
• Abstentie: Het systeem onthoudt zich van herschrijving als het traject onopgeloste bruggestructuren, vergelijkende semantiek of ontbrekende directe ondersteuning bevat, aangezien agressieve herschrijving in deze gevallen vaak de correctheid schaadt.
• Zero-Overhead: Deze stap voegt geen nieuwe tool-aanroepen of LLM-inferentie-aanroepen toe; het is een deterministische selectiepolitiek over bestaande kandidaten.

3. Belangrijkste Bijdragen

1. Tweestaps Formulering: Het artikel formaliseert budget-bewuste inferentie in LLM search agents als een gekoppeld probleem van search-time actieallocatie en risicogestuurde antwoordfinalisatie onder harde dubbele budgetten.
2. Task-Level VOI Control: Het introduceert een trainingsvrije scorer die acties rangschikt op basis van geschatte marginale taakwaarde per eenheid budget, met inbegrip van budget-afhankelijke straffen en structurele signalen zonder een waardenmodel te leren.
3. Risicogestuurde Finalisatie: Het stelt een conservatieve antwoordselector voor die alleen ingrijpt voor lokale fouten in de antwoordvorm, en expliciet de vernietiging van correcte multi-hop redeneerpaden vermijdt.
4. Empirische Validatie: De methode wordt geëvalueerd over vier multi-hop QA-benchmarks (HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle), drie LLM-achtergronden (Qwen3-32B, Qwen3.5-122B, GPT-5.4-Mini) en vier budgetniveaus onder een strikte, gedeelde harde-budgetaudit.

4. Experimentele Resultaten

• Aggregate Gains: VOI levert positieve aggregate gains op over vier geauditeerde baselines (BAVT, BATS, AFlow, Search-o1) in de geteste instellingen. Op Qwen3-32B behaalt het de beste F1 in 7 van de 16 dataset-budgetcellen en deelt de beste plek in 2 andere, en presteert beter dan baselines in respectievelijk 14/16, 10/16, 16/16 en 15/16 cellen.
• Budget Sensitiviteit: De meest significante verbeteringen treden op in lage en lager-midden budgetregimes, waar zorgvuldige actieallocatie cruciaal is om te voorkomen dat middelen worden uitgeput aan acties met lage opbrengst.
• Component Ablatie:
  • Search-Time Control: Het verwijderen van de budget-afhankelijke strafterm veroorzaakt de grootste prestatiedaling, wat bevestigt dat budget-bewuste actieallocatie de primaire drijver van gains is.
  • Finalisatie: Stap 2 (finalisatie) levert significante gains op (tot 41,9% van de totale gain op MuSiQue), voornamelijk wanneer het zoektraject adequaat is maar lokale fouten in de antwoordvorm bevat. Het draagt minder bij aan datasets waar fouten structureel zijn (bijv. MuSiQue).
• Efficiëntie: De VOI-controller verlaagt de gemiddelde inferentietijd met 27,2% in vergelijking met BAVT, omdat het lage-waarde operaties vermijdt die anders het budget zouden verbruiken.

5. Betekenis en Claims

Het artikel stelt dat inference-time budget control essentieel is voor LLM search agents, en zowel bepaalt hoe het budget wordt besteed tijdens de zoektocht als hoe het definitieve antwoord wordt vastgelegd.

• Niet-monotoon Schalen: De resultaten tonen aan dat grotere budgetten niet altijd betere antwoorden opleveren; zonder expliciete controle kunnen verhoogde budgetten leiden tot redundante zoektochten en ruisigere finalisatie.
• Grensvoorwaarden: De effectiviteit van de methode is niet uniform. Het vertoft afnemende meeropbrengst op sterkere achtergronden (bijv. Qwen3.5-122B) en in hoge-budgetregimes waar baselines zoals BATS concurrerend blijven.
• Veiligheid en Inzetbaarheid: Door expliciet het risico van antwoordvervanging te modelleren en harde budgetaudits af te dwingen, maakt de aanpak het gedrag van agents voorspelbaarder en controleerbaar, wat cruciaal is voor inzet in kostenbeperkte of latentie-gevoelige omgevingen.

De auteurs benadrukken dat hun methode geen claim maakt op globale optimaliteit van de zoekboom, maar eerder een lokale, beslissingsniveau controlemechanisme biedt dat de prestaties aanzienlijk verbetert onder strikte resourcebeperkingen.