Technische Samenvatting: Bayesiaanse Zelf-escalatie in Hiërarchische LLM-agenten

Probleemdefinitie

Huidige Large Language Model (LLM) agent-systemen maken delegatiebeslissingen ofwel vóór het begin van de redenering (via een router die een model selecteert) of ná de voltooiing van een respons (via een verifieerder die de output scoort en eventueel opnieuw probeert). Geen van beide benaderingen maakt het een werkend model mogelijk om tijdens het eigen redeneerproces te herkennen dat het waarschijnlijk buiten zijn competentiegebied is getreden en de controle moet overdragen aan een sterker model.

Dit artikel adresseert de kloof in intra-generatie delegatie. Het kernprobleem wordt geformuleerd als een sequentieel beslissingsprobleem: gegeven een junior agent $J$ die een respons genereert over $T$ stappen, op welk stap $t$ moet $J$ stoppen en de query escaleren naar een senior agent $S$? De beslissing moet de rekenkosten van voortzetting ($\kappa$), de eenmalige kosten van escalatie ($\gamma$), en de kosten van een uiteindelijke fout ($L$) in balans brengen.

Methodologie

1. Bayesiaanse Formulering

De auteur modelleert zelf-escalatie als een Bayesiaans optimaal-stopingsprobleem.

• Latente Toestand: $Y \in \{0, 1\}$ representeert of het uiteindelijke voltooide antwoord van de junior agent correct zou zijn.
• Observatie: Op elke stap $t$ geeft de agent een ruw onzekerheidssignaal $e_t$ af (bijv. token-entropie, next-token marge).
• Posterior: Het systeem houdt een competentie-posterior bij: $B_t = P(Y=1 | \mathcal{F}_t)$, waarbij $\mathcal{F}_t$ de geschiedenis van signalen is. Cruciaal is dat het artikel benadrukt dat $B_t$ geleerd is van gelabelde trajecten, en niet simpelweg afgelezen wordt van ruwe entropie. Ruwe signalen zijn ongekalibreerde bewijslast; de posterior is de gekalibreerde schatting van succes.
• Aanname: Signalen zijn conditioneel onafhankelijk gegeven $Y$ (Aanname 1), wat een log-odds recursie van de overtuiging (belief) mogelijk maakt.

2. Beslissingsbeleid

De agent kiest tussen doorgaan (brengt kosten $\kappa$ in rekening en observeert het volgende signaal) of escaleren (brengt kosten $\gamma$ in rekening en draagt over aan de senior).

• Myope Drempelwaarde: De auteur leidt een gesloten vorm van een drempelwaarde $\tau^{myo}_t$ af waarbij escalatie de voorkeur geniet als de huidige overtuiging $B_t$ eronder valt. Deze drempelwaarde neemt af naarmate de tijd vordert, omdat de resterende rekenkosten voor lokale voltooiing toenemen.
• Optimaal Stoppen: De werkelijke optimale policy wordt afgeleid via dynamische programmering. De waardefunctie $V_t(b)$ representeert de minimale verwachte toekomstige kosten.
• Structureel Resultaat: De auteur bewijst dat de optimale policy een tijdvariërende drempelwaarde-regel is op de competentie-posterior ($B_t \leq \tau^*_t$). Dit wordt bewezen met monotoniciteitsargumenten (First-Order Stochastic Dominance) zonder vereisten voor concaviteit van de waardefunctie of monotone-likelihood ratio's van de ruwe signalen.

3. Kalibratie en Regret

Een centrale theoretische bijdrage is de analyse van miskalibratie.

• Regret Bound: Het artikel bewijst dat de excessieve kosten (regret) van een toegepast beleid met een geschatte posterior $\hat{B}_t$ versus een oracle $B_t$ begrensd wordt door de kalibratiefout $E[|B_t - \hat{B}_t|]$.
• Kerninzicht: "Zelfverzekerd verkeerde" voorspellingen (waarbij het model een hoge mate van vertrouwen heeft, maar onjuist is) zijn de kritieke foutmodus. Het verbeteren van de kalibratie van de posterior is belangrijker dan het verfijnen van de beslissingsregel zelf.
• Finite-Sample Garantie: De regret neemt af met een snelheid van $O(1/\sqrt{n})$ ten opzichte van het aantal gelabelde kalibratietrajecten $n$.

4. Algoritme

Het voorgestelde systeem bestaat uit twee componenten:

1. Offline: Een backward inductieprocedure (Algoritme 2) om het optimale stop-schema $\{\tau^*_t\}$ te berekenen op basis van kosten en gekalibreerde signaalverdelingen.
2. Online: Een streaming inferentie-algoritme (Algoritme 1) dat de overtuiging $B_t$ in $O(1)$ per token bijwerkt en escalatie triggert als $B_t < \tau^*_t$. De overdracht omvat het distilleren van de context (tekst, scratchpad, tool-historie) in plaats van verborgen toestanden (hidden states).

Belangrijkste Resultaten

Simulatiestudie (Synthetische Data)

Met behulp van een bekende datagenererende proces (Beta-verdelingen voor signalen), heeft de auteur geverifieerd:

• Kosten-Nauwkeurigheid-Frontier: Het Bayesiaanse optimaal-stopende beleid domineert zowel vaste-regel baselines (escaleer als entropie > $\theta$) als post-hoc selectieve baselines (genereer volledig, beslis dan).
• Myoop vs. Optimaal: De myope regel (Propositie 1) heeft de neiging om te vroeg te escaleren in de generatie, terwijl het optimale stop-schema conservatiever blijft in het begin om meer bewijs te verzamelen.
• Kalibratiesensitiviteit: Het introduceren van "zelfverzekerd verkeerde" contaminatie (waarbij onjuiste antwoorden succes-signalen nabootsen) vermindert de nauwkeurigheid drastisch en zorgt ervoor dat de escalatiesnelheid daalt (omdat het model zijn eigen fouten niet detecteert), wat de theoretische regret-bound bevestigt.
• Sample Complexiteit: De fout in de overtuiging neemt af als $1/\sqrt{n}$, wat bevestigt dat bescheiden hoeveelheden gelabelde data volstaan voor effectieve kalibratie.

Real-Model Validatie (Qwen2.5-Coder)

De auteur heeft een vooraf geregistreerd protocol uitgevoerd op een Qwen2.5-Coder 1.5B $\to$ 7B code-generatie cascade:

• Opzet: Het junior model (1.5B) genereert code; de senior (7B) fungeert als de expert. Correctheid wordt gedefinieerd door unit test executie.
• Bevindingen:
  1. Dominantie van Streaming: Een streaming escalatiebeleid (stoppen wanneer de overtuiging daalt) bereikte 75% nauwkeurigheid bij 0.98$\times$ de rekenkosten van het junior-alleen model. In tegenstelling hiertoe vereiste post-hoc routing 1.41$\times$ de rekenkracht om een vergelijkbare nauwkeurigheid te bereiken.
  2. Dynamiek van de Overtuiging: De discriminatie (AUROC) van de cumulatieve competentie-overtuiging steeg bijna monotoon tijdens de generatie, zelfs wanneer instantane signalen (zoals entropie) niet-monotoon waren of in het midden van de generatie instortten.
  3. Beperkingen: De real-model test gebruikte een constante drempelwaarde in plaats van het volledige optimale-stopping schema, en de overtuiging was een running-mean proxy in plaats van een recursieve filter. Hierdoor werden de specifieke winsten van de dynamische programmering optiewaarde niet volledig geïsoleerd.

Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

1. Formulering: Het vestigt een principieel, besluittheoretisch kader voor intra-generatie delegatie als een optimaal-stopingsprobleem, onderscheidend van pre- of post-hoc routing.
2. Theorie: Het biedt een rigoureus bewijs dat de optimale policy een drempelwaarde is op een geleerde competentie-posterior, waarbij enkel gebruik wordt gemaakt van monotoniciteit en conditionele onafhankelijkheid, niet van specifieke signaalvormen of concaviteit.
3. Ontwerpprincipe: Het verheft kalibratie tot de beperkende factor. Het artikel betoogt dat voor zelf-escalatie systemen de kosten van falen worden bepaald door hoe goed de posterior is gekalibreerd, en niet door de verfijning van de router. "Zelfverzekerd verkeerde" voorspellingen worden geïdentificeerd als de primaire foutmodus die geen enkele drempelwaarde-policy kan overwinnen zonder betere kalibratie.

De auteur blijft bescheiden over de resultaten in de echte wereld en merkt op dat de huidige validatie beperkt is tot een enkele code-generatie cascade en een instantie met een constante drempelwaarde. Zij positioneren het werk als een falsifieerbaar kader waarbij de ultieme test is of huidige LLM's over voldoende gekalibreerde onzekerheidssignalen beschikken om de theoretische winsten in productie te realiseren.