Technische Samenvatting: Gebudgetteerde Actie-of-Uitstel Multi-Agent LLM Deliberatie met Lokale Betrouwbaarheidsgrenzen

1. Probleemstelling

Het artikel behandelt de uitroluitdaging van multi-agent Large Language Model (LLM) deliberatiesystemen. Hoewel multi-agent debatten de redeneercapaciteiten verbeteren, vereist praktische implementatie een principieel mechanisme om te beslissen wanneer het systeem autonoom moet handelen en wanneer het moet uitstellen voor menselijke controle. Bestaande benaderingen vertrouwen doorgaans op vaste aantal rondes met marginale dekking (bijv. split conformal prediction) of heuristische consensusdrempels die een gebrek hebben aan expliciete controle over de waarschijnlijkheid van foutieve acties.

De kern van het probleem wordt geformuleerd als gebudgeteerde actie-of-uitstel besluitvorming: gegeven een door de gebruiker gespecificeerde "foutieve actie-budget" ($\beta$), moet het systeem een stopregel $\tau$ bepalen zodat de waarschijnlijkheid van handelen op een onjuist antwoord begrensd wordt door $\beta$, terwijl de snelheid van autonome actie (automatisering) wordt gemaximaliseerd. Dit vereist per instantie en per ronde betrouwbaarheidsgrenzen die zich aanpassen aan de lokale staat van het debat.

2. Methodologie

De voorgestelde methode construeert lokale ondergrenzen voor betrouwbaarheid op de correctheidswaarschijnlijkheid met behulp van een $k$-nearest-neighbor ($k$-NN) benadering in een metriek van debatstaten.

2.1 Staatrepresentatie en Kalibratie

• State Embedding: In elke ronde $t$ wordt de debatgeschiedenis (filtratie $F_t$) gecomprimeerd tot een laagdimensionale staat $U_t = \phi_t(F_t)$ in een metriek ruimte $(\mathcal{U}, d)$. De standaardstaat bestaat uit de hoogste sociale waarschijnlijkheid ($p^{(1)}_t$) en de marge ($\Delta_t$) tussen de top twee opties.
• Kalibratie: Een kalibratiedataset $D_{cal}$ wordt gebruikt waarbij volledige debatten worden uitgevoerd. Voor elke instantie en ronde worden de staat $U_{i,t}$ en de correctheidsindicator $Z_{i,t}$ geregistreerd. De data wordt gesplitst in een modulus-schattingsset ($D_{mod}$) en een lookup-set ($D_{loc}$).

2.2 Constructie van de Ondergrens

Voor een testinstantie in ronde $t$ met staat $U_t$, berekent de methode een ondergrens $L_t$ op de lokale correctheid $q_t(U_t) = \Pr(Y = \hat{Y}_t | U_t = u)$.

1. $k$-NN Lookup: Voor een familie van buurtgroottes $K$ identificeert de methode de $k$ dichtstbijzijnde buren in $D_{loc}$.
2. Bias-Variance Correctie: Het ruwe empirische gemiddelde van de correctheid in de buurt wordt bestraft door twee termen:
   • Lokale Bias Envelope ($b_{t,k}$): Een plug-in interface die de benaderingsfout binnen de buurt controleert. De paper gebruikt een empirische modulus (gepast via een logistische GAM op $D_{mod}$) als standaard, die de maximale variatie van een pilot-smoother binnen een straal meet.
   • Sampling Variantie: Een Hoeffding-concentratieterm $\sqrt{\frac{\log(T|K|/\delta)}{2k}}$.
3. Adaptieve Selectie: De uiteindelijke grens is de maximumwaarde over alle $k \in K$:
   $$L_t = \max_{k \in K} \left[ \hat{q}_{t,k}(U_t) - b_{t,k}(U_t) - \sqrt{\frac{\log(T|K|/\delta)}{2k}} \right]$$
   Dit stelt elke instantie in staat om automatisch de $k$ te selecteren die de strakste bias-variance afweging biedt.

2.3 Budgetdecompositie en Stopregel

De gebruiker specificeert een totaal budget voor foutieve acties $\beta$. De methode deelt dit budget op in drie componenten:
$$\beta = \underbrace{\delta}_{\text{Kalibratiefout}} + \underbrace{\alpha}_{\text{Residueel Actierisico}} + \underbrace{\epsilon_{act}}_{\text{Representatiekloof}}$$

• $\delta$: Controleert de waarschijnlijkheid dat de ondergrens $L_t$ de werkelijke correctheid overschrijdt (kalibratiefout).
• $\alpha$: Het residuele risico wanneer het systeem handelt. De stopdrempel wordt ingesteld op $1 - \alpha$, waarbij $\alpha = \beta - \delta - \epsilon_{act}$.
• $\epsilon_{act}$: Een eenzijdige grens op de "representatiekloof", die rekening houdt met informatieverlies bij het comprimeren van de volledige debatgeschiedenis $F_t$ naar de staat $U_t$.

Stopregel: Het systeem handelt in ronde $\tau = \inf \{ t \le T : L_t \ge 1 - \alpha \}$. Als de grens tegen ronde $T$ nooit wordt gehaald, wordt de instantie uitgesteld voor menselijke controle.

2.4 Relatief Risico Deployment

Om taken van variërende moeilijkheid aan te pakken, introduceert de paper een relatief risico deployment beleid. In plaats van een absoluut $\beta$ vast te leggen voor alle taken, wordt het budget geïnduceerd uit de fout van de laatste ronde ($\hat{e}_T$) van de taak op de trainingsdata: $\beta_d = \lambda \cdot \hat{e}_T$. De multiplier $\lambda$ wordt geselecteerd op de trainingssplit om automatisering te maximaliseren terwijl het genormaliseerde budgetgebruik ($WA/\beta$) onder een doelstelling (bijv. 0.10) blijft.

3. Belangrijkste Bijdragen

1. Formalisering van Adaptieve Stopping: De paper formaliseert het stoppen van multi-agent deliberatie als een lokale staat-conditionele risicocontrole-probleem met een driedelige budgetdecompositie ($\beta = \delta + \alpha + \epsilon_{act}$).
2. Lokale Bias Envelope Interface: Het introduceert een generieke, plug-in bias envelope $b_{t,k}(u)$ (met Lipschitz, Hölder en empirische modulus als speciale gevallen) om de lokale benaderingsfout te controleren, en bewijst de simultane geldigheid van de ondergrenzen.
3. Conditionele Garanties met Expliciete Aannames: In tegen tegenover de distributievrije methoden, is de garantie conditioneel op controleerbare lokale aannames (geldigheid van de bias envelope en de actie-regio representatiekloof). De kosten van het falen van de aannames worden expliciet toegevoegd aan de risicogrens via Proposition 4.
4. Relatief Risico Deployment: De methode zet een door de gebruiker verklaard foutieve actie-budget om in een controleerbaar operationeel punt, gebruikmakend van trainingsdata om budgetten te normaliseren over taken met verschillende moeilijkheidsgraden.
5. Empirische Validatie: Experimenten op zes benchmarks (MMLU-Pro, LogiQA, ARC, BBH, MuSR, GPQA) tegen negen baselines tonen aan dat de methode slechts 9–12% van het vooraf verklaarde budget gebruikt op geactiveerde datasets, terwijl het een hoge automatisering (tot 84%) en een nauwkeurigheid bij acties (tot 96%) bereikt. Op stress-test datasets (GPQA, MuSR) stelt de methode correct uit in plaats van onbetrouwbare automatisering af te dwingen.

4. Resultaten

• Geactiveerde Datasets: Op MMLU-Pro, BBH, LogiQA en ARC bereikt de methode automatisering rates tussen 28% en 84% met een nauwkeurigheid bij acties van 89%–97%. Cruciaal is dat de foutieve actie-rate ($WA$) slechts 9–12% van het vooraf verklaarde budget verbruikt ($WA/\beta \in [0.09, 0.12]$).
• Stress-test Datasets: Op GPQA en MuSR (gekenmerkt door kleine steekproeven en een hoge basisfout), zijn de geïnduceerde budgetten groot, maar de methode stelt bij de meeste instanties uit (0%–53% automatisering) omdat de lokale ondergrenzen de drempel niet halen. Dit is bedoeld gedrag om onbetrouwbare automatisering te voorkomen.
• Vergelijking met Baselines:
  • Risicocontrole Baselines (CRC, Selective Prediction): Deze methoden bereiken bijna 100% automatisering maar verbruiken 18–82% van hetzelfde budget, wat aangeeft dat ze een verklaard budget niet kunnen omzetten in een specifiek automatiseringniveau zonder per taak tuning.
  • Matched-Automation Vergelijking: Wanneer baselines post-hoc worden afgestemd om de automatisering rate van de voorgestelde methode te matchen, zijn hun nauwkeurigheid bij acties en budgetgebruik statistisch ononderscheidbaar. De paper beargumenteert dat de waarde van de voorgestelde methode ligt in de prospectieve constructie van beleid vanuit een verklaard budget zonder per taak drempelzoektocht.
• Ablaties: Het verwijderen van de bias envelope ($b_{t,k}$) leidt tot een 2–3× toename in budgetgebruik. Het gebruik van alleen de laatste ronde (geen adaptieve stopping) elimineert de besparingen door vroegtijdig stoppen.

5. Betekenis en Claims

De paper claimt dat de primaire bijdrage niet het bereiken van een hogere subsetkwaliteit is dan getunede scalaire drempels (waarmee het overeenkomt in matched-automation tests), maar het bieden van een prospectief, controleerbaar framework voor het omzetten van een door de gebruiker verklaard foutieve actie-budget in een actie-of-uitstel beleid.

• Expliciete Aannames: De methode legt de structurele aannames bloot die nodig zijn voor de garantie (lokale gladheid via de bias envelope en de representatiekloof) en koppelt deze aan diagnostische proxies (bijv. modulus inflatie, predictor-gap checks) om onvoldoende representaties te falsificeren.
• Graceful Degradation: De garantie degradeert elegant; als aannames worden geschonden, wordt de faalkans expliciet toegevoegd aan de risicoberekening in plaats van een catastrofaal falen van de garantie te veroorzaken.
• Template voor Inference-Time Compute: De auteurs zien dit als een template voor andere inference-time compute pipelines waarbij herhaalde autonome actie goedkoop is, maar incidentele foutieve acties kostbaar zijn.

De paper stelt expliciet dat het geen distributievrije conditionele correctheid biedt. In plaats daarvan biedt het een risico-decompositie framework dat de kosten van lokale aannames expliciet maakt, waardoor controleerbare inzet mogelijk is onder gestelde condities.