💻 computer science

Budgeted Act-or-Defer Multi-Agent LLM Deliberation with Local Reliability Bounds

Dieses Paper führt ein budgetiertes Act-or-Defer-Framework für die Multi-Agenten-Deliberation von LLMs ein, das dynamisch entscheidet, ob gehandelt oder an eine menschliche Überprüfung eskaliert wird, indem lokale Zuverlässigkeitsgrenzen über k-Nearest-Neighbor-Konfidenzschätzungen berechnet werden, wodurch eine auditierbare Sicherheit innerhalb benutzerdefinierter Fehlhandlung-Budgets bei vielfältigen Aufgaben garantiert wird.

Ursprüngliche Autoren: Mengdie Flora Wang, Haochen Xie, Guanghui Wang, Devin Zhang, Jae Oh Woo

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mengdie Flora Wang, Haochen Xie, Guanghui Wang, Devin Zhang, Jae Oh Woo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team aus Experten-KI-Detektiven (Large Language Models), die zusammenarbeiten, um ein kniffliges Rätsel zu lösen. Sie debattieren hin und her, kritisieren die Ideen der jeweils anderen und versuchen, die richtige Antwort zu finden. Die große Frage für den Verantwortlichen (den Menschen) lautet: „Wann ist das Team so sicher, dass ich ihnen die endgültige Antwort überlassen kann, und wann sollte ich selbst eingreifen und ihre Arbeit überprüfen?“

Wenn Sie sie zu früh antworten lassen, könnten sie falsch liegen. Wenn Sie zu lange warten, verschwenden Sie Zeit und Geld.

Dieses Paper stellt ein neues „Sicherheitszertifikat“-System vor, um genau dieses Problem zu lösen. So funktioniert es, einfach erklärt:

1. Der „Vertrauenswert“ vs. das „Budget“

Stellen Sie sich den menschlichen Manager als jemanden vor, der über ein Fehlerbudget verfügt. Nehmen wir an, er ist bereit zu akzeptieren, dass 1 von 100 automatisierten Antworten falsch sein könnte. Das ist sein „Budget“.

Das System des Papers rät nicht einfach nur, wann Schluss ist. Es berechnet eine untere Konfidenzgrenze für jede einzelne Frage.

Die Analogie: Stellen Sie sich vor, das KI-Team erklimmt einen Berg. Das System zeichnet eine „Sicherheitslinie“ unter ihnen. Solange das Team über dieser Linie liegt, weiß das System, dass sie sicher handeln können. Liegen sie unter der Linie, sagt das System: „Stopp! Wir sind uns noch nicht sicher. Rufen Sie einen Menschen.“

2. Wie das System die Debatte „sieht“

Das KI-Team spricht über mehrere Runden hinweg. Das System liest nicht jedes einzelne Wort des Transkripts. Stattdessen komprimiert es die gesamte Konversation in eine einfache Zahlen-Zwei-Skala (wie eine „Konsensstärke“ und einen „Siegvorsprung“).

Die Analogie: Stellen Sie sich einen Sportkommentator vor, der eine Partie zusammenfasst. Er spielt nicht jeden Spielzug erneut ab; er sagt einfach: „Team A führt mit 10 Punkten, und die Menge jubelt lautstark.“ Das System nutzt diese Zusammenfassung, um zu entscheiden, ob das Spiel beendet ist.

3. Der „Nachbarschafts-Check“ (k-NN)

Um zu wissen, ob der aktuelle Wert zuverlässig ist, greift das System auf seinen Gedächtnisspeicher vergangener Debatten (Kalibrierungsdaten) zurück.

Die Analogie: Es ist wie das Prüfen einer Wettervorhersage. Wenn es heute so aussieht wie ein Tag in der Vergangenheit, an dem es geregnet hat, nimmt das System an, dass es vielleicht wieder regnen wird. Aber dieses System ist intelligenter: Es sucht sich die nächsten 128 oder 512 vergangenen Debatten heraus, die exakt so aussehen wie die aktuelle.
Es fragt: „Wie oft hatten die KI-Teams in diesen ähnlichen vergangenen Debatten tatsächlich recht?“
Es zieht dann eine „Sicherheitsmarge“ ab, um zu berücksichtigen, dass keine zwei Debatten exakt dieselbe sind. Dies stellt sicher, dass das System konservativ (sicher) agiert, statt optimistisch zu sein.

4. Die „Drei Eimer“ des Risikos

Das Paper unterteilt das „Fehlerbudget“ in drei verschiedene Eimer, um sicherzustellen, dass die Mathematik Bestand hat:

Der Mathematik-Eimer: Manchmal ist die Mathematik selbst etwas ungenau, weil wir nur eine Stichprobe vergangener Daten betrachtet haben.
Der „Vielleicht“-Eimer: Selbst wenn die Mathematik sagt, dass wir uns zu 95 % sicher sind, gibt es immer noch eine winzige Chance, dass wir falsch liegen.
Der „Zusammenfassungs“-Eimer: Das System betrachtet nur eine Zwei-Zahlen-Zusammenfassung der Debatte. Vielleicht wurde ein subtiler Hinweis im vollständigen Gespräch übersehen.

Das System addiert diese drei Risiken zusammen. Wenn das Gesamtrisiko immer noch innerhalb des menschlichen „Budgets“ liegt, sagt es HANDELN (ACT). Wenn nicht, sagt es ÜBERTRAGEN (DEFER) (einen Menschen hinzuziehen).

5. Die Ergebnisse: Intelligente Automatisierung

Die Forscher haben dies an sechs verschiedenen Arten schwieriger Rätsel getestet (von Logikrätseln bis hin zu wissenschaftlichen Fragen).

Bei „leichten“ oder „mittelschweren“ Rätseln: Das System konnte bei 70 % bis 96 % der Fragen automatisch handeln, während die tatsächliche Fehlerrate unglaublich niedrig blieb (es verbrauchte nur etwa 10 % des erlaubten „Fehlerbudgets“).
Bei „schweren“ Rätseln: Wenn das KI-Team wirklich kämpfte (wie bei sehr schwierigen wissenschaftlichen Fragen), verweigerte das System das Handeln. Es sagte: „Ich habe nicht genügend Beweise, um sicher zu sein“, und übergab die Aufgabe an einen Menschen. Es hat die KI nicht gezwungen, eine schlechte Antwort zu geben, nur um schnell zu sein.

Das Faz-Fazit

Dieses Paper sagt nicht nur: „KI wird besser.“ Es liefert ein garantiertes Regelwerk dafür, wann man der KI vertrauen kann und wann man vorsichtig sein muss.

Der alte Weg: „Lassen wir die KI einfach 4 Runden laufen und hoffen wir, dass sie recht hat“, oder „Lass uns eine Konfidenzzahl raten.“
Der neue Weg: „Wir haben ein striktes Fehlerbudget. Das System prüft die Beweise gegen dieses Budget. Wenn die Beweise die Hürde nehmen, handeln wir. Wenn nicht, stoppen wir.“

Es verwandelt die Entscheidung darüber, „Wann vertraue ich der KI?“, von einem Ratespiel in einen mathematisch prüfbaren Prozess und stellt sicher, dass die KI nur handelt, wenn sie ein „Zertifikat der Zuverlässigkeit“ in der Tasche hat.

Technisches Resümee: Budgetiertes Act-or-Defer Multi-Agent LLM Deliberation mit lokalen Zuverlässigkeitsschranken

1. Problemstellung

Die Arbeit befasst sich mit der Herausforderung des Einsatzes von Multi-Agenten-Diskussionssystemen (Deliberation) auf Basis von Large Language Models (LLMs). Während Multi-Agenten-Debatten die Argumentationsfähigkeiten verbessern, erfordert der praktische Einsatz einen fundierten Mechanismus, um zu entscheiden, wann das System autonom agieren sollte und wann es eine menschliche Überprüfung (Human Review) anfordern sollte. Bestehende Ansätze verlassen sich typischerweise auf feste Anzahl von Diskussionsrunden mit marginalen Abdeckungsgarantien (z. B. Split Conformal Prediction) oder heuristischen Konsensschwellen, denen eine explizite Kontrolle über die Wahrscheinlichkeit falscher Aktionen fehlt.

Das Kernproblem wird als budgetierte Act-or-Defer-Entscheidungsfindung formuliert: Gegeben ein vom Benutzer spezifiziertes „Budget für falsche Aktionen“ ( $\beta$ ), muss das System eine Stoppregel $\tau$ bestimmen, sodass die Wahrscheinlichkeit, auf eine falsche Antwort zu agieren, durch $\beta$ begrenzt ist, während gleichzeitig die Rate der autonomen Aktionen (Automatisierung) maximiert wird. Dies erfordert pro Instanz und pro Runde zuverlässige Schranken, die an den lokalen Zustand der Debatte angepasst sind.

2. Methodik

Die vorgeschlagene Methode konstruiert lokale untere Konfidenzschranken auf die Korrektheitswahrscheinlichkeit unter Verwendung eines $k$ -Nächste-Nachbarn-Ansatzes ( $k$ -NN) in einem Metrikraum von Debattenzuständen.

2.1 Zustandsrepräsentation und Kalibrierung

Zustands-Embedding: In jeder Runde $t$ wird die Debatte-Historie (Filtration $F_t$ ) in einen niedrigdimensionalen Zustand $U_t = \phi_t(F_t)$ in einem Metrikraum $(\mathcal{U}, d)$ komprimiert. Der Standardzustand besteht aus der obersten sozialen Wahrscheinlichkeit ( $p^{(1)}_t$ ) und der Margin ( $\Delta_t$ ) zwischen den zwei besten Optionen.
Kalibrierung: Ein Kalibrierungsdatensatz $D_{cal}$ wird verwendet, in dem vollständige Debatten durchgeführt werden. Für jede Instanz und Runde werden der Zustand $U_{i,t}$ und der Korrektheitsindikator $Z_{i,t}$ aufgezeichnet. Die Daten werden in einen Modulus-Schätzungsset ( $D_{mod}$ ) und einen Lookup-Set ( $D_{loc}$ ) aufgeteilt.

2.2 Konstruktion der unteren Schranke

Für eine Testinstanz in Runde $t$ mit Zustand $U_t$ berechnet die Methode eine untere Schranke $L_t$ auf die lokale Korrektheit $q_t(U_t) = \Pr(Y = \hat{Y}_t | U_t = u)$ .

$k$ -NN-Lookup: Für eine Familie von Nachbarschaftsgrößen $K$ identifiziert die Methode die $k$ nächsten Nachbarn in $D_{loc}$ .
Bias-Varianz-Korrektur: Der rohe empirische Mittelwert der Korrektheit in der Nachbarschaft wird um zwei Terme bereinigt:
- Lokaler Bias-Envelope ( $b_{t,k}$ ): Eine Plug-in-Schnittstelle, die den Approximationsfehler innerhalb der Nachbarschaft kontrolliert. Die Arbeit verwendet als Standard einen empirischen Modulus (geschätzt via logistischer GAM auf $D_{mod}$ ), der die maximale Variation eines Pilot-Smoothers innerhalb eines Radius misst.
- Sampling-Varianz: Ein Hoeffding-Konzentrationsterm $\sqrt{\frac{\log(T|K|/\delta)}{2k}}$ .
Adaptive Auswahl: Die endgültige Schranke ist das Maximum über alle $k \in K$ :
$L_t = \max_{k \in K} \left[ \hat{q}_{t,k}(U_t) - b_{t,k}(U_t) - \sqrt{\frac{\log(T|K|/\delta)}{2k}} \right]$
Dies ermöglicht es jeder Instanz, automatisch das $k$ zu wählen, das den engsten Bias-Varianz-Trade-off bietet.

2.3 Budget-Dekomposition und Stoppregel

Der Benutzer spezifiziert ein Gesamtbudget für falsche Aktionen $\beta$ . Die Methode zerlegt dieses Budget in drei Komponenten:
$\beta = \underbrace{\delta}_{\text{Kalibrierungsfehler}} + \underbrace{\alpha}_{\text{Residuales Aktionsrisiko}} + \underbrace{\epsilon_{act}}_{\text{Repräsentationslücke}}$

$\delta$ : Kontrolliert die Wahrscheinlichkeit, dass die untere Schranke $L_t$ die wahre Korrektheit überschreitet (Kalibrierungsfehler).
$\alpha$ : Das residuale Risiko, wenn das System agiert. Die Stoppschwelle wird auf $1 - \alpha$ gesetzt, wobei $\alpha = \beta - \delta - \epsilon_{act}$ .
$\epsilon_{act}$ : Eine einseitige Schranke für die „Repräsentationslücke“, die den Informationsverlust berücksichtigt, der bei der Komprimierung der vollständigen Debatte $F_t$ in den Zustand $U_t$ entsteht.

Stoppregel: Das System agiert in der Runde $\tau = \inf \{ t \le T : L_t \ge 1 - \alpha \}$ . Wenn die Schranke bis zur Runde $T$ nie erreicht wird, wird die Instanz zur menschlichen Überprüfung delegiert (deferred).

2.4 Relative-Risk-Deployment

Um Aufgaben unterschiedlicher Schwierigkeit zu handhaben, führt die Arbeit eine Relative-Risk-Deployment-Policy ein. Anstatt ein absolutes $\beta$ über alle Aufgaben hinweg festzulegen, wird das Budget aus dem finalen Fehler der Aufgabe ( $\hat{e}_T$ ) auf den Trainingsdaten induziert: $\beta_d = \lambda \cdot \hat{e}_T$ . Der Multiplikator $\lambda$ wird auf dem Trainings-Split ausgewählt, um die Automatisierung zu maximieren und gleichzeitig die normalisierte Budgetnutzung ( $WA/\beta$ ) unter einem Zielwert (z. B. 0,10) zu halten.

3. Wesentliche Beiträge

Formalisierung der adaptiven Stopp-Regel: Die Arbeit formalisiert das Stoppen der Multi-Agenten-Diskussion als ein lokales, zustandsbedingtes Risiko-Kontrollproblem mit einer dreifachen Budget-Dekomposition ( $\beta = \delta + \alpha + \epsilon_{act}$ ).
Lokale Bias-Envelope-Schnittstelle: Sie führt einen generischen, Plug-in Bias-Envelope $b_{t,k}(u)$ ein (mit Lipschitz, Hölder und empirischem Modulus als Spezialfällen), um den lokalen Approximationsfehler zu kontrollieren, und beweist die gleichzeitige Gültigkeit der unteren Schranken.
Bedingte Garantien mit expliziten Annahmen: Im Gegensatz zu distributionsfreien Methoden ist die Garantie an prüfbare lokale Annahmen gebunden (Gültigkeit des Bias-Envelopes und der Repräsentationslücke des Aktionsbereichs). Die Kosten eines Verstoßes gegen diese Annahmen werden explizit über Proposition 4 in die Risikoschranke integriert.
Relative-Risk-Deployment: Die Methode konvertiert ein vom Benutzer deklariertes Budget für falsche Aktionen in einen prüfbaren Betriebspunkt, indem sie Trainingsdaten nutzt, um Budgets über Aufgaben unterschiedlicher Schwierigkeit hinweg zu normalisieren.
Empirische Validierung: Experimente auf sechs Benchmarks (MMLU-Pro, LogiQA, ARC, BBH, MuSR, GPQA) gegen neun Baselines zeigen, dass die Methode nur 9–12 % des vorab deklarierten Budgets auf aktivierten Datensätzen verbraucht, während sie eine hohe Automatisierung (bis zu 84 %) und eine Genauigkeit der agierten Antworten (bis zu 96 %) erreicht. Auf Stress-Test-Datensätzen (GPQA, MuSR) delegiert die Methode korrekt, anstatt eine unzuverlässige Automatisierung zu erzwingen.

4. Ergebnisse

Aktivierte Datensätze: Auf MMLU-Pro, BBH, LogiQA und ARC erreicht die Methode Automatisierungsraten zwischen 28 % und 84 % mit einer Genauigkeit der agierten Antworten von 89 %–97 %. Entscheidend ist, dass die Rate der falschen Aktionen ($WA$) nur 9–12 % des deklarierten Budgets verbraucht ( $WA/\beta \in [0,09, 0,12]$ ).
Stress-Test-Datensätze: Auf GPQA und MuSR (gekennzeichnet durch kleine Stichproben und hohen Basisfehler) sind die induzierten Budgets groß, aber die Methode delegiert die meisten Instanzen (0 %–53 % Automatisierung), da die lokalen unteren Schranken den Schwellenwert nicht erreichen. Dies ist als beabsichtigtes Verhalten dargestellt, um unzuverlässige Automatisierung zu vermeiden.
Vergleich mit Matched-Automation-Baselines: Wenn Baselines post-hoc so abgestimmt werden, dass sie die Automatisierungsrate der vorgeschlagenen Methode erreichen, sind deren Genauigkeit der agierten Antworten und ihre Budgetnutzung statistisch ununterscheidbar. Die Arbeit argumentiert, dass der Wert der vorgeschlagenen Methode darin liegt, eine prospektive Policy-Konstruktion aus einem deklarierten Budget ohne per-Task-Schwellenwert-Suche zu ermöglichen.
Ablationsstudien: Das Entfernen des Bias-Envelopes ( $b_{t,k}$ ) führt zu einer 2- bis 3-fachen Erhöhung der Budgetnutzung. Die Verwendung nur der finalen Runde (ohne adaptives Stoppen) elimert die Einsparungen durch das Early-Stopping.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, ihr primärer Beitrag liege nicht darin, eine höhere Teilmengenqualität als optimierte skalare Schwellenwerte zu erreichen (was sie in Matched-Automation-Tests erreicht), sondern darin, einen prospektiven, prüfbaren Rahmen zu bieten, um ein deklariertes Budget für falsche Aktionen in eine Act-or-Defer-Policy zu konvertieren.

Explizite Annahmen: Die Methode legt die strukturellen Annahmen offen, die für die Garantie erforderlich sind (lokale Glattheit via Bias-Envelope und die Repräsentationslücke), und koppelt diese an diagnostische Proxies (z. B. Modulus-Inflation, Predictor-Gap-Checks), um unzureichende Repräsentationen zu falsifizieren.
Graceful Degradation (Sanfter Abbau): Die Garantie degradiert kontrolliert; falls die Annahmen verletzt werden, wird die Ausfallwahrscheinlichkeit explizit zur Risikoschranke hinzugefügt, anstatt einen katastrophalen Ausfall der Garantie zu verursachen.
Template für Inference-Time Compute: Die Autoren betrachten dies als Template für andere Inference-Time-Compute-Pipelines, bei denen wiederholtes autonomes Agieren kostengünstig, aber gelegentliche falsche Aktionen teuer sind.

Die Arbeit stellt explizit klar, dass sie keine distributionsfreie bedingte Korrektheit bietet. Stattdessen bietet sie einen Risiko-Dekompositions-Rahmen, der die Kosten lokaler Annahmen explizit macht und so einen prüfbaren Einsatz unter genannten Bedingungen ermöglicht.