🤖 AI

Distribution-Free Uncertainty Quantification for Continuous AI Agent Evaluation

Dieser Beitrag stellt ein verteilungsfreies Framework für die kontinuierliche Bewertung von KI-Agenten vor, das konforme Vorhersage und adaptive konforme Inferenz anpasst, um kalibrierte Unsicherheitsintervalle, zusammengesetzte Schranken für Multi-Agenten-Pipelines und kontrollierte Enthaltungsregeln für Rangfolgen bereitzustellen, und demonstriert eine robuste Leistung über 50 Agenten und 18 Echtzeitsignale hinweg.

Ursprüngliche Autoren: Yuxuan Gao, Megan Wang, Yi Ling Yu

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuxuan Gao, Megan Wang, Yi Ling Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, jede Stunde die Leistung von 50 verschiedenen KI-„Agenten" (intelligente Software-Bots) zu bewerten. Sie möchten wissen: Ist Agent A tatsächlich besser als Agent B, oder sehen wir nur zufälliges Rauschen?

Das Problem, so die Autoren dieses Papers, besteht darin, dass die meisten aktuellen Methoden so tun, als wären sie zu 100 % sicher. Sie liefern einen einzelnen Score, wie etwa „Agent A ist zu 85 % gut". Doch in Wirklichkeit schwanken Scores je nachdem, welche Plattform Sie abfragen, wie der Agent aktualisiert wurde oder sogar je nach Tageszeit. Es ist, als würde man versuchen, einen Sack Mehl auf einer wackeligen Waage zu wiegen, während jemand ständig an den Tisch stößt.

Die Autoren haben ein neues System namens AgentPulse entwickelt, um dies zu beheben. Anstatt nur eine einzelne Zahl anzugeben, liefern sie einen Konfidenzbereich (ein „Sicherheitsnetz"), der Ihnen sagt, wie sicher Sie sein können. Sie nennen dies „verteilungsunabhängige Unsicherheitsquantifizierung" (Distribution-Free Uncertainty Quantification).

Hier ist, wie ihr System funktioniert, unter Verwendung einfacher Analogien:

1. Das „Sicherheitsnetz", das nicht reißt (Konforme Vorhersage)

Normalerweise gehen Wissenschaftler bei der Schätzung eines Bereichs davon aus, dass die Daten einer perfekten Glockenkurve folgen (wie Körpergrößen von Menschen). Doch KI-Scores sind chaotisch; sie haben „schwere Ränder" (plötzliche, wilde Ausschläge).

Die Autoren verwenden eine Methode namens Split Conformal Prediction.

Die Analogie: Stellen Sie sich vor, Sie fischen. Anstatt basierend auf einer Theorie zu erraten, wo der Fisch vielleicht ist, schauen Sie, wo der Fisch in der letzten Stunde tatsächlich gefangen wurde. Sie bauen ein Netz, das gerade groß genug ist, um 80 % der Fische zu fangen, die Sie zuvor gesehen haben.
Das Ergebnis: Ihr „Netz" ist perfekt kalibriert. Wenn sie sagen, sie seien zu 80 % sicher, sind sie tatsächlich zu 80 % sicher. Es spielt keine Rolle, ob die Daten seltsam oder chaotisch sind; die Mathematik garantiert, dass das Netz funktioniert.

2. Der „Stoßdämpfer" für neue Releases (Adaptive Konforme Inferenz)

KI-Agenten werden häufig aktualisiert. Wenn eine neue Version erscheint, werden die alten Daten unbrauchbar, und der „wackelige Tisch" wird noch wackeliger.

Die Analogie: Denken Sie an ein Auto, das auf einer glatten Straße fährt. Plötzlich fährt es über ein Schlagloch (ein neues Agent-Release). Ein Standardfahrwerk (Standardmathematik) hält das Auto steif, und die Passagiere werden durchgeschüttelt.
Die Lösung: Die Autoren verwenden ACI (Adaptive Conformal Inference). Dies ist wie ein Auto mit „intelligenten Stoßdämpfern". Wenn es über das Schlagloch fährt, erweitert das System das Sicherheitsnetz (das Konfidenzintervall) sofort um 35 %, um den Stoß abzufedern. Sobald sich das Auto stabilisiert hat, schrumpft das Netz wieder zusammen. Dies verhindert, dass das System in chaotischen Zeiten falsches Vertrauen vermittelt.

3. Der „Teamwork"-Sicherheitscheck (Zusammengesetzte Unsicherheit)

Oft arbeiten Agenten in Pipelines (Agent A übergibt eine Aufgabe an Agent B). Wenn Agent A wackelig ist und Agent B wackelig ist, ist die gesamte Kette sehr wackelig.

Die Analogie: Stellen Sie sich einen Staffellauf vor. Wenn Läufer 1 schnell, aber wackelig ist, und Läufer 2 schnell, aber wackelig ist, ist die Gesamtzeit des Teams sehr unsicher.
Die Lösung: Das Paper bietet zwei „Sicherheitsgrenzen" für diese Teams. Eine geht davon aus, dass die Läufer unabhängig sind (eine Best-Case-Schätzung), die andere geht vom Worst-Case-Szenario aus, in dem sich ihre Wackeligkeit addiert. Dies hilft Ihnen zu wissen, ob ein mehrstufiger Prozess zuverlässig ist oder kurz davor steht, auseinanderzubrechen.

4. Der „ehrliche Schiedsrichter" (Abstinenz und FDR)

Manchmal ist das Rauschen in den Daten so stark, dass Sie einfach nicht sagen können, wer besser ist. Ein schlechter Schiedsrichter könnte eine Entscheidung erzwingen und sich irren. Ein guter Schiedsrichter gibt zu: „Ich weiß es nicht."

Die Analogie: Bei einem Boxkampf sollten die Richter, wenn sie nicht klar sehen können, keinen Sieger erklären. Sie sollten sagen: „Lassen Sie uns pausieren."
Die Lösung: Das System hat eine Regel zur Abstinenz. Wenn sich die „Sicherheitsnetze" zweier Agenten zu stark überlappen, verweigert das System eine Rangfolge. Es verwendet zudem einen statistischen Trick (FDR-Korrektur), um sicherzustellen, dass sie, wenn sie tatsächlich 1.000 Paare von Agenten rangieren, nicht versehentlich 20 % davon falsch bewerten. Es tauscht ein paar „Ich weiß nicht"-Antworten gegen totale Zuverlässigkeit bei denjenigen ein, die sie tatsächlich rangieren.

5. Dem Volk zuhören (Quellenübergreifende Divergenz)

Das System schaut nicht nur auf einen Test; es betrachtet Benchmarks, GitHub-Downloads und Social-Media-Stimmungen aus 9 verschiedenen Quellen.

Die Analogie: Stellen Sie sich vor, Sie fragen 9 verschiedene Personen, einen Film zu bewerten. Wenn 8 sagen, er sei großartig und 1 sagt, er sei schrecklich, wissen Sie, dass die eine Person ein Ausreißer ist. Aber wenn 5 sagen „Großartig" und 4 sagen „Schrecklich", ist das ein Zeichen von Instabilität.
Das Ergebnis: Das Paper fand heraus, dass wenn diese verschiedenen „Menschenmengen" nicht übereinstimmen (divergieren), dies vorhersagt, dass die Rangfolge des Agenten instabil sein wird. Es ist eine Warnleuchte: „Hey, die Menge kann sich nicht einigen, also vertrauen Sie dieser Rangfolge noch nicht."

Das Fazit

Die Autoren testeten dies an 50 echten KI-Agenten. Sie stellten fest, dass:

Ihre „Sicherheitsnetze" genau sind (der Kalibrierungsfehler ist winzig).
Sie mit neuen Agent-Release viel besser umgehen als alte Methoden.
Sie Ihnen sagen können, wann eine Rangfolge zu wackelig ist, um ihr zu vertrauen, und Sie so davor bewahren, auf Basis von verrauschten Daten schlechte Entscheidungen zu treffen.

Kurz gesagt: Sie haben die KI-Evaluation von einem „Raten-Spiel" in eine „gemessene Wissenschaft" verwandelt, bei der Sie immer wissen, wie sehr Sie dem Ergebnis vertrauen können.

Technische Zusammenfassung: Verteilungsfreie Unsicherheitsquantifizierung für die kontinuierliche Bewertung von KI-Agenten

1. Problemstellung

Die Bewertung von KI-Agenten steht derzeit vor einer „Unsicherheitskrise". Bestehende statische Benchmarks (z. B. SWE-bench, GAIA, WebArena) erzeugen Punktschätzungen, die als endgültig behandelt werden, versagen jedoch darin, implizite Unsicherheiten zu berücksichtigen, die sich aus folgenden Faktoren ergeben:

Messheterogenität: Diskrepanzen zwischen verschiedenen Plattformen hinsichtlich der Qualität.
Modellspezifikation: Verschiebungen der Rangfolgen unter verschiedenen Gewichtungsschemata.
Temporale Nicht-Stationarität: Sich entwickelnde Scores, wenn Agenten aktualisiert oder veröffentlicht werden.

Während einige Frameworks wie Chatbot Arena Konfidenzintervalle via Bootstrap-Resampling bereitstellen, fehlen ihnen Garantien für endliche Stichproben, und sie adressieren oft nur einzelne Signalquellen. Es existiert kein Framework, das verteilungsfreie Abdeckungsgarantien für Agenten-Scores, zusammengesetzte Unsicherheitsgrenzen für Multi-Agenten-Pipelines oder prinzipielle Abstinenzregeln bei geringer Bewertungssicherheit bietet.

2. Methodik: Das AgentPulse-Framework

Die Autoren schlagen AgentPulse vor, ein kontinuierliches Bewertungsframework, das Unsicherheit als primäres Output behandelt. Das System bewertet 50 Agenten mittels eines vierfaktoriellen zusammengesetzten Scores ($AP$), der stündlich aus 19 Datenquellen gesammelt wird:
$AP(a) = 0.35 B(a) + 0.25 A(a) + 0.20 S(a) + 0.20 E(a)$
Wobei $B$ die Benchmark-Leistung, $A$ die Adoption (GitHub-Sterne, Downloads), $S$ die Sentiment-Stimmung (aggregiert von 9 Plattformen) und $E$ die Ökosystem-Gesundheit darstellt.

Das Framework setzt vier methodische Säulen ein:

2.1 Verteilungsfreie Prognose (Split Conformal & ACI)

Um Scores $h$ Stunden im Voraus zu prognostizieren, verwendet das System ein Mittelwert-Reversions-Modell. Um Abdeckung ohne Annahme einer spezifischen Datenverteilung zu garantieren:

Split Conformal Prediction: Die Scoring-Historie wird in Trainings- (70 %) und Kalibrierungsdaten (30 %) aufgeteilt. Nicht-Konformitäts-Scores werden berechnet, und ein Quantil $\hat{q}_{1-\alpha}$ wird ausgewählt, um Intervalle $C_{1-\alpha}$ zu konstruieren. Dies garantiert unter Austauschbarkeit $\Pr[AP_{t+h} \in C_{1-\alpha}] \ge 1-\alpha$ .
Adaptive Conformal Inference (ACI): Um Verteilungsverschiebungen durch Agenten-Veröffentlichungen zu bewältigen (die die Austauschbarkeit verletzen), passt ACI das Fehl-Abdeckungs-Level $\alpha_t$ online an. Falls eine Beobachtung außerhalb des Intervalls liegt, wird $\alpha$ erhöht, wodurch das Intervall verbreitert wird, bis die Abdeckung wiederhergestellt ist.

2.2 Bedingte Abdeckung (Mondrian Conformal)

Standard-Conformal-Prognose bietet marginale Abdeckung (gemittelt über alle Agenten), was schlechte Leistungen für spezifische volatile Agenten verschleiern kann. Die Autoren implementieren Mondrian Conformal Prediction, indem sie Agenten basierend auf der Standardabweichung über die Quellen hinweg ( $\sigma_{cross}$ ) in „stabile" und „volatile" Gruppen stratifizieren. Für jede Gruppe werden separate Kalibrierungsdatensätze und Quantile berechnet, wodurch bedingte Abdeckungsgarantien für volatile Agenten sichergestellt werden, die unter Standardmethoden sonst versagen würden.

2.3 Zusammengesetzte Unsicherheit für Pipelines

Für Multi-Agenten-Pipelines ( $a_1 \to a_2$ ) leitet das Framework Unsicherheitsgrenzen für die zusammengesetzte Messung ab:

Unabhängigkeitsgrenze: $\sigma_{pipeline} = \sqrt{\sigma_1^2 + \sigma_2^2}$ .
Worst-Case-Grenze: $\sigma_{pipeline} \le \sigma_1 + \sigma_2$ .
Diese Grenzen werden via Simulation über Inter-Stufen-Korrelationen $\rho \in [-0.5, 0.9]$ hinweg validiert.

2.4 Selektive Abstinenz und FDR-Kontrolle

Zur Steuerung der Zuverlässigkeit von Rangfolgen:

Conformal Abstention: Bei paarweisen Vergleichen enthält das System, falls das Konfidenzintervall für die Score-Differenz $\Delta_{ab}$ Null beinhaltet, von einer Rangfolge ab. Dies kontrolliert die Falsch-Rangierungs-Rate.
FDR-Korrektur: Für Multiple-Testing auf Leaderboard-Ebene (1.225 Paare) wird das Benjamini-Hochberg (BH)-Verfahren angewendet, um die False Discovery Rate (FDR) zu kontrollieren, wodurch sichergestellt wird, dass der Anteil falsch geordneter Paare unter allen gerankten Paaren unter einem Ziel-Schwellenwert bleibt.

3. Hauptergebnisse

3.1 Kalibrierung und Abdeckung

Kalibrierungsfehler: Conformal-Intervalle erzielten über alle nominalen Niveaus hinweg am 24-Stunden-Horizont Kalibrierungsfehler unter 0,02.
Vergleich mit Parametrischen/Bootstrap-Methoden: Parametrische Intervalle waren systematisch überkonservativ (breiter als notwendig). Bootstrap-Intervalle waren bei kurzen Horizonten moderat überkonservativ, deckten jedoch bei 72 Stunden aufgrund temporärer Nicht-Stationarität zu wenig ab (74 % Abdeckung vs. 80 % nominal). Conformal-Methoden behielten eine robuste Abdeckung bei (79 % bei 72 h).
Adaptive Reaktion: Nach Agenten-Veröffentlichungen verbreiterte ACI die Intervalle innerhalb von 6 Stunden korrekt um 35 % und konvergierte über 48 Stunden wieder, während statische Methoden Abdeckungsverluste erlitten.

3.2 Verbesserungen der bedingten Abdeckung

Volatile Agenten: Unter standard Conformal Prediction hatten volatile Agenten (hohe $\sigma_{cross}$ ) eine mittlere Abdeckung von 64,6 % (11 von 15 Agenten unter 75 %).
Mondrian-Korrektur: Durch die Stratifizierung der Agenten erhöhte Mondrian Conformal die Abdeckung für volatile Agenten auf 80,4 % (nur 2 von 15 unter 75 %), auf Kosten breiterer Intervalle für diese spezifische Gruppe.
Gesamtverteilung: Die mittlere pro-Agenten-Abdeckung über 50 Agenten hinweg betrug 80,4 %, wobei 90 % der Agenten im Bereich [72 %, 90 %] lagen.

3.3 Pipeline- und Ranking-Stabilität

Pipeline-Grenzen: Simulationen bestätigten, dass die wahre Pipeline-Unsicherheit bei positiven Korrelationen zwischen der Unabhängigkeits- und der Worst-Case-Grenze liegt.
Abstinenzraten: Bei $\alpha=0,20$ lösten 31 % der Paare eine Abstinenz aus. Nach BH-Korrektur zur FDR-Kontrolle wurden 50 % der Paare mit Sicherheit gerankt, während die restlichen als unsicher markiert wurden.
Signal-Divergenz: Die Divergenz der Sentiment-Stimmung über die Quellen hinweg war ein starker Prädiktor für Ranking-Instabilität ( $r=0,64, p<0,01$ ).

3.4 Validierung

Prädiktive Validität: Eine Teilkomposition ohne GitHub-Signale sagte GitHub-Sterne ( $\rho_s=0,52$ ) und Stack-Overflow-Fragen ( $\rho_s=0,49$ ) voraus.
Kircularitätskontrolle: Die Validierung bestätigte, dass das Framework Signale über Standard-Benchmarks hinaus erfasst ( $\rho_s=0,52, p<0,01, n=35$ ).
Rangverschiebungen: Die zusammengesetzte Rangfolge wich signifikant von rein benchmark-basierten Rangfolgen ab, insbesondere bei Agenten mit hoher Adoption, aber niedrigeren Benchmark-Scores, oder bei Closed-Source-Agenten ohne Adoptionssignale.

4. Bedeutung und Behauptungen

Die Arbeit behauptet, dass AgentPulse eine kritische Lücke in der KI-Bewertung schließt, indem es das erste Framework bietet, das verteilungsfreie Abdeckungsgarantien für die kontinuierliche, multi-quellige Bewertung von Agenten liefert.

Die Autoren betonen, dass ihr Beitrag nicht die Erfindung der Split-Conformal-Prognose selbst ist, sondern deren rigorose Anwendung auf einen Bereich, der durch vier distincte Herausforderungen gekennzeichnet ist:

Strukturierte Verletzungen der Austauschbarkeit: Adressiert via ACI zur Bewältigung von Agenten-Veröffentlichungen.
Versagen der bedingten Abdeckung: Adressiert via Mondrian Conformal mit $\sigma_{cross}$ -Stratifizierung, was die Zuverlässigkeit für volatile Agenten signifikant verbessert.
Zusammengesetzte Struktur: Adressiert via validierter Unsicherheits-Propagationsgrenzen für Pipelines.
Multiple Testing auf Leaderboard-Ebene: Adressiert via FDR-gesteuerter Abstinenz.

Die Arbeit zeigt, dass verteilungsfreie Methoden unter temporärer Nicht-Stationarität Standard-Resampling-Ansätzen (Bootstrap) überlegen sind. Indem Unsicherheit als primäres Output behandelt wird, ermöglicht das Framework eine vertrauenswürdigere, dynamischere und nuanciertere Bewertung von KI-Agenten und geht über statische Punktschätzungen hinaus hin zu einem probabilistischen Verständnis der Agentenqualität.

Von den Autoren anerkannte Einschränkungen:

ACI setzt begrenzte Verteilungsverschiebungen voraus; unbegrenzte Regimewechsel können die Konvergenz verletzen.
Zusammengesetzte Grenzen können unter negativer Inter-Stufen-Korrelation anti-konservativ sein.
FDR-Kontrolle setzt Unabhängigkeit oder positive Regressionsabhängigkeit unter den Teststatistiken voraus.
Die Ablationsstudie ( $n=11$ ) war unterpowered.
Die aktuelle NLP-Verarbeitung ist ausschließlich englischsprachig, und Closed-Source-Agenten fehlen Adoptionssignale.