🤖 AI

Consistency as a Testable Property: Statistical Methods to Evaluate AI Agent Reliability

Dieser Beitrag stellt ein rigoroses statistisches Rahmenwerk vor, das U-Statistiken und kernelbasierte Metriken nutzt, um zwischen den Kernfähigkeiten eines KI-Agenten und seiner Ausführungsrobustheit zu unterscheiden, und zeigt auf, dass Konsistenzmaße auf Trajektorienebene eine überlegene diagnostische Sensitivität gegenüber traditionellen Pass@1-Raten bieten, um Zuverlässigkeitsprobleme in hochriskanten Umgebungen zu identifizieren.

Ursprüngliche Autoren: Harsh Raj, Niranjan Orkat, Suvrorup Mukherjee, Aritra Guha, Cheryl Flynn, Subhabrata Majumdar

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Harsh Raj, Niranjan Orkat, Suvrorup Mukherjee, Aritra Guha, Cheryl Flynn, Subhabrata Majumdar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen hochintelligenten Roboterassistenten ein, um ein komplexes Rätsel zu lösen. Sie bitten ihn, eine bestimmte Art von Brücke zu bauen. Er erledigt dies perfekt. Sie sind zufrieden.

Doch dann stellen Sie exakt dieselbe Frage erneut, nur mit einer leicht abweichenden Formulierung: „Könnten Sie eine Brücke dieses spezifischen Designs konstruieren?" Anstatt die Brücke zu bauen, entscheidet der Roboter plötzlich, ein Boot zu bauen, oder gerät in Verwirrung und beginnt, die Baupläne zu essen.

Dies ist das Problem, das dieser Artikel angeht. Er argumentiert, dass allein die Tatsache, dass ein KI-Agent (ein Roboterassistent) einmal die richtige Antwort liefert, nicht bedeutet, dass er zuverlässig ist. Er könnte ein „One-Hit-Wonder" sein, der versagt, wenn Sie die Formulierung Ihrer Anfrage oder die Umgebung, in der er arbeitet, leicht verändern.

Hier ist eine Aufschlüsselung ihrer Lösung, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Launische Koch"

Die derzeitigen Methoden zum Testen von KI ähneln einem Restaurantkritiker, der nur ein einziges Gericht probiert. Wenn der Koch einmal ein perfektes Steak zubereitet, erhält er eine 5-Sterne-Bewertung. Doch was, wenn der Koch ein „launischer Koch" ist?

Wenn Sie das Steak „medium-rare" (rosa) bestellen, bereitet er es perfekt zu.
Wenn Sie es „medium rare" (mit einem Leerzeichen) bestellen, verbrennt er es.
Wenn Sie es in einer anderen Sprache bestellen, serviert er Ihnen Suppe.

Der Artikel sagt: Wir müssen testen, ob der Koch konsistent ist, nicht nur, ob er einmal kochen kann.

2. Die Lösung: Der „Konsistenztest"

Die Autoren entwickelten einen neuen statistischen „Fitness-Test" für KI-Agenten. Anstatt den KI-Agenten nur einmal eine Aufgabe ausführen zu lassen, bitten sie ihn, dieselbe Aufgabe viele Male zu erledigen, jedoch mit leichten, harmlosen Änderungen (wie das Ändern der Schriftart, das Hinzufügen eines Tippfehlers oder das Umformulieren des Satzes).

Sie messen zwei Dinge:

Das Ergebnis (Output-Konsistenz): Hat der KI-Agent jedes Mal dieselbe Antwort gegeben?
Der Weg (Trajektorien-Konsistenz): Hat der KI-Agent dieselben Schritte unternommen, um dorthin zu gelangen?

3. Die „Karte" vs. das „Ziel"

Dies ist die wichtigste Entdeckung des Artikels. Sie stellten fest, dass ein KI-Agent das richtige Ziel (die korrekte Antwort) erreichen kann, aber jedes Mal einen völlig anderen Weg (die unternommenen Schritte) nimmt.

Die Analogie: Stellen Sie sich vor, Sie bitten ein GPS um Wegbeschreibung zum Flughafen.
- Szenario A: Es gibt Ihnen jedes Mal dieselbe Route. (Konsistent)
- Szenario B: Es bringt Sie zum Flughafen, aber heute nimmt es die Autobahn, morgen die Nebenstraßen und am nächsten Tag fährt es durch einen Park. (Inkonsistent)

Der Artikel zeigt, dass herkömmliche Tests nur prüfen, ob Sie am Flughafen angekommen sind (Bestanden/Nicht bestanden). Ihr neuer Test prüft, ob das GPS eine zuverlässige Karte verwendet. Sie stellten fest, dass KI-Agenten, selbst wenn sie die richtige Antwort liefern, oft jedes Mal einen chaotischen, unterschiedlichen Weg nehmen, was für den Einsatz in der realen Welt gefährlich ist.

4. Der „Drift"-Detektor

Die Autoren entwickelten ein mathematisches Werkzeug (unter Verwendung von sogenannten „U-Statistiken" und „Kernen"), um diese „Drift" zu messen.

Kompositions-Drift: Hat der KI-Agent dieselben Werkzeuge verwendet? (z. B. Hat er einen Hammer und eine Säge verwendet oder einen Hammer und einen Löffel?)
Reihenfolge-Drift: Hat der KI-Agent die Dinge in derselben Reihenfolge erledigt? (z. B. Hat er das Holz vor dem Streichen geschnitten oder zuerst gestrichen?)

Sie stellten fest, dass KI-Agenten oft gut darin sind, die richtigen Werkzeuge auszuwählen (Komposition), aber schrecklich darin, sich an die Reihenfolge ihrer Verwendung zu erinnern (Reihenfolge). Wenn Sie die Umgebung leicht verändern (wie das Umbenennen einer Datei oder das Ändern einer Datenbankspalte), wählt der KI-Agent möglicherweise die richtigen Werkzeuge aus, verwendet sie aber in der falschen Reihenfolge, wodurch der gesamte Plan zusammenbricht.

5. Die „Zeitreise"-Diagnose

Der Artikel führt zudem eine clevere Methode ein, um zu untersuchen, wann der KI-Agent Fehler macht.

Front-loaded errors (Frühe Fehler): Der KI-Agent gerät sofort am Anfang in Verwirrung.
Back-loaded errors (Späte Fehler): Der KI-Agent beginnt gut, verliert aber am ganz Ende den Faden.

Sie stellten fest, dass einige KI-Agenten am Anfang tatsächlich recht stabil sind, aber am Ende zusammenbrechen. Dies ist wie ein Schüler, der eine großartige Einleitung für einen Aufsatz schreibt, aber die Schlussfolgerung völlig vergisst. Ihr neuer „gewichteter" Test kann diese spezifische Schwäche aufdecken, während alte Tests nur „Aufsatz nicht bestanden" sagen würden, ohne zu erklären, warum.

6. Die „Fehlerhafte Ausgabe"-Überraschung

In einem spezifischen Experiment baten sie einen KI-Agenten, Daten in einem anderen Format auszugeben (XML statt JSON). Der KI-Agent lieferte nicht nur die falsche Antwort; er brach völlig zusammen und produzierte Unfug, der nicht lesbar war. Dies zeigte, dass der KI-Agent nicht schlecht „schlussfolgerte"; er war lediglich stark auf ein Format (JSON) voreingenommen und konnte den Wechsel nicht bewältigen.

Zusammenfassung

Der Artikel behauptet, dass Konsistenz eine messbare, testbare Eigenschaft ist, die derzeit bei KI-Evaluierungen fehlt.

Alter Weg: „Hat es die richtige Antwort geliefert?" (Ja/Nein)
Neuer Weg: „Wenn wir dieselbe Frage 100 Mal auf 100 verschiedene Arten stellen, folgt es dann demselben Weg und erzielt dasselbe Ergebnis?"

Sie beweisen, dass viele KI-Agenten „brüchig" sind. Sie mögen auf einem Standardtest intelligent wirken, aber wenn Sie den Prompt leicht anpassen, bricht ihre interne Logik zusammen. Ihr neues Framework bietet Entwicklern die mathematischen Werkzeuge, um genau zu finden, wo und warum die KI versagt, damit sie die Architektur beheben können, bevor sie sie in hochriskanten Situationen wie im Gesundheitswesen oder im Finanzsektor einsetzen.

Kurz gesagt: Vertrauen Sie der KI nicht nur deshalb, weil sie einmal die richtige Antwort geliefert hat. Stellen Sie sicher, dass sie nicht in Panik gerät, wenn Sie die Schriftart Ihrer Frage ändern.

Technische Zusammenfassung: Konsistenz als testbare Eigenschaft

Problemstellung

Während Large Language Model (LLM)-Agenten in Bereichen von Softwareentwicklung bis hin zu komplexem Schlussfolgern bemerkenswerte Fähigkeiten unter Beweis gestellt haben, wird ihr Einsatz in hochriskanten Umgebungen durch mangelnde Verhaltenskonsistenz behindert. Im Gegensatz zu deterministischer Software weisen LLM-basierte Agenten bei semantisch äquivalenten Eingaben aufgrund von Stichprobenstochastik und Empfindlichkeit gegenüber oberflächlichen Prompt-Variationen erhebliche Varianzen in den Ausgaben auf. Aktuelle Evaluierungsmethoden konzentrieren sich primär auf Erfolgsquoten bei Aufgabenabschlüssen (z. B. pass@1) und Genauigkeit auf spezifischen Benchmarks. Diese Metriken erfassen jedoch nicht, ob Agenten bei Variationen in Eingabeformulierung, Kontext oder Ausführungsumgebungen kohärente und zuverlässige Ausgaben produzieren.

Die Arbeit hebt mehrere kritische Einschränkungen der aktuellen Agenten-Zuverlässigkeit hervor:

Fragilität gegenüber Störungen: Minimale Tippfehler oder Umschreibungen können zu signifikanten Einbußen bei der Genauigkeit des Chain-of-Thought-Schließens führen.
Empfindlichkeit gegenüber Werkzeugen: Agenten mit Zugriff auf mehrere Werkzeuge zeigen bei Änderungen von Werkzeugbeschreibungen oder Hinzufügen irrelevanter Werkzeuge ein unvorhersehbares Verhalten, wobei die Genauigkeit unter adversariellen Bedingungen nahe Null fällt.
Widersprüchliche Antworten: Agenten produzieren häufig widersprüchliche Antworten über verschiedene Gesprächsdurchgänge hinweg, insbesondere bei Kontextlängenbeschränkungen oder unzureichend spezifizierten Abfragen.
Benchmark-Kontamination: Die Leistung auf statischen Benchmarks (z. B. SWE-bench) lässt sich oft nicht auf kontinuierlich aktualisierte Varianten (z. B. SWE-bench-Live) übertragen, was auf ein Fehlen echter Robustheit hindeutet.

Bestehende Arbeiten fehlt ein standardisierter, rigoroser Rahmen, um Konsistenz auf Ebene der Agenten-Ausführungstrajektorien zu zerlegen und zu messen; der Fokus liegt oft nur auf den finalen Ausgaben.

Methodik

Die Autoren schlagen eine rigorose Messwissenschaft für die Zuverlässigkeit von KI-Agenten auf Basis statistischer Hypothesentests vor. Der Rahmen zerlegt Zuverlässigkeit in zwei Dimensionen: beobachtbar (auf Ausgabe-Ebene) und intern (auf Trajektorien-Ebene).

1. Ausgabe-Konsistenz via U-Statistiken

Um Konsistenz auf Ausgabe-Ebene zu messen, formalisieren die Autoren das Problem mittels U-Statistiken.

Aufbau: Gegeben ein Basis-Prompt $x_0$ und eine Menge semantisch äquivalenter, gestörter Varianten $x_1, \dots, x_n$ , produziert der Agent Ausgaben $y_0, \dots, y_n$ .
Metrik: Eine symmetrische Kernelfunktion $k(y_i, y_j)$ misst die Ähnlichkeit zwischen Paaren von Ausgaben (z. B. BLEU, ROUGE, Entailment oder LLM-basierte Richter).
Schätzer: Die Konsistenz wird durch die U-Statistik $U_n$ geschätzt, die ein erwartungstreuer Schätzer des Populationsparameters $\theta = E[k(Y, Y')]$ ist.
Hypothesentest: Der Rahmen testet die Nullhypothese $H_0: \theta = 1$ (perfekte Konsistenz) gegen $H_1: \theta < 1$ (Inkonsistenz). Die Sätze 1 und 2 belegen, dass unter spezifischen Annahmen (Verteilungsinvarianz und homogene Aufgabenverteilung) die Teststatistik asymptotisch einer Normalverteilung folgt, was Garantien für Größe (Kontrolle falsch-positiver Ergebnisse) und Power (Detektionssensitivität) bietet.

2. Trajektorien-Konsistenz via Kernel-Methoden

In Anerkennung dessen, dass Agenten sequenzielle Entscheidungsprozesse ausführen, erweitert sich der Rahmen auf Ausführungstrajektorien $\tau = (a_1, \dots, a_T)$ .

Stochastische Prozesse: Trajektorien werden als stochastische Prozesse mit variablen Längen und zeitlichen Abhängigkeiten behandelt.
Metrik: Die Autoren verwenden die Maximum Mean Discrepancy (MMD) in einem Reproducing Kernel Hilbert Space (RKHS), um den Abstand zwischen der Verteilung von Basis-Trajektorien und gestörten Trajektorien zu messen.
Kerne: Um Sequenzen von Aktionen variabler Länge zu handhaben, setzt die Arbeit folgende Methoden ein:
- Jensen-Shannon-Distanz (JSD): Misst Kompositionsdrift (Anteile der verwendeten Werkzeuge).
- Levenshtein-Distanz (LD): Misst Ordnungsdrift (Stabilität der Sequenz).
- Global Alignment Kernel (GAK): Ein positiv-definiter Kernel, der das Problem der Nicht-Positiv-Definitheit bei Editierdistanzen löst und einen statistisch gültigen Analogon für MMD bereitstellt.
Gewichtete Metriken: Um die Asymmetrie von Fehlern zu erfassen (wobei Abweichungen in späteren Phasen schwerwiegender sind als frühe Exploration), führen die Autoren gewichtete Levenshtein-Distanzen ein, die Editierkosten nach Position skalieren.

3. Umgang mit Multimodalität

Der Rahmen adressiert das Problem, dass für eine einzelne Aufgabe mehrere gültige Lösungsstrategien existieren können. Er schlägt einen zweistufigen Ansatz vor: (i) Identifizierung von Lösungsmodes mittels spektraler Clusterung auf der GAK-Matrix und (ii) Messung der Konsistenz innerhalb jedes Modes, um legitime Strategievielfalt von echter Instabilität zu unterscheiden.

Hauptbeiträge

Fundamentaler Rahmen: Die Arbeit etabliert einen prinzipiellen statistischen Rahmen zur Quantifizierung der Agenten-Konsistenz, der zwischen Kernfähigkeit und Ausführungsrobustheit unterscheidet.
Theoretische Strenge: Sie liefert formale Beweise für die asymptotische Normalität der vorgeschlagenen Teststatistiken (Sätze 1–3), was konservative Raten falsch-positiver Ergebnisse und hohe Power zur Detektion echter Inkonsistenzen sicherstellt.
Diagnostische Granularität: Durch die Zerlegung von Inkonsistenz in Kompositionsdrift (welche Aktionen ausgeführt werden) und Ordnungsdrift (wie sie sequenziert werden), deckt der Rahmen architektonische Schwächen auf, die für Ausgabe-only-Metriken unsichtbar sind.
Temporale Diagnostik: Die Einführung gewichteter Trajektorien-Metriken ermöglicht die Identifizierung, wann Agenten abweichen (früh- vs. spät-ladende Fehler), und bietet spezifische Hinweise für architektonische Korrekturen.

Experimentelle Ergebnisse

Der Rahmen wurde auf drei Agenten-Benchmarks validiert: SWE-bench Verified (Softwareentwicklung), Spider2-DBT (Daten transformation) und BFCL (Funktionsaufruf). Die Experimente umfassten die Anwendung von Prompt-Level-Störungen (Umschreibung, Rückübersetzung, Rauschen) und Task-Level-Störungen (Umgebungsänderungen, Schemaverschiebungen, Ablenkungswerkzeuge).

Hohe Genauigkeit maskiert Konsistenzfehler: Agenten behielten unter Prompt-Level-Störungen eine relativ hohe Ausgabe-Konsistenz (0,75–0,90) bei, zeigten jedoch unter Task-Level-Störungen signifikante Verschlechterungen.
Trajektorien-Metriken enthüllen verborgene Fehler:
- SWE-bench: Unter einer „linearen MCP"-Störung (Änderung der Informationsabrufmechanismen) brach die Genauigkeit von OpenHands+Kimi-K2 auf ca. 25 % ein, doch die Ausgabe-Konsistenz blieb bei 60 %. Die Trajektorien-Analyse zeigte, dass zwar die Werkzeugauswahl konsistent blieb (hohe JSD), die Reihenfolge der Aktionen jedoch signifikant degradierte (niedrige Levenshtein), was auf ein Versagen bei der Ausführungssequenzierung hindeutet.
- BFCL: Unter einer XML-Format-Störung sank die Genauigkeit von OpenHands+Kimi-K2 auf nahezu Null. Trajektorien-Metriken zeigten einen vollständigen Zusammenbruch sowohl in der Komposition als auch in der Ordnung und enthüllten eine fest codierte Abhängigkeit vom JSON-Parsing sowie die Unfähigkeit, gültiges XML zu generieren.
- Spider2-DBT: Codex zeigte unter Schemastörungen eine hohe Kompositions-Konsistenz, aber eine moderate Ordnungs-Konsistenz, was darauf hindeutet, dass der Agent bei gestörten Eingaben konsistent die falsche Antwort lieferte.
Stärke der Störung: Ablationsstudien zeigten, dass eine Erhöhung der Störungsstärke (z. B. mehrere Umschreibungs-Passes) zu graduellen Genauigkeitsabfällen führte, während spezifische strukturelle Änderungen (z. B. Einschleusen von totem Code) Sättigungseffekte zeigten, was darauf hindeutet, dass Agenten eindeutig ungenutzten Code ignorieren können.

Bedeutung und Behauptungen

Die Arbeit behauptet, die „mathematischen Werkzeuge zu liefern, um zu isolieren, wo und warum Agenten abweichen". Ihre Bedeutung liegt in der Verschiebung des Evaluierungsparadigmas von „Löst der Agent die Aufgabe?" zu „Löst der Agent die Aufgabe zuverlässig unter Variation?".

Diagnostische Sensitivität: Die Autoren demonstrieren, dass Konsistenzmetriken auf Trajektorien-Ebene eine weit größere diagnostische Sensitivität bieten als traditionelle pass@1-Raten und architektonische Sprödigkeit aufdecken, die Genauigkeitsmetriken verschleiern.
Bereitschaft für den Einsatz: Durch die Identifizierung spezifischer Fehlermodi (z. B. Sequenzierungsfehler vs. Werkzeugauswahlfehler) ermöglicht der Rahmen die Identifizierung und Behebung architektonischer Bedenken, was eine Voraussetzung für den Einsatz von Agenten in hochriskanten, realen Umgebungen ist.
Einschränkungen: Die Autoren räumen ein, dass ihr Ansatz auf der Annahme semantischer Äquivalenz bei Störungen beruht, was empirisch schwer zu validieren ist. Ferner behandelt die aktuelle Trajektorien-Analyse Aktionssequenzen als Einheit der Konsistenz und ignoriert intermediate Schlussfolgerungszustände oder Glaubensupdates, was Zugriff auf interne Modellzustände erfordern würde, die derzeit von Standard-Agenten-Frameworks nicht offengelegt werden.

Zusammenfassend bietet diese Arbeit eine rigorose, testbare Definition der Agenten-Zuverlässigkeit, die über einfache Erfolgsquoten hinausgeht und zu einem differenzierten Verständnis führt, wie Agenten unter Stress agieren, und damit eine Grundlage für den Aufbau robusterer KI-Systeme schafft.