📊 statistics

Black-Box Reliability Certification for AI Agents via Self-Consistency Sampling and Conformal Calibration

Diese Arbeit stellt ein Verfahren zur Black-Box-Reliability-Zertifizierung von KI-Agenten vor, das durch die Kombination von Self-Consistency-Sampling und konformer Kalibrierung eine einzelne, verteilungsunabhängige Zuverlässigkeitszahl mit exakten endlichen Stichproben-Garantien liefert, um die vertrauenswürdige Einsatzbereitschaft von Modellen auf verschiedenen Aufgaben zu quantifizieren.

Ursprüngliche Autoren: Charafeddine Mouzouni

Veröffentlicht 2026-02-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Charafeddine Mouzouni

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „Black-Box"-Koch

Stellen Sie sich vor, Sie haben einen genialen Koch (die KI), aber Sie dürfen nicht in seine Küche schauen. Sie wissen nicht, welche Zutaten er benutzt oder wie er kocht. Sie bestellen nur ein Gericht (eine Frage) und erhalten ein Essen (die Antwort).

Die große Frage ist: Wie sehr können Sie diesem Koch vertrauen?
Ist das Essen immer gut? Oder serviert er Ihnen manchmal versehentlich giftige Pilze, die er für Champignons hält?

Bisher gab es zwei schlechte Methoden, das herauszufinden:

Einmal probieren: Sie bestellen einmal. Wenn es schmeckt, ist alles gut. Aber vielleicht hatte der Koch einfach nur Glück.
Ein anderer Koch als Richter: Sie fragen einen zweiten Koch, ob das Essen gut ist. Aber dieser zweite Koch ist auch nicht perfekt; er mag vielleicht nur große Portionen oder schmeckt alles zu salzig. Sein Urteil ist also voreingenommen.

Die Lösung: Der „Selbst-Check" mit dem „Sicherheitsnetz"

Die Autoren dieses Papiers haben eine neue Methode entwickelt, die wie ein Sicherheitsnetz funktioniert. Sie nennen es „Reliability Certification" (Zertifizierung der Zuverlässigkeit).

Hier ist, wie es funktioniert, Schritt für Schritt:

1. Der „Selbst-Check" (Self-Consistency)

Statt nur einmal zu fragen, lassen Sie den KI-Koch 10-mal dasselbe Gericht kochen.

Szenario A: Der Koch kocht 10-mal genau dasselbe (z. B. 10-mal „Pizza"). Das ist ein gutes Zeichen! Er ist sich sicher.
Szenario B: Der Koch kocht 5-mal Pizza, 3-mal Pasta und 2-mal Sushi. Das ist ein schlechtes Zeichen! Er ist verwirrt und weiß nicht, was er soll.

Durch das Zählen, wie oft welche Antwort kommt, sehen Sie, wie „sicher" sich die KI fühlt, ohne in ihr Gehirn schauen zu müssen.

2. Der kleine Test mit dem Menschen (Kalibrierung)

Jetzt kommt der menschliche Teil. Ein Mensch schaut sich nur eine kleine, zufällige Auswahl (z. B. 50 Fragen) an.

Der Mensch sieht die Frage und die Antwort, die die KI am häufigsten gegeben hat.
Er sagt einfach: „Richtig" oder „Falsch".
Das ist viel schneller und billiger als jede Frage zu prüfen.

3. Die „Zuverlässigkeits-Nummer" (Das Ergebnis)

Aus diesem kleinen Test berechnet das System eine einzige Zahl: den Zuverlässigkeitswert (z. B. 94,6 %).

Was bedeutet das? Es bedeutet: „Wenn Sie diese KI einsetzen, können Sie zu 94,6 % sicher sein, dass die häufigste Antwort richtig ist."
Das Tolle daran: Diese Zahl ist mathematisch bewiesen. Es ist kein bloßes Gefühl. Es ist wie ein Siegel auf einer Verpackung, das garantiert: „Hier ist ein Fehler höchstens in 1 von 20 Fällen."

Warum ist das so clever? (Die Metaphern)

1. Das Sicherheitsnetz (Conformal Calibration)
Stellen Sie sich vor, Sie laufen auf einem Seil. Die herkömmlichen Methoden sagen: „Wir glauben, du fällst nicht."
Diese neue Methode sagt: „Wir haben ein Sicherheitsnetz unter dir gespannt. Selbst wenn du stolperst (die KI einen Fehler macht), fängt das Netz dich auf. Wir garantieren, dass das Netz zu 95 % funktioniert, egal wie ungeschickt du bist."
Das Netz ist so gebaut, dass es ehrlich ist. Wenn die KI wirklich schlecht ist, wird das Netz größer (sie geben mehrere mögliche Antworten als Antwort), statt eine falsche Antwort als „perfekt" zu verkaufen.

2. Der ehrliche Spiegel
Wenn die KI eine Frage nicht lösen kann (weil sie zu schwer ist), sagt das System nicht: „Ich weiß es nicht, aber ich rate mal."
Stattdessen sagt es: „Hey, bei dieser Frage kann ich dir keine einzige Antwort geben, die ich zu 100 % garantiere. Ich muss dir eine Liste von 5 Möglichkeiten geben."
Das ist wie ein ehrlicher Freund, der sagt: „Ich bin mir bei diesem Thema nicht sicher, also schau dir bitte mehrere Quellen an." Das ist viel besser als ein Lügner, der eine falsche Antwort als Wahrheit verkauft.

3. Geld sparen (Sequential Stopping)
Normalerweise müssten Sie den Koch 10-mal fragen, um sicher zu sein. Aber die Methode ist schlau:

Wenn der Koch beim 3. Versuch schon 3-mal „Pizza" gesagt hat und beim 4. auch, dann ist klar: Er macht Pizza. Sie müssen nicht bis 10 zählen.
Das System stoppt früh, wenn es sicher ist. Das spart bis zu 50 % der Kosten (API-Aufrufe), weil man nicht unnötig oft fragt.

Das Fazit für den Alltag

Stellen Sie sich vor, Sie wollen eine neue KI für Ihren Kundenservice kaufen.

Früher: Sie haben 100 Fragen gestellt, der Anbieter hat gesagt „Die ist super!", und Sie haben sie gekauft. Dann hat sie plötzlich angefangen, Kunden zu beleidigen.
Mit dieser Methode: Sie lassen die KI 100 Fragen beantworten, prüfen nur 50 davon manuell und erhalten ein Zertifikat: „Diese KI ist zu 94,6 % zuverlässig für Mathematik, aber nur zu 66 % für allgemeine Fragen."

Sie können dann entscheiden: „Okay, für Mathematik nehmen wir sie. Für allgemeine Fragen suchen wir eine bessere."

Es ist wie ein Prüfsiegel für KI, das Ihnen nicht nur sagt, ob sie gut ist, sondern Ihnen genau sagt, wie viel Vertrauen Sie ihr schenken dürfen – und das ohne, dass Sie die Geheimnisse der KI kennen müssen.

1. Problemstellung

Die zentrale Frage, die das Paper adressiert, lautet: Mit welchem Vertrauensniveau kann ein Praktiker die Ausgabe eines Black-Box-KI-Systems (z. B. eines LLM) für eine bestimmte Aufgabe vertrauen?

Herkömmliche Evaluierungsmethoden leiden unter spezifischen Mängeln:

Einzel-Stichproben-Evaluierung: Ist zwar unverzerrt (unbiased), aber hochvarianzbehaftet (noisy).
Naive Self-Consistency (Mehrheitsvoting): Reduziert die Varianz, kann aber systematische Fehler (Bias) verstärken. Wenn das Modell systematisch falsch liegt, wird die falsche Antwort durch mehr Samples „sicherer" (Stable Hallucination).
LLM-as-a-Judge: Leidet unter irreduziblen Verzerrungen (z. B. Positions-Bias, Vorliebe für ausführliche Antworten) und bietet keine formalen Garantien für die Zuverlässigkeit.

Es fehlt eine Methode, die sowohl Varianz als auch Bias kontrolliert, keine Annahmen über die Datenverteilung trifft und keinen Zugriff auf die Modellinternen (Weights, Logits) benötigt.

2. Methodik

Das vorgeschlagene Framework kombiniert zwei Hauptkomponenten: Self-Consistency Sampling und Conformal Prediction.

A. Self-Consistency Sampling & Canonicalization

Sampling: Für eine Eingabe $x$ wird das KI-System $K$ -mal (z. B. $K=10$ ) aufgerufen, um eine Verteilung von Antworten zu erhalten.
Canonicalization: Rohantworten werden in kanonische Klassen überführt (z. B. „42", „42.0", „vierundzwanzig" $\to$ Klasse „42"). Dies kann deterministisch (Code-Ausführung, Regex) oder über ein leichtes LLM erfolgen.
Ranking: Die kanonischen Antworten werden nach ihrer Häufigkeit sortiert. Der häufigste Kandidat ist der „Mode".

B. Conformal Calibration (Die Kerninnovation)

Anstatt nur den Top-Antwort zu bewerten, wird ein Vorhersagemenge (Prediction Set) $S(x)$ erstellt, das die Top- $M$ Antworten enthält.

Nonconformity Score: Der Score $s(x, y)$ $s (x, y)$ für ein Kalibrierungsitem ist der Rang der korrekten Antwort innerhalb der sortierten Liste der Self-Consistency-Samples.
- Ist die korrekte Antwort der Top-1-Match, ist der Score 1 (niedrig).
- Ist sie weit hinten, ist der Score hoch.
Kalibrierung: Anhand eines kleinen Kalibrierungsdatensatzes ( $n \approx 50-100$ Items), bei dem ein Mensch die Korrektheit der Top-Antwort prüft, wird ein Schwellenwert $M^*$ berechnet. Dieser Schwellenwert garantiert, dass die korrekte Antwort mit einer Wahrscheinlichkeit von mindestens $1-\alpha$ in der Menge $S(x)$ enthalten ist.
Reliability Level: Das Paper definiert eine einzige Kennzahl pro Modell-Aufgabe-Paar: das Verlässlichkeitsniveau ( $1-\alpha^*$ ). Dies ist der höchste Konfidenzwert, bei dem das Modell die Bedingung erfüllt, dass der Top-1-Match (Mode) allein ausreicht, um die korrekte Antwort mit der gewünschten Sicherheit zu liefern.

3. Schlüsselbeiträge

Verlässlichkeitszertifizierung (Reliability Level):
- Eine einzelne, handlungsorientierte Zahl pro Agent-Aufgabe-Paar (z. B. „94,6% Verlässlichkeit auf GSM8K").
- Dient als „Deployment Gate": Ein Praktiker kann direkt ablesen, welche Modelle eine geforderte Verlässlichkeitsschwelle erfüllen.
- Bietet exakte, endliche Stichproben-Garantien ohne Verteilungsannahmen (Distribution-Free).
Black-Box Nonconformity Score:
- Der Score basiert ausschließlich auf externen Stichprobenhäufigkeiten, nicht auf internen Logits. Dies macht die Methode für proprietäre APIs (wie GPT-4) anwendbar.
- Die Methode nutzt die Varianzreduktion durch Aggregation, behält aber die Gültigkeit der konformen Vorhersage bei.
Theoretische Garantien:
- Bias-Immunität: Die Coverage-Garantie gilt unabhängig von der systematischen Verzerrung des Agenten. Wenn das Modell schlecht ist, wird dies nicht durch eine falsche hohe Genauigkeit verschleiert, sondern durch größere Vorhersagemengen (z. B. $M^*=8$ statt $M^*=1$ ) sichtbar gemacht.
- Fehlergrenze: Der Fehler der Coverage-Schätzung ist durch $1/(n+1)$ begrenzt (z. B. $\le 0,002$ für $n=500$ ).
- Diagnostik: Wenn die Coverage unter das Ziel fällt, liegt dies nicht an einem Kalibrierungsfehler, sondern daran, dass das Modell einen bestimmten Anteil der Fragen prinzipiell nicht lösen kann (unlösbare Items).
Sequentielles Sampling:
- Ein Hoeffding-basierter Stopp-Algorithmus erlaubt es, das Sampling frühzeitig zu beenden, wenn der Konsens klar ist. Dies reduziert die API-Kosten um ca. 50%, ohne die Coverage zu beeinträchtigen.

4. Ergebnisse

Die Methode wurde an fünf Benchmarks (HumanEval, TruthfulQA, BigBench, GSM8K, MMLU) und mit fünf Modellen (GPT-4.1-Familie, Llama 4 Maverick, Mistral Small) evaluiert.

Coverage-Garantien: Auf lösbaren Items (wo das Modell prinzipiell die Antwort kennt) liegt die bedingte Coverage (Conditional Coverage) bei > 0,93 über alle Konfigurationen hinweg.
Vergleich mit Baselines:
- Auf mehrdeutigen Aufgaben (z. B. BigBench) übertrifft die konforme Coverage die Genauigkeit von „LLM-as-a-Judge" (0,792 vs. 0,736), da der Judge-Bias hier nicht durch mehr Samples eliminiert werden kann.
- Bei klaren Aufgaben (GSM8K) sind beide Methoden gut, aber die konforme Methode liefert eine formale Garantie.
Modell-Differenzierung: Schwächere Modelle erhalten niedrigere Verlässlichkeitswerte (nicht nur niedrigere Genauigkeit).
- Beispiel: GPT-4.1 erreicht 94,6% auf GSM8K, während GPT-4.1-nano nur 89,8% erreicht.
- Auf MMLU erreicht GPT-4.1-nano nur 66,5%, was die Unfähigkeit des Modells für diese Aufgabe transparent macht.
Kosten: Durch sequentielles Stopp-Verhalten sinkt der API-Aufwand von $K=20$ auf durchschnittlich $\approx 10$ Samples pro Frage.

5. Bedeutung und Fazit

Dieses Paper stellt einen Paradigmenwechsel in der Evaluierung von KI-Agenten dar:

Von „Accuracy" zu „Reliability": Statt nur zu fragen „Wie oft ist es richtig?", wird gefragt „Wie sicher kann ich sein, dass es richtig ist?".
Transparenz statt Verschleierung: Systematische Fehler des Modells werden nicht durch einen „Judge" kaschiert, sondern durch die Größe der Antwortmenge offengelegt. Ein großes Set signalisiert Unsicherheit oder Unfähigkeit.
Praktische Anwendbarkeit: Die Methode ist vollständig black-box-fähig, benötigt nur einen kleinen menschlichen Kalibrierungsaufwand (50–100 Items) und liefert eine einzelne, vergleichbare Metrik für Deployment-Entscheidungen.
Robustheit: Die Garantie gilt auch dann, wenn das Modell „halluziniert" oder systematisch falsch liegt; das System gibt dann einfach eine große Unsicherheitsmenge aus, anstatt eine falsche Sicherheit vorzutäuschen.

Zusammenfassend bietet das Framework ein mathematisch fundiertes Werkzeug, um Black-Box-KI-Systeme sicher und nachvollziehbar in kritischen Anwendungen einzusetzen.