🤖 AI

Adaptive auditing of AI systems with anytime-valid guarantees

Dieser Beitrag stellt einen adaptiven Auditierungsrahmen für generative KI-Systeme vor, der Safe Anytime-Valid Inference (SAVI) und einen Ansatz des „Testens durch Wetten" nutzt, um statistisch strenge, jederzeit gültige Garantien für die Robustheit von Modellen mit deutlich weniger Beobachtungen als herkömmliche Methoden zu liefern.

Ursprüngliche Autoren: Siyu Zhou, Patrick Vossler, Venkatesh Sivaraman, Yifan Mai, Jean Feng

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Siyu Zhou, Patrick Vossler, Venkatesh Sivaraman, Yifan Mai, Jean Feng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind Qualitätskontrolleur für einen neuen, superschlauen Roboter-Koch. Sie möchten wissen, ob dieser Koch wirklich „robust" ist – also ob er eine perfekte Mahlzeit zubereiten kann, egal welche Zutaten Sie ihm vorsetzen, oder ob er geheime Schwachstellen hat (wie etwa, dass er Toast verbrennt, wenn das Brot leicht altbacken ist)?

Das Problem ist, dass das Überprüfen jeder einzelnen möglichen Zutatenkombination ewig dauert und ein Vermögen kostet. Entscheiden Sie sich daher, anstatt alles zu prüfen, zu einem intelligenten, adaptiven Kontrolleur. Sie betrachten die vergangenen Fehler des Roboters, erraten, wo er als Nächstes scheitern könnte, und testen nur diese tückischen Stellen.

Diese Arbeit stellt eine neue, mathematisch rigorose Methode vor, dies genau so zu tun, ohne die Regeln der Statistik zu brechen. So funktioniert es, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: „Spähen" bricht die Regeln

In der traditionellen Wissenschaft müssen Sie, wenn Sie eine Hypothese testen wollen, im Voraus genau festlegen, wie viele Tests Sie durchführen und welche. Wenn Sie sich mitten im Prozess umdenken (z. B. „Oh, dieser Test sieht interessant aus, machen wir noch einen!"), riskieren Sie, sich selbst zu täuschen und zu glauben, ein Problem gefunden zu haben, obwohl keines existiert. Dies wird „Spähen" genannt und zerstört normalerweise die Mathematik.

Aber in der realen Welt müssen KI-Auditoren spähen. Sie müssen ihre Tests basierend auf dem, was sie sehen, anpassen. Die Autoren sagen: „Okay, lassen Sie uns aufhören zu tun, als könnten wir nicht spähen. Lassen Sie uns ein neues Regelbuch erstellen, das Spähen erlaubt, aber die Mathematik ehrlich hält."

2. Die Lösung: Ein „Duell"-Spiel

Die Autoren schlagen vor, das Audit als Spiel zwischen zwei Spielern zu betrachten: Das Modell (der Roboter-Koch) und der Auditor (Sie, der Kontrolleur).

Spieler 1: Die Behauptung des Modells (Die Hypothese „Ich bin perfekt")
Das Modell sagt: „Ich bin robust! Ich kann jede Gruppe von Zutaten bewältigen, die Sie mir vorsetzen. Es gibt keine Schwachstellen."
- Ziel: Wenn Sie auch nur eine Gruppe finden, bei der der Roboter versagt, gewinnen Sie (Sie lehnen die Behauptung des Modells ab).
Spieler 2: Die Behauptung des Auditors (Die Hypothese „Ich kann einen Fehler finden")
Der Auditor sagt: „Ich habe eine Strategie. Wenn ich lange genug teste, werde ich schließlich eine Schwachstelle finden."
- Ziel: Wenn Ihnen die Zeit oder Ressourcen ausgehen und Sie immer noch keinen Fehler finden, gewinnen Sie (Sie lehnen die Behauptung des Auditors ab, was bedeutet, dass der Roboter Ihr spezifisches Audit bestanden hat).

Der magische Twist:
Normalerweise sind diese beiden Behauptungen keine perfekten Gegensätze. Aber die Autoren beweisen, dass, wenn der Auditor intelligent genug ist (asymptotisch konsistent), diese beiden Behauptungen perfekte Spiegelbilder voneinander werden.

Wenn das Modell wirklich perfekt ist, wird der Auditor schließlich aufgeben und sagen: „Ich kann keinen Fehler finden."
Wenn das Modell einen Fehler hat, wird der intelligente Auditor ihn schließlich finden.

Dies verwandelt das Audit in einen binären Schalter: Entweder ist der Roboter global robust, oder er ist es nicht.

3. Der Mechanismus: „Testen durch Wetten"

Wie hält man die Mathematik ehrlich, während man späht? Die Autoren verwenden ein Konzept namens „Sichere, jederzeit gültige Inferenz" (Safe Anytime-Valid Inference, SAVI), das sie als „Testen durch Wetten" beschreiben.

Stellen Sie sich vor, Sie sind ein Spieler in einem Casino:

Das Haus (Die Nullhypothese): Das Casino behauptet, das Spiel sei fair (der Roboter ist robust).
Der Spieler (Der Auditor): Sie wetten gegen das Casino. Sie setzen Geld darauf, dass der Roboter beim nächsten von Ihnen gewählten Testfall versagen wird.
Die Regel: Wenn das Haus tatsächlich fair ist (der Roboter ist perfekt), sollten Sie niemals in der Lage sein, Ihr Geld konsistent zu verdoppeln. Ihr „Vermögen" (ein statistischer Score, genannt e-Prozess) sollte niedrig bleiben.
Der Gewinn: Wenn es Ihnen trotzdem gelingt, ein hohes „Vermögen" anzusammeln (Ihr Score überschreitet einen hohen Schwellenwert), beweist dies, dass das Haus manipuliert ist (der Roboter hat einen Fehler).

Aufgrund der Mathematik hinter „e-Prozessen" können Sie zu jedem beliebigen Zeitpunkt mit dem Wetten aufhören. Wenn Ihr Vermögen hoch ist, können Sie sofort aufhören und sagen: „Ich gewinne, der Roboter ist kaputt!", ohne sich Sorgen machen zu müssen, dass Sie durch Spähen betrügt haben.

4. Die Ergebnisse: Schneller und intelligenter

Die Autoren haben diese Methode auf zwei Arten getestet:

Simulierte Daten: Sie erstellten gefälschte KI-Szenarien mit bekannten Fehlern. Ihre „Wett"-Methode fand die Fehler viel schneller (manchmal mit nur 20 Tests) als traditionelle Methoden, die vorab geplante, starre Tests erforderten.
Echte medizinische KI: Sie testeten eine KI, die Arztberichte liest, um soziale Probleme (wie Obdachlosigkeit oder psychische Gesundheit) zu finden. Ihre Methode identifizierte erfolgreich, dass die KI bei bestimmten Kategorien (wie „Patientenkontakte") schlecht war, und beendete das Audit schnell, sobald der Fehler bestätigt war.

Zusammenfassung

Diese Arbeit gibt KI-Auditoren einen „sicheren" Weg, flexibel zu sein. Anstatt gezwungen zu sein, an einem starren, vorab geschriebenen Skript festzuhalten, können Auditoren nun adaptiv in Echtzeit nach Schwachstellen jagen. Sie verwenden ein „Wett"-System, das garantiert: Wenn Sie einen Fehler finden, ist es ein echter Fehler. Wenn Sie nach einer rigorosen Suche keinen finden, ist das System wahrscheinlich robust.

Es verwandelt den chaotischen Prozess des „Versuchens, eine KI zu brechen" in ein mathematisch fundiertes Spiel, bei dem Sie aufhören können, sobald Sie eine definitive Antwort haben.

Technisches Fazit: Adaptive Prüfung von KI-Systemen mit jederzeit gültigen Garantien

Problemstellung

Die Charakterisierung von Fehlermodi in generativen KI-Systemen wird derzeit durch die hohen Kosten und den Zeitaufwand für Annotation und Evaluation behindert. Folglich haben Praktiker adaptive Testparadigmen eingeführt, bei denen Testfälle und Stichprobengrößen opportunistisch basierend auf vergangenen Ergebnissen bestimmt werden (z. B. Red-Teaming, aktives Lernen oder menschliche Nachbesserung im Loop). Obwohl diese Arbeitsabläufe praktisch sind, verletzen sie klassische statistische Annahmen: Die Stichprobengrößen sind oft klein (10–50 Fälle), und Entscheidungen bezüglich der Stichprobenziehung oder des Stoppens werden dynamisch getroffen, anstatt über vorab festgelegte Regeln.

Die Standardstatistische Inferenz beruht auf festen Stichprobenplänen und großen Stichproben-Asymptotiken. Die Anwendung dieser auf adaptive Tests führt zu einer Aufblähung der Fehlerwahrscheinlichkeit 1. Art (z. B. „p-hacking" durch kontinuierliches Nachschauen) und erschwert die genaue Definition der zu testenden Hypothese. Insbesondere garantiert das Bestehen einer gezielten, adaptiven Testsuite nicht inhärent eine globale Robustheit, und das Fehlen eines vorab festgelegten Stichprobenplans erlaubt keine Prüfung der Durchschnittsleistung. Es besteht eine kritische Lücke in statistischen Rahmenwerken, die eine rigorose Inferenz unter beliebiger adaptiver Stichprobenziehung und optionalem Stopp mit Garantien für endliche Stichproben unterstützen können.

Methodik

Die Autoren schlagen einen Rahmen vor, der die KI-Robustheitsprüfung durch zwei „duellierende" Hypothesentests formalisiert und Safe Anytime-Valid Inference (SAVI) nutzt, um statistische Garantien zu bieten.

1. Rahmen duellierender Hypothesen
Die Prüfung wird als Wettbewerb zwischen zwei Nullhypothesen formuliert:

Die Nullhypothese des Modells ( $H_{mod}^0$ ): Behauptet, dass das KI-System global robust ist. Formal gilt für alle Untergruppen $S$ mit einer Prävalenz $\mu(S) \ge \epsilon$ , dass die durchschnittliche Leistung $V(S)$ über einem Zielwert $q$ liegt. Eine Ablehnung impliziert die Existenz eines Fehlermodus.
Die Nullhypothese des Prüfers ( $H_{aud}^0$ ): Behauptet, dass der Prüfer über eine spezifische adaptive Strategie $\pi$ verfügt, die letztendlich einen Fehlermodus aufdecken wird. Formal existiert ein Zeitpunkt $\tau$ , sodass für alle $t \ge \tau$ die ausgewählten Untergruppen $S_t^\pi$ eine Leistung unterhalb von $q$ aufweisen. Eine Ablehnung impliziert, dass die Prüfung bestanden wurde (der Prüfer hat keinen Fehlermodus gefunden).

Der Artikel beweist, dass unter einer asymptotisch konsistenten Prüfstrategie (einer, die bei Existenz von Fehlermodi konvergiert, diese zu finden), diese beiden Nullhypothesen asymptotische Komplemente sind. Somit zertifiziert die Ablehnung der Nullhypothese des Prüfers effektiv die globale Robustheit.

2. Testen durch Wetten und E-Prozesse
Um beliebige adaptive Stichprobenziehung und optionales Stopp zu handhaben, nutzen die Autoren den Rahmen des „Testens durch Wetten". Der Prüfer wird konzeptionell als Wetten gegen Untergruppen verstanden, die als Fehlermodi verdächtig sind. Unter der Nullhypothese sollte keine Wettstrategie einen Gewinn erzielen.

E-Prozesse: Der Wettvermögen wird über E-Prozesse verfolgt, die sequenzielle Analoga zu p-Werten sind. Ein E-Prozess $(E_t)$ stellt sicher, dass für jede Stoppzeit $\tau$ unter der Nullhypothese $E_P[E_\tau] \le 1$ gilt.
Kontrolle der Fehlerwahrscheinlichkeit 1. Art: Durch die Ville-Ungleichung garantiert das Stoppen, sobald ein E-Prozess $1/\alpha$ überschreitet, eine Fehlerwahrscheinlichkeit 1. Art von höchstens $\alpha$ , unabhängig von der adaptiven Stichprobenstrategie oder dem Zeitpunkt des Teststopps.

3. Spezifische Teststatistiken
Die Autoren schlagen mehrere Formulierungen von E-Prozessen für beide Hypothesen vor:

Likelihood-Verhältnis (LR): Basierend auf dem Sequential Probability Ratio Test (SPRT), der die Likelihood des beobachteten Scores unter der Fehlerhypothese ( $q-\delta$ ) mit der unter der Nullhypothese ( $q$ ) vergleicht.
Universelle Inferenz (UI): Eine adaptive Version, bei der die Alternativwahrscheinlichkeit aus den Daten geschätzt wird (z. B. $\hat{\gamma}_{t-1}$ ) statt fest vorgegeben zu sein, wodurch das „Wetten" basierend auf gelernten Fehlerraten optimiert wird.
Shiryaev-Roberts (SR) Erweiterungen: Diese integrieren Changepoint-Erkennung, um Szenarien zu handhaben, in denen der Prüfer eine „Lernphase" benötigt, bevor ein Fehlermodus identifiziert wird. Sie summieren Likelihood-Verhältnisse ausgehend von allen möglichen Changepoints und sichern sich gegen unbekannte Verzögerungen ab.

4. Duales Testverfahren
Der Rahmen führt simultane E-Prozesse für $H_{mod}^0$ und $H_{aud}^0$ aus. Das Verfahren stoppt, sobald eine der Statistiken $1/\alpha$ überschreitet. Da die beiden Nullhypothesen sich gegenseitig ausschließen (unter der Annahme einer gültigen Prüfstrategie), ist eine Bonferroni-Korrektur unnötig; die Family-Wise Error Rate (FWER) wird auf dem Niveau $\alpha$ kontrolliert.

Hauptbeiträge

Formalisierung duellierender Hypothesen: Der Artikel etabliert einen theoretischen Rahmen, in dem die KI-Prüfung als Testen der Nullhypothese des Modells gegen die Nullhypothese des Prüfers definiert wird. Er beweist, dass diese Tests mit einem hinreichend leistungsfähigen (asymptotisch konsistenten) Prüfer asymptotische Komplemente sind, was binäre Schlussfolgerungen über die globale Robustheit ermöglicht.
Duale Safe Anytime-Valid Verfahren: Die Autoren führen duale E-Prozesse ein, die Stoppgrenzen sowohl für die Erkennung von Fehlermodi als auch für die Prüfzertifizierung bieten. Diese Verfahren behalten die Kontrolle der Fehlerwahrscheinlichkeit 1. Art für endliche Stichproben unter beliebiger adaptiver Stichprobenziehung und optionalem Stopp bei.
Empirische Validierung: Die Studie zeigt, dass adaptives Testen in Kombination mit E-Prozessen rigorose Schlussfolgerungen signifikant schneller erreicht als vorab festgelegte Methoden. In einigen Fällen werden statistisch valide Schlussfolgerungen mit nur 20 Beobachtungen erreicht.

Experimentelle Ergebnisse

Der Rahmen wurde in zwei Szenarien evaluiert:

Semi-synthetische Daten (GPQA-Datensatz): Die Autoren simulierten KI-Pipelines mit unterschiedlichen Graden von Leistungsverschlechterung über Untergruppen hinweg.
- Leistung: Das SR-LR-UI-Verfahren (Shiryaev-Roberts mit universeller Inferenz) erzielte die höchste Power bei der Erkennung von Fehlermodi.
- Vergleich: Adaptive Strategien schnitten deutlich besser ab als vorab festgelegte Strategien (Stratifiziert und Vor-gelernt). Vorab festgelegte Strategien versagten oft bei der Erkennung von Fehlermodi, was zu einer hohen Rate der Ablehnung der Nullhypothese des Prüfers (Bestehen der Prüfung) führte, selbst wenn das System nicht robust war – ein Risiko der Fehlinterpretation.
- Orakel: Ein Orakel-Prüfer (der den wahren Fehlermodus kennt) konnte die Nullhypothese in 15–25 Beobachtungen ablehnen, was darauf hindeutet, dass intelligentere Prüfstrategien den Stichprobenbedarf weiter reduzieren könnten.
- Fehlerkontrolle: Wenn kein Fehlermodus existierte, bestanden alle Methoden die Prüfung korrekt (Ablehnung von $H_{aud}^0$ ), ohne fälschlicherweise Fehler zu erkennen, was die Kontrolle der Fehlerwahrscheinlichkeit 1. Art bestätigte.
Echte LLM-Pipeline (Klinische Notizen): Der Rahmen wurde auf ein LLM angewendet, das Soziale Determinanten der Gesundheit (SDoH) aus klinischen Notizen extrahierte.
- Adaptives Lernen: Der adaptive Prüfer lernte erfolgreich, Kategorien mit niedriger Genauigkeit zu überproportional zu beproben (Spearman $\rho = -0.84$ zwischen Stichprobenhäufigkeit und Genauigkeit).
- Effizienz: SR-LR-UI benötigte im Vergleich zu anderen Methoden die wenigsten Stichproben, um die Nullhypothese des Modells abzulehnen (Erkennung, dass das System nicht robust war), mit Ausnahme des Orakels.

Bedeutung und Behauptungen

Der Artikel behauptet, den ersten statistischen Rahmen bereitzustellen, der was getestet werden kann und wie es unter hochflexiblen, gezielten KI-Prüfregimen getestet werden soll, formalisiert. Durch die Entkopplung der statistischen Validität von der Stichprobenstrategie ermöglicht er Praktikern den Einsatz adaptiver, ressourceneffizienter Tests (z. B. Red-Teaming, aktives Lernen), ohne die statistische Strenge zu opfern.

Die Autoren betonen, dass die Gültigkeit der Schlussfolgerung „globale Robustheit", obwohl der Rahmen beliebige Strategien unterstützt, von der Leistungsfähigkeit des Prüfers abhängt. Wenn der Prüfer schwach ist (z. B. schlechtes Red-Teaming), kann die Prüfung bestanden werden, selbst wenn Fehlermodi existieren. Dies spiegelt Bedenken wider, dass schlecht gestaltete Prüfungen zu „Sicherheits-Theater" werden können. Die Arbeit zielt darauf ab, Praktiker zu befähigen, die KI-Robustheit selbstbewusst zu bewerten, indem sie eine allgemeine statistische Grundlage für gängige, moderne Prüfpraktiken bereitstellt.