🤖 AI

Towards AI epidemiology: a measurement standardisation framework for prospective risk detection

Dieses Konzeptpapier schlägt ein Framework zur Messstandardisierung vor, um eine „KI-Epidemiologie“ zur prospektiven Risikoerkennung in eingesetzten KI-Systemen zu ermöglichen, indem eine Grammatik und ein statistisches Protokoll definiert werden, um die Zuverlässigkeit von Experten-KI-Interaktionsbewertungen zu validieren und eine Grundlage für zukünftige Governance und epidemiologische Studien zu schaffen.

Ursprüngliche Autoren: Kit Tempest-Walters

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kit Tempest-Walters

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Manager eines geschäftigen Krankenhauses, einer Bank oder einer Anwaltskanzlei. Sie haben ein Team aus unglaublich klugen, schnellen, aber unsichtbaren Assistenten (KI-Modellen) eingestellt, um Ihren Experten bei Entscheidungen zu helfen. Das Problem ist, dass diese Assistenten „Black Boxes“ sind. Sie können sehen, was sie sagen, aber Sie haben keine Ahnung, wie sie im Inneren denken. Manchmal geben sie großartige Ratschläge; manchmal geben sie gefährliche oder regelwidrige Ratschläge, und Sie wissen es erst, wenn es zu spät ist.

Dieses Paper schlägt einen neuen Weg vor, diese unsichtbaren Assistenten zu steuern, ohne deren „Gehirne“ öffnen zu müssen. Es schlägt ein System vor, das KI-Epidemiologie genannt wird.

Hier ist die Aufschlüsselung der Ideen des Papers unter Verwendung einfacher Analogien:

1. Das Problem: Wir können nicht in die Maschine hineinsehen

Derzeit versuchen Wissenschaftler, KI zu verstehen, indem sie deren internen Code untersuchen (so als würde man versuchen, einen Automotor zu verstehen, indem man ihn in Einzelteile zerlegt). Das Paper nennt dies „Korrespondenz-basierte Interpretierbarkeit“. Aber da KI immer größer wird, wird dies unmöglich. Der Motor ist zu komplex, und die Teile sind zu sehr miteinander verstrickt.

Die Lösung des Papers: Anstatt zu versuchen zu verstehen, wie der Motor funktioniert, lassen Sie uns einfach beobachten, was das Auto tut und wie der Fahrer darauf reagiert. Wir müssen nicht die Mechanik kennen, um zu wissen, ob das Auto sicher fährt.

2. Die Kernidee: Das „Verkehrspolizisten“-System

Die Autoren schlagen ein Framework vor, das wie ein Verkehrspolizist fungiert, der neben jeder Interaktion zwischen einem menschlichen Experten und der KI steht.

Jedes Mal, wenn ein Experte der KI eine Frage stellt und eine Antwort erhält, zeichnet das System automatisch drei Dinge in einem standardisierten „Zeugnis“ auf:

Die Mission: Was war die Frage? (z. B. „Soll ich diesen Kredit genehmigen?“)
Das Fazit: Was hat die KI gesagt? (z. B. „Lehne den Kredit ab.“)
Die Begründung: Warum hat die KI das gesagt? (z. B. „Der Kredit-Score ist zu niedrig.“)

Das System gibt diesem Zeugnis dann zwei Bewertungen:

Richtlinienkonformität (Policy Alignment): Folgt diese Antwort den Regeln des Unternehmens?
Evidenzkonformität (Evidential Alignment): Basiert die Argumentation der KI auf echten Fakten oder erfindet sie Dinge dazu?

3. Der „Richter“, der auch eine KI ist (Das zirkuläre Problem)

Sie könnten fragen: „Wer bewertet das Zeugnis?“
Das Paper gibt ein amüsantes Problem zu: Sie verwenden eine andere KI (ein Large Language Model), um die Antworten der ersten KI zu bewerten. Es ist, als würde man einen zweiten unsichtbaren Assistenten einstellen, um die Arbeit des ersten zu überprüfen.

Wie sie das lösen: Sie lassen die „Richter-KI“ nicht einfach nur raten. Sie geben ihr eine strikte Rubrik (eine Checkliste), zwingen sie, die offiziellen Regelwerke (Referenzdokumente) zu beachten, und lassen sie Schritt für Schritt nachdenken, bevor sie eine Bewertung abgibt. Sie führen zudem Tests durch, um sicherzustellen, dass die „Richter-KI“ nicht einfach ein „Ja-Sager“ ist (allem zustimmt) oder lange Antworten nur deshalb mag, weil sie lang sind.

4. Die „Epidemiologie“-Analogie

Dies ist der kreativste Teil des Papers. Die Autoren vergleichen ihr System mit der öffentlichen Gesundheits-Epidemiologie.

Der alte Weg (Mechanismus): In der Vergangenheit wussten Ärzte nicht, warum Rauchen Krebs verursacht. Sie kannten nicht die molekulare Biologie. Aber sie bemerkten ein Muster: Jeder, der rauchte, wurde krank. Sie mussten die Biologie nicht verstehen, um den Leuten zu sagen, dass sie aufhören sollen zu rauchen.
Der neue Weg (Korrelation): Ähnlich wie dieses Framework muss nicht wissen, wie die KI einen Fehler macht. Es muss nur Muster erkennen.
- Beispiel: „Jedes Mal, wenn die KI über ‚Kredite nach einer Insolvenz‘ spricht, erhält sie eine niedrige Punktzahl bei den Fakten.“
- Ergebnis: Die Institution weiß: „Hey, unsere KI ist bei diesem speziellen Thema schlecht“, und sie können das beheben oder diese spezifischen Fälle von Menschen überprüfen lassen.

5. Was passiert in der Praxis?

Das Paper beschreibt einen Arbeitsablauf für den menschlichen Experten:

Der Experte stellt der KI eine Frage.
Die KI antwortet.
Sofort zeigt das System dem Experten ein „Ampelsignal“ an:
- Grün: Hohe Punktzahlen bei Regeln und Fakten. Weiter so.
- Gelb/Rot: Niedrige Punktzahlen. Das System markiert dies.
Wenn das Licht rot ist, wird der Experte aufgefordert, einen „Override“-Button zu drücken. Er kann dann die Antwort der KI korrigieren.
Das System speichert alle diese „Ampel“-Datenpunkte im Hintergrund.

6. Das große Ganze: Drei Stufen des Nachweises

Das Paper behauptet nicht, bereits alles gelöst zu haben. Es skizziert einen dreistufigen Forschungsplan, um zu beweisen, dass dies funktioniert:

Stufe 1 (Zuverlässigkeit): Beweisen, dass die „Richter-KI“ die Antworten konsistent korrekt bewertet, genau wie ein Mensch es tun würde.
Stufe 2 (Governance): Beweisen, dass diese Bewertungen Experten und Managern tatsächlich helfen, Probleme zu erkennen, bevor sie auftreten.
Stufe 3 (Ergebnis): Beweisen, dass ein „Rotes Licht“ der KI tatsächlich zu schlechten realen Ergebnissen führt (wie einem schlechten Kredit oder einem medizinischen Fehler), was bestätigt, dass das System echte Risiken erkennt.

Zusammenfassung

Dieses Paper schlägt ein standardisiertes Berichterstattungssystem für KI vor. Anstatt zu versuchen, die geheimen Gedanken der KI zu verstehen, behandelt es KI-Interaktionen wie Krankheitssymptome. Durch das Sammeln tausender dieser „Symptome“ (standardisierte Berichte) und deren Bewertung können Institutionen gefährliche Muster erkennen und beheben, bevor sie Schaden anrichten – und das, ohne jemals in die Black Box der KI schauen zu müssen.

Wichtiger Hinweis: Das Paper erklärt ausdrücklich, dass dies ein Vorschlag und ein Framework ist. Es behauptet nicht, die KI-Sicherheit bereits gelöst zu haben oder bereits Ergebnisse aus echten Krankenhäusern oder Banken vorzuweisen. Es legt die Regeln fest, wie wir dies in der Zukunft testen werden.

Technisches Resümee: Hin zu einer KI-Epidemiologie

Problemstellung

Moderne KI-Systeme, insbesondere Large Language Models (LLMs), werden zunehmend in hochsensiblen, regulierten Bereichen (Gesundheitswesen, Finanzen, Recht) eingesetzt, in denen ihre internen Berechnungen opak bleiben („Black Box“). Derzeitige Governance-Ansätze stützen sich stark auf korrespondenzbasierte Interpretierbarkeit (z. B. SHAP, LIME, mechanistisches Tracing), die versucht, die Ausgaben des Modells auf interne kausale Mechanismen zurückzuführen. Da Modelle jedoch skalieren, stoßen diese Methoden an die Grenzen der rechnerischen Unverarbeitbarkeit und epistemischen Unzuverlässigkeit; Merkmalsattributionen werden instabil, und Modelle generieren oft plausibel klingende, aber ungetreue Erklärungen.

Dara-aus resultiert eine kritische Governance-Lücke: ein Mangel an skalierbaren, nicht-mechanistischen Methoden zur Erkennung von Fehlern in der KI-Ausgabe und Richtlinien-Fehlausrichtungen in Echtzeit während des Einsatzes, ohne Zugriff auf die Modellinterna zu haben. Bestehende Meldesysteme für Vorfälle sind retrospektiv und selektiv, während algorithmische Audits oft keine standardisierten Analyseeinheiten für routinemäßige Interaktionen besitzen.

Methodik

Das Paper schlägt ein Framework zur Messstandardisierung vor, das darauf ausgelegt ist, Experten-KI-Interaktionen in strukturierte, vergleichbare Felder zu komprimieren, um eine prospektive Risikoerkennung zu ermöglichen. Dieser Ansatz verschiebt den Ort der Risikoerkennung von internen Modellprozessen hin zu beobachtbaren Verhaltensmustern und zieht dabei eine Analogie zur Epidemiologie (z. B. John Snows Identifizierung der Wasserquelle oder der Zusammenhang zwischen dem Rauchen und Krebs nach Bradford Hill), bei der populationsbezogene Korrelationen trotz mechanistischer Ungewissheit eine Intervention rechtfertigen.

Kernkomponenten: Die Grammatik

Das Framework definiert ein strukturiertes Protokoll, das aus acht Feldern besteht, um Interaktionen zu erfassen:

Mission: Die aus dem Input des Experten extrahierte Aufgabe (Aufgabentyp + Subjekt).
Konklusion: Die empfohlene Handlung der KI, kategorisiert statt wortwörtlich.
Begründung: Die von der KI bereitgestellten Gründe, kategorisiert.
Risikoniveau: Eine Stratifizierungsvariable (Hoch/Mittel/Niedrig) basierend auf der potenziellen Schwere des Schadens, falls die Konklusion falsch ist.
Policy-Alignment-Score: Ein ordinaler Drei-Stufen-Score (Hoch/Mittel/Niedrig), der die Konsistenz mit institutionellen/regulatorischen Richtlinien bewertet.
Evidenz-Alignment-Score: Ein ordinaler Drei-Stufen-Score, der bewertet, ob die faktischen Behauptungen in der Begründung durch die fachspezifische Evidenzbasis gestützt werden.
Override: Ein binäres Flag, das angibt, ob ein Experte die Konklusion der KI explizit angefochten hat.
Korrektive Option: Die vom Experten nach einem Override überarbeitete Konklusion und Begründung.

Der LLM-as-Judge-Mechanismus

Um Skalierbarkeit zu erreichen, setzt das Framework einen LLM-as-Judge ein, um das Policy- und Evidenz-Alignment automatisch zu bewerten. Um die strukturelle Zirkularität der Verwendung eines Black-Box-Modells zur Bewertung eines anderen zu adressieren, unterwirft das Framework den Prozess gebundenen Bedingungen:

Explizite Rubriken & verankerte Skalen: Verwendung einer dreistufigen, verankerten Skala zur Verbesserung der Übereinstimmung.
Strukturierte Chain-of-Thought: Der Judge argumentiert Schritt für Schritt gegen die Rubriken, bevor er eine Bewertung zuweist.
RAG-Grounding: Die Judges werden durch spezifische Policy- und Evidenzdokumente geerdet, um Sykophantie und Selbstbevorzugung zu reduzieren.
Low-Temperature-Decoding: Um die Stabilität und Reproduzierbarkeit der Scores zu gewährleisten.

Ein Verfahren zur Reliabilitätsverifizierung ist vor dem Einsatz vorgeschrieben und erfordert:

Human-Judge-Agreement: Gemessen via linear gewichtetem Cohen’s $\kappa$ (Zielwert $\ge 0,61$ ).
Konsistenz: Gemessen via Intraclass Correlation Coefficient (ICC) für Test-Retest-Stabilität (Zielwert $\ge 0,75$ ).
Bias-Diagnostik: Gezielte Tests auf Sykophantie, Verbosität und Selbstbevorzugung.

Empirisches Evaluierungsprotokoll

Das Paper spezifiziert ein Protokoll, um zu testen, ob die komprimierten Grammatikfelder im Vergleich zum vollständigen Konversationstext eine ausreichende prädiktive Kraft für die Risikoerkennung behalten.

Design: Ein Non-Inferiority-Test, der einen auf Grammatikfeldern ( $X$ ) trainierten Klassifikator mit einem „Whole-Input“-Klassifikator vergleicht.
Metrik: Area Under the Curve (AUC) zur Trennung von fehlgerichteten (misaligned) und richtig gerichteten (aligned) Interaktionen.
Margin: Eine vorgegebene Non-Inferiority-Margin von $\delta = 0,05$ .
Inferenz: Paired Bootstrap-Inferenz (10.000 Resamples) mit DeLongs Test für Sensitivität und Holm–Bonferroni-Korrektur für multiples Testen.
Verfeinerung: Ein iterativer Prozess zur Grammatikverfeinerung (Aufspaltung von Kategorien, Anpassung von Rubriken), der durch die AUC-Lücke geleitet wird, bis die Non-Inferiority auf einem eingefrorenen Testset erreicht ist.

Zentrale Beiträge

Konzeptioneller Shift: Führt „korrespondenzbasierte Interpretierbarkeit“ als eine distinkte Kategorie gegenüber dem vorgeschlagenen „korrelationsbasierten“ Ansatz ein. Es argumentiert, dass für die unmittelbare Governance die Beobachtung von Output-Mustern praktikabler ist, als auf mechanistische Transparenz zu warten.
Messstandardisierung: Definiert eine spezifische Grammatik und ein Scoring-Protokoll, das unstrukturierte Experten-KI-Dialoge in standardisierte, vergleichbare Dateneinheiten transformiert, die für die Analyse auf Populationsebene geeignet sind.
Governance-Signale: Schlägt drei handlungsrelevante institutionelle Signale vor, die aus den Daten abgeleitet werden können:
- Aggregierte Alignment-Verteilungen: Identifizierung von Domänen, in denen KI-Outputs konsistent fehlgerichtet sind.
- Override-Muster: Hervorhebung von Bereichen, in denen Experten KI-Empfehlungen systematisch anfechten.
- Korrektive Option-Muster: Aufdeckung der spezifischen Gründe und revidierten Schlussfolgerungen, die Experten bevorzugen, was einen „korrektiven“ Datensatz für zukünftiges Modell-Tuning oder Policy-Updates bietet.
Dreistufiges empirisches Programm: Skizziert einen gestuften Forschungspfad:
- Stufe 1: Etablierung der Messstandardisierung (Reliabilität der LLM-Judges).
- Stufe 2: Validierung der Governance-Signale (Nützlichkeit für Experten und Institutionen).
- Stufe 3: Etablierung von Outcome-Assoziationen (Verknüpfung von Alignment-Scores mit nachgelagerten Ereignissen).

Ergebnisse und Behauptungen

Da es sich um ein Konzeptpapier handelt, werden keine empirischen Ergebnisse präsentiert. Das Paper stellt explizit klar, dass populationsbezogene Behauptungen Gegenstand eines gestuften Forschungsprogramms sind und nicht hier behauptet werden.

Das Paper stellt drei spezifische, testbare Behauptungen auf:

Reliabilitäts-Behauptung: Unter gebundenen Bedingungen (Rubriken, RAG, niedrige Temperatur) können LLMs zuverlässige, standardisierte Bewertungen des Alignments produzieren, die mit menschlichen Wertungen vergleichbar sind.
Governance-Behauptung: Alignment-Scores liefern Experten während des Einsatzes unmittelbare Signale und ermöglichen es Institutionen, Alignment-Muster über Modelle und Domänen hinweg zu überwachen.
Epidemiologische Behauptung: Sobald die Messung standardisiert ist, können aggregierte Alignment-Scores genutzt werden, um Assoziationen mit nachgelagerten Ergebnissen zu untersuchen, was eine „KI-Epidemiologie“ ermöglicht, die Risiken über korrelierte Variablen statt über mechanistische Analyse erkennt.

Bedeutung

Die Bedeutung des Papers liegt in der Bereitstellung eines pragmatischen, skalierbaren Pfades für die KI-Governance in Ermangelung perfekter Interpretierbarkeit. Durch die Behandlung der KI-Risikoerkennung als epidemiologisches Problem bietet es eine Methode, um:

Risiken prospektiv zu erkennen (bevor Vorfälle eintreten) statt retrospektiv.
In Skalierbarkeit zu operieren, ohne Zugriff auf Modellgewichte oder interne Zustände zu benötigen.
Audit-Trails und korrektive Daten zu generieren, die sowohl unmittelbare Expertenentscheidungen als auch langfristige institutionelle Policies informieren können.

Das Framework erkennt seine Limitationen an, einschließlich der „Exposure-Instrument-Disanalogie“ (die Verwendung eines LLM zur Bewertung eines anderen LLM) und potenzieller Beobachtereffekte, argumentiert jedoch, dass die vorgeschlagenen Verifizierungsverfahren und die iterative Verfeinerung diese Bedrohungen für die Validität mildern können. Das ultimative Ziel ist es, ein Fundament zu schaffen, auf dem die „KI-Epidemiologie“ als robuste, nicht-mechanistische Sicherheitsebene für eingesetzte KI-Systeme fungieren kann.