🤖 AI

Update Opacity: Epistemic Accessibility and Governance Under AI System Change

Dieses Paper befasst sich mit der Governance-Herausforderung der „Update-Opazität“ in KI-Systemen, indem es einen Rahmen vorschlägt, der den EU AI Act und Machine Learning Operations kombiniert, um eine schwellenwertbasierte Offenlegung materiell relevanter Änderungen zu implementieren und dadurch die epistemische Zugänglichkeit für Nutzer zu gewährleisten, ohne eine Informationsüberlastung zu verursachen.

Ursprüngliche Autoren: Andrea Ferrario, Joshua Hatherley

Veröffentlicht 2026-06-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Andrea Ferrario, Joshua Hatherley

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Kernproblem: Der „stille Wandel“

Stellen Sie sich vor, Sie besitzen eine sehr intelligente, hilfreiche GPS-App. Sie nutzen sie seit Jahren. Sie wissen genau, wie sie sich verhält: Wenn Sie „Café“ eingeben, zeigt sie Ihnen meistens das Café in der Hauptstraße an, weil dort der Verkehr am geringsten ist. Sie haben ein „Bauchgefühl“ oder eine Kalibrierung darüber entwickelt, wie die App funktioniert.

Stellen Sie sich nun vor, die Entwickler der App aktualisieren über Nacht heimlich den Code, um sie schneller zu machen. Sie sagen Ihnen nichts davon. Am nächsten Morgen geben Sie „Café“ ein und plötzlich schickt Sie die App in ein anderes Café in einer anderen Straße. Es ist immer noch ein gültiges Café und die App arbeitet nach ihren eigenen internen Maßstäben immer noch „korrekt“. Aber Sie sind verwirrt. Sie wissen nicht, warum sich die Antwort geändert hat. Sie wissen nicht, ob Sie der neuen Route vertrauen können.

Die Arbeit nennt dies Update-Opazität (Update Opacity). Es ist nicht so, dass die KI kaputt ist; es ist so, dass sich die KI auf eine Weise verändert hat, die Sie als Nutzer nicht sehen oder verstehen können. Dies ist in Hochrisikosituationen (wie etwa bei einem Arzt, der eine KI zur Diagnose eines Patienten einsetzt, oder einer Bank, die sie zur Kreditvergabe nutzt) gefährlich, da Nutzer auf ihr „Bauchgefühl“ vertrauen, wie das System funktioniert. Wenn sich das System lautlos verändert, wird dieses Bauchgefühl falsch, was zu Fehlentscheidungen führt.

Die zwei aktuellen Lösungen (und warum sie nicht ausreichen)

Die Autoren untersuchen zwei bestehende Wege, wie wir versuchen, KI-Änderungen zu verwalten, sagen aber, dass keiner davon allein funktioniert:

Der „Regelbuch“-Ansatz (Der EU AI Act):
- Die Analogie: Denken Sie an dies wie einen strengen Bauvorschrift. Wenn Sie ein Haus bauen wollen, müssen Sie bestimmte Regeln befolgen. Wenn Sie entscheiden, eine tragende Wand einzureißen oder ein ganzes Stockwerk hinzuzufügen, müssen Sie eine neue Genehmigung einholen und einen Inspektor zur Überprüfung bestellen.
- Das Problem: Dieses Regelwerk ist großartig für große, gefährliche Änderungen. Aber was ist, wenn der Bauherr nur die Farbe der Wände geändert oder einen Lichtschalter versetzt hat? Das Regelwerk kümmert sich nicht darum. Aber für die Menschen, die in dem Haus leben, können diese kleinen Änderungen dennoch nervig oder verwirrend sein. Das Regelwerk ist zu „grob“ (zu groß), um die kleinen, verwirrenden Verschiebungen zu erfassen, die innerhalb des Systems stattfinden.
Der „Ingenieurs-Dashboard“-Ansatz (MLOps):
- Die Analogie: Dies ist wie das Armaturenbrett in einem Rennwagen. Es verfolgt jede winzige Vibration, Temperaturänderung und Treibstoffschwankung. Die Ingenieure können alles sehen, was im Inneren des Motors passiert.
- Das Problem: Wenn man dem Fahrer (dem Nutzer) dieses Dashboard zeigen würde, wäre er überfordert. Er muss nicht wissen, dass „Einspritzdüse #3 um 0,04 % verschoben wurde“. Er muss nur wissen, ob das Auto sicher zu fahren ist. MLOps verfolgt die Änderungen, aber es sagt uns nicht, welche Änderungen für die Person, die das System nutzt, tatsächlich relevant sind.

Die Lösung der Autoren: Das „Vertrauenswürdigkeits-Plateau“

Die Autoren schlagen einen neuen Weg vor, diesen Prozess zu verwalten, indem sie das Regelbuch und das Dashboard kombinieren. Sie schlagen vor, dass wir die KI nicht mehr als ein einzelnes „Modell“ betrachten sollten, sondern als ein vertrauenswürdiges System, das über verschiedene „Ebenen“ der Sicherheit verfügt.

Hier ist ihr dreistufiger Plan:

Schritt 1: Die „Sicherheitszone“ (Das Plateau)

Stellen Sie sich die Leistung der KI wie ein flaches Plateau vor. Solange die KI auf diesem Plateau bleibt, gilt sie als „sicher“ und „konform“.

Große Änderungen: Wenn die KI vom Plateau stürzt (z. B. wenn sie aufhört zu funktionieren oder gegen Gesetze verstößt), ist das eine Krise. Man stoppt alles und holt sich eine neue Genehmigung (wie es der EU AI Act erfordert).
Kleine Änderungen: Die meisten Updates finden auf dem Plateau statt. Die KI wird etwas besser oder etwas anders, aber sie bleibt sicher.

Schritt 2: Das „Vertrauenswürdigkeits-Profil“

Anstatt nur zu prüfen, ob die KI „richtig“ ist, verfolgen wir eine spezifische Liste von Dingen, die für den Nutzer wichtig sind. Nennen wir das das Vertrauenswürdigkeits-Profil.

Für eine medizinische KI könnte dies beinhalten: „Wie genau ist sie bei älteren Patienten?“ „Wie schnell ist sie?“ „Verwechselt sie ähnlich aussehende Krankheiten?“
Wir wandeln dies in einen Score um. Solange der Score innerhalb eines bestimmten Bereichs bleibt, befindet sich die KI auf dem „Sicheren Plateau“.

Schritt 3: Die „Materialitätsschwelle“ (Die Alarmglocke)

Dies ist der wichtigste Teil. Selbst wenn die KI auf dem „Sicheren Plateau“ bleibt, kann sie dennoch weit von ihrem Ausgangspunkt wegdriften.

Die Analogie: Stellen Sie sich vor, Sie gehen auf einem flachen Feld spazieren. Sie starten an Punkt A. Wenn Sie 5 Fuß nach rechts gehen, sind Sie immer noch auf dem Feld. Wenn Sie 500 Fuß nach rechts gehen, sind Sie immer noch auf dem Feld, aber Sie sind nun in einem völlig anderen Teil des Feldes.
Die Autoren sagen: Wir brauchen eine Schwelle (Threshold). Wenn die KI sich so sehr verändert, dass sie eine bestimmte Distanz von ihrem Ausgangspunkt überschreitet (selbst wenn sie immer noch „sicher“ ist), müssen wir eine Glocke läuten.
Diese Glocke sagt dem Nutzer: „Hey, das System hat sich so sehr verändert, dass Ihr altes ‚Bauchgefühl‘ nicht mehr funktionieren könnte. Hier ist, was sich geändert hat.“

Wie das in der Praxis funktioniert (Das medizinische Beispiel)

Das Paper nutzt eine Schlaganfall-Triage-KI (ein System, das Ärzten hilft zu entscheiden, ob ein Patient in ein großes Krankenhaus oder ein lokales Krankenhaus muss), um zu zeigen, wie das funktioniert.

Die Situation: Die KI wird aktualisiert, um mit neuen Arten von CT-Scannern umzugehen. Das Update ist „sicher“ (es verstößt nicht gegen Regeln). Die Gesamtgenauigkeit wird sogar etwas besser.
Die verborgene Änderung: Das Update bewirkt jedoch, dass die KI etwas wahrscheinlicher dazu neigt, ältere Patienten in das große Krankenhaus zu schicken, selbst wenn deren Symptome grenzwertig sind.
Der alte Weg: Der Arzt nutzt die KI weiter und vertraut seinen alten Gewohnheiten. Er erkennt die subtile Verschiebung möglicherweise nicht, was dazu führen kann, dass ein Patient an den falschen Ort geschickt wird.
Der neue Weg (Der Rahmen der Autoren):
1. Das System verfolgt die Änderung.
2. Es stellt fest, dass die Änderung für „ältere Patienten“ die Schwelle überschritten hat.
3. Die Offenlegung: Anstatt eines langweiligen technischen Berichts erscheint eine kleine, klare Nachricht auf dem Bildschirm des Arztes: „Modell aktualisiert: Empfehlungen für Patienten über 75 Jahre können nun abweichen. Tippen Sie für Details.“
4. Der Arzt sieht die Warnung, passt sein Denken an und trifft eine sichere Entscheidung.

Das Faz-it

Das Paper argumentiert, dass wir den Nutzern nicht alles über jedes Update mitteilen müssen (das wäre zu viel Information). Wir können ihnen aber auch nicht nichts mitteilen (das wäre gefährlich).

Wir brauchen einen intelligenten Filter. Wir müssen die „Vertrauenswürdigkeit“ der KI messen, beobachten, wie stark sie von ihrem Ausgangspunkt abweicht, und nur dann die Alarmglocke läuten, wenn die Änderung groß genug ist, um den Nutzer zu verwirren. Dies hält die KI sicher, legal und verständlich, auch während sie sich ständig weiterentwickelt.

Technisches Resümee: Aktualisierung der Opazität, epistemischen Zugänglichkeit und Governance unter Veränderung von KI-Systemen

1. Problemdefinition: Aktualisierungs-Opazität (Update Opacity)

Das Paper adressiert die Aktualisierungs-Opazität, ein Phänomen, das auftritt, wenn Experten nicht erklären können, warum eine aktuelle Version eines KI-Systems für eine gegebene Eingabe ( $x$ ) einen anderen Output ( $y$ ) produziert als eine vorherige Version ( $z \neq y$ ). Im Gegensatz zur statischen Modell-Opazität (die sich auf die internen Mechanismen eines einzelnen Modells bezieht) ist die Aktualisierungs-Opazität diachron und komparativ; sie entsteht aus der zeitlichen Evolution eingesetzter Systeme.

Das Kernproblem wird als ein Versagen der epistemischen Zugänglichkeit gerahmt. In Hochrisikodomänen (z. B. Gesundheitswesen, Finanzwesen) verlassen sich Nutzer auf akkumulierte Kalibrierung – gelernte Erwartungen über das Systemverhalten, die Zuverlässigkeit und Fehlermodi –, um KI-Outputs in die Entscheidungsfindung zu integrieren. Wenn ein System ohne transparente Kommunikation Modell-verändernde Aktualisierungen erfährt (Retraining, Rekalibrierung, Revisionen der Pipeline, Updates von Abhängigkeiten), gerät diese Nutzer-seitige Kalibrierung mit dem tatsächlichen Verhalten des Systems in Missalignment. Dieses Missalignment untergräbt das gerechtfertigte Vertrauen, erhöht die kognitive Belastung und schwächt die Rechenschaftspflicht.

Die Autoren argumentieren, dass Aktualisierungs-Opazität ein Governance-Problem ist, das durch ein Spannungsverhältnis zwischen drei unbefriedigenden Extremen gekennzeichnet ist:

Totale Transparenz: Die Offenlegung jeder einzelnen Änderung ist nicht machbar und kontraproduktiv, da sie zu Informationsüberlastung und Arbeitsablaufstörungen führt.
Schweigen: Das Verschweigen jeglicher Änderungen erlaubt es, dass stille Verhaltensänderungen das gerechtfertigte Vertrauen erodieren lassen.
Einfrieren von Aktualisierungen: Das Anhalten aller Updates ist in nichtstationären Umgebungen nicht praktikabel, da dies zu einer Verschlechterung der Performance führt.

Die zentrale Herausforderung besteht darin, zu bestimmen, welche Änderungen materiell relevant sind, wann sie kommuniziert werden sollten und an wen, um die epistemische Zugänglichkeit zu wahren, ohne die Nutzer zu überfordern.

2. Methodik: Zusammenführung zweier Governance-Kulturen

Der vorgeschlagene Lösungsansatz integriert zwei komplementäre Governance-Kulturen: den EU AI Act (AIA) und Machine Learning Operations (MLOps).

Der EU AI Act (Normativer Perimeter)

Der AIA liefert den normativen Rahmen, um den „Perimeter“ relevanter Änderungen zu definen.

Wesentliche Änderung (Substantial Modification): Der AIA unterscheidet zwischen Änderungen, die eine neue Konformitätsbewertung auslösen (wesentliche Änderungen, z. B. Änderungen am beabsichtigten Zweck oder der Einh。haltung von Hochrisiko-Anforderungen) und solchen, die dies nicht tun.
Limitierung: Während der AIA identifiziert, wann eine Änderung rechtlich signifikant ist (identitätsbrechend), ist er für das epistemische Problem zu grobkörnig. Viele zulässige Änderungen (innerhalb des „Konformitäts-Envelopes“) können dennoch das Vertrauen der Nutzer und die Erwartungen an den Workflow materiell verändern, ohne eine rechtliche Neubewertung auszulösen.

MLOps (Operative Mechanik)

MLOps liefert die operativen Werkzeuge zur Verfolgung und Verwaltung von Änderungen.

Drift-Erkennung & Monitoring: MLOps nutzt kontinuierliche Telemetrie, Versionierung und Drift-Erkennung (Vergleich von Operationaldaten mit Baselines), um Interventionen (Retraining, Rollback) auszulösen.
Limitierung: MLOps ist auf die technische Kontrolle und Metriken (z. B. Genauigkeit, Drift-Indikatoren) ausgerichtet. Es bestimmt nicht inhärent, welche überwachten Änderungen für spezifische Stakeholder (z. B. Kliniker vs. Auditoren) epistemisch materiell sind oder wie diese kommuniziert werden müssen, um eine kalibrierte Zuverlässigkeit zu bewahren.

Der vorgeschlagene Rahmen: Vertrauenswürdigkeitsbasierte Governance

Die Autoren schlagen einen Rahmen vor, der diese Kulturen zusammenführt, um die Aktualisierungs-Opazität durch drei spezifische Schritte zu steuern:

Schritt 1: Tolerierbare vs. nicht-tolerierbare Änderungen

Der Rahmen unterscheidet zwischen:

Nicht-tolerierbaren Änderungen: Solche, die außerhalb des bewerteten Vertrauenswürdigkeits-Envelopes liegen (und somit eine AIA-Neubewertung auslösen).
Tolerierbaren Änderungen: Solche, die innerhalb des Envelopes bleiben, aber potenziell das Nutzervertrauen beeinflussen. Der Rahmen konzentriert sich auf die Steuerung dieser zweiten Kategorie.

Schritt 2: Vertrauenswürdigkeitsprofile und -stufen

Die Autoren führen ein formales Modell für den Systemzustand ein:

Vertrauenswürdigkeitsprofil ( $P_A$ ): Eine Menge vordefinierter, quantifizierbarer Dimensionen ( $d_i$ ) und Messprotokolle ( $m_i$ ), die ex ante definiert sind (z. B. Genauigkeit, Robustheit, Subgruppen-Stabilität, Integrität der Datenpipeline).
Vertrauenswürdigkeitsstufen-Funktion ( $T_A$ ): Eine Funktion, die zeitindexierte Messvektoren ( $m_A(t)$ $m_{A} (t)$ ) auf diskrete Vertrauenswürdigkeitsstufen ( $1, \dots, K$ $1, \dots, K$ ) abbildet.
- $T_A(t) = L_A(m_A(t))$ , wobei $L_A$ eine Stufenzuweisungsfunktion ist.
- Stufenweise Abbildung: Die Autoren plädieren für stufenweise (Plateau-)Abbildungen statt glatter Kurven. Dies verhindert „Governance-Strain“, der durch geringfügige Fluktuationen nahe Übergangspunkten verursacht wird, und stellt sicher, dass nur signifikante Verschiebungen im Systemregime eine Eskalation auslösen.

Schritt 3: Schwellenwertbasierte Offenlegung

Um die Opazität innerhalb einer einzigen Vertrauenswürdigkeitsstufe (innerhalb eines Plateaus) zu adressieren, führt der Rahmen eine Dissimilaritätsfunktion ( $\Delta_A$ ) und einen kontextbezogenen Schwellenwert ( $\epsilon_A$ ) ein.

Mechanismus: Für ein zum Zeitpunkt $t_0$ eingesetztes System $A$ mit Baseline-Profil $m_A(t_0)$ löst ein Update zum Zeitpunkt $t_i$ eine Offenlegung aus, wenn:
$\Delta_A(m_A(t_0), m_A(t_i)) > \epsilon_A$
Epistemische Materialität: Der Schwellenwert $\epsilon_A$ liegt strikt innerhalb des zulässigen Plateaus. Er fungt als Filter für die „epistemische Materialität“: Selbst wenn das System in derselben regulatorischen Stufe bleibt, wird es als Offenlegungspflichtig eingestuft, falls die kumulative Änderung $\epsilon_A$ überschreitet, da dies das kalibrierte Vertrauen stören könnte.
Implementierung: $\Delta_A$ kann mittels Standard-MLOps-Monitoring-Zusammenfassungen (z. B. $L_1$ -Distanz zwischen Messvektoren) realisiert werden, wobei bestimmte Degradierungen stärker gewichtet werden können.

3. Zentrale Beiträge

Epistemische Interpretation der Aktualisierungs-Opazität: Umdeutung der Aktualisierungs-Opazität von einem rein technischen Mangel an Erklärbarkeit hin zu einem diachronen Versagen der epistemischen Zugänglichkeit, bei dem materiell relevante Änderungen den Nutzern unter deren praktischen Beschränkungen nicht mehr zugänglich gemacht werden.
Integration von AIA und MLOps: Vorschlag eines hybriden Governance-Modells, bei dem der AIA den Umfang der relevanten Änderung (den Envelope) definiert und MLOps den Mechanismus zur Verfolgung und Auslösung der Offenlegung innerhalb dieses Envelopes bereitstellt.
Vertrauenswürdigkeitsprofile und -stufen: Formalisierung des Systemzustands über diskrete Vertrauenswürdigkeitsstufen, um zwischen tolerierbarem Hintergrundrauschen und governance-relevanten Ereignissen zu unterscheiden und die Sprödigkeit kontinuierlicher Überwachung zu vermeiden.
Schwellenwertbasierte Offenlegungsregel: Einführung eines Proportionalitätskriteriums, bei dem die Offenlegung nicht allein durch die Existenz eines Updates, sondern durch das Ausmaß der Änderung relativ zu einer Baseline ausgelöst wird – insbesondere dann, wenn diese das kalibrierte Vertrauen gefährdet.
Rollenbezogenes Offenlegungsdesign: Argumentation, dass die Offenlegung kontextualisiert sein muss. Frontline-Nutzer (z. B. Kliniker) benötigen prägnante, handlungsorientierte Informationen, die in den Workflow eingebettet sind, während Auditoren eine vollständige Rückverfolgbarkeit benötigen. Der Rahmen unterstützt einen gestuften Offenlegungsansatz.

4. Ergebnisse und Illustration

Das Paper präsentiert keine empirischen Experimentergebnisse, bietet aber eine konzeptionelle Demonstration anhand eines medizinischen KI-Beispiels: Stroke Triage Decision Support (Entscheidungsunterstützung bei Schlaganfall-Triage).

Szenario: Ein eingesetztes System zur Schlaganfall-Triage erfährt aufgrund von Kovariaten-Drift (Firmware-Änderungen bei CT-Scannern) ein Modell-Update. Das Update verbessert die globale AUROC und bleibt innerhalb der höchsten Vertrauenswürdigkeitsstufe (keine AIA-Neubewertung erforderlich).
Die Opazität: Trotz globaler Stabilität verschiebt das Update die Feature-Gewichtungen, was die Empfehlungen für spezifische Subgruppen (z. B. ältere Patienten) und die Alarmmuster verändert. Kliniker, die auf ihrer bisherigen Kalibrierung basieren, sind sich dieser Verschiebungen nicht bewusst.
Anwendung des Rahmens:
- Die Dissimilaritätsfunktion erkennt, dass die kumulative Änderung im Verhalten der Subgruppe den Schwellenwert $\epsilon_A$ überschreitet.
- Offenlegung ausgelöst: Anstatt eines generischen Changelogs zeigt ein im Workflow eingebettetes Banner den Kliniker an: „Modell aktualisiert [Datum]. Empfehlungen für den Transfer bei Patienten über 75 Jahren können abweichen.“
- Rechenschaftspflicht: Dies schafft einen geschlossenen epistemischen Kreislauf. Falls nach dem Update ein Patient untertriagiert wird, kann das System nachweisen, dass die Änderung offengelegt wurde und der Nutzer informiert war, wodurch die „Accountability Lacuna“ (Rechenschaftslücke) geschlossen wird, die bei stillem Update bestünde.

5. Bedeutung und Ansprüche

Das Paper behauptt, dass die Steuerung von KI-System-Updates nicht nur eine Frage der technischen Wartung oder der rechtlichen Compliance ist, sondern eine grundlegende Voraussetzung dafür, die Bedingungen zu wahren, unter denen sich verändernde Systeme interpretierbar bleiben.

Moderater Umfang: Die Autoren beanspruchen nicht, alle Transparenzprobleme zu lösen oder einen universellen Algorithmus für alle KI-Systeme bereitzustellen. Sie betonen explizit, dass die Wahl der Profil-Dimensionen, Dissimilaritätsfunktionen und Schwellenwerte kontextsensitiv ist und im Einzelfall begründet werden muss.
Praktischer Nutzen: Der Rahmen bietet eine prinzipielle, operationalisierbare Alternative zum „Alles-oder-Nichts“-Ansatz der Transparenz. Er ermöglicht es Anbietern, Transparenz zu wahren, indem Warnungen nur dann ausgegeben werden, wenn Änderungen innerhalb des Envelopes materiell relevant für die Anwender und Betroffenen werden.
Zukünftige Arbeit: Die Autoren identifizieren die Notwendigkeit für zukünftige Forschung, um domänenspezifische Entscheidungen für Profil-Dimensionen und Dissimilaritätsfunktionen zu verfeinern und zu testen, wie verschiedene Offenlegungs-Interfaces die kalibrierte Nutzung in Hochrisiko-Settings beeinflussen.

Zusammenfassend argumentiert das Paper, dass die Steuerung der Aktualisierungs-Opazität nicht allein eine technische oder rechtliche Aufgabe ist, sondern eine fundamentale Anforderung, um die Bedingungen zu wahren, unter denen sich verändernde Systeme für den Menschen weiterhin verständlich bleiben.