From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems

Technische Zusammenfassung: Von Silos zu Systemen: Prozessorientierte Gefahrenanalyse für KI-Systeme

Problemstellung
Derzeitige Ansätze zur Analyse von Risiken in Systemen der Künstlichen Intelligenz (KI) konzentrieren sich überwiegend auf einzelne Komponenten – wie etwa Trainingsdaten oder spezifische Machine-Learning-Modelle – in Isolation. Diese „silobasierte“ Perspektive übersieht Gefahren, die aus den Interaktionen zwischen Komponenten, der Integration von Modellen in breitere Software-Stacks und den soziotechnischen Prozessen der Entwicklung und des Betriebs entstehen. Während regulatorische Rahmenbedingungen (z. B. der EU AI Act) und Industriepraktiken (z. B. System Cards) beginnen, zwischen KI-Modellen und KI-Systemen zu unterscheiden, mangelt es an empirischen Frameworks, um eine Gefahrenanalyse auf Systemebene zu ermöglichen. Bestehende Methoden versäumen es oft, die emergente Natur der Sicherheit in komplexen soziotechnischen Systemen zu berücksichtigen, in denen Schäden nicht nur durch Komponentenausfälle, sondern durch das Zusammenspiel von technischen Artefakten, menschlichen Akteuren und institutionellen Prozessen entstehen. Darüber hinaus besitzen KI-Systeme einzigartige Merkmale – wie Modell-Opazität, probabilistische Fähigkeiten und Output-Komplexität –, die über verschiedene Paradigmen hinweg (z. B. lineare Regression vs. generative Modelle) variieren und die Anwendung traditioneller Sicherheitswerkzeuge erschweren.

Methodik
Die Autoren passen die System Theoretic Process Analysis (STPA), ein etabliertes Framework zur Gefahrenanalyse aus dem Bereich der System-Sicherheitstechnik, für den Einsatz im KI-Kontext an. STPA betrachtet Sicherheit als eine emergente Eigenschaft des gesamten Systems und analysiert Kontrollstrukturen und Rückkopplungsschleifen anstatt lediglich Komponentenausfälle.

Die Forschung nutzt einen qualitativen Fallstudien-Ansatz mit drei unterschiedlichen KI-Systemen aus verschiedenen Domänen und Paradigmen:

1. Fall 1 (C1): Ein auf linearer Regression basierendes Frühwarnsystem zur Vorhersage von Spätmanifestation einer Sepsis bei Frühgeborenen (Human-in-the-loop).
2. Fall 2 (C2): Ein auf Reinforcement Learning (RL) basierendes automatisiertes Insulininjektionssystem für das Diabetesmanagement (Human-out-of-the-loop).
3. Fall 3 (C3): Text-zu-Bild (T2I) generative Modelle für das Storyboarding in der kreativen Praxis (Human-as-tool-user).

Die Methodik beinhaltete die Datenerhebung durch Stakeholder-Interviews, Workshops sowie die Sichtung technischer Dokumentationen und akademischer Literatur. Die Forscher wandten die vier Standard-Schritte der STPA auf jeden Fall an:

1. Identifizierung des Analysenzwecks (Verluste und Systemgrenzen).
2. Erstellung von Kontrolldiagrammen (Abbildung von Reglern, gesteuerten Prozessen und Rückkopplungen).
3. Identifizierung unsicherer Kontrollaktionen (Unsafe Control Actions, UCAs).
4. Identifizierung von Verlustszenarien (Kausalketten, die zu UCAs führen).

Durch eine iterative, reflexive Analyse dieser Anwendungen entwickelten die Autoren PHASE (Process-oriented Hazard Analysis for AI Systems), eine Leitlinie, welche die STPA-Konzepte übersetzt, um KI-spezifische Herausforderungen zu adressieren.

Zentrale Beiträge
Der primäre Beitrag ist die PHASE-Leitlinie, die STPA durch die Einführung spezifischer Modifikationen anpasst, um die Heterogenität von KI-Systemen zu bewältigen:

• Erweiterte Verluststaxonomie: PHASE erweitert die Definition von „Verlust“ über traditionelle sicherheitskritische Ergebnisse (z. B. Verlust von Leben) hinaus auf leistungsbezogene Verluste (z. B. Effizienz, Reputation) und soziotechnische Verluste (z. B. Verletzung der Privatsphäre, Verlust an Diversität, algorithmische Voreingenommenheit).
• Prozessorientierte Systemgrenzen: Anstatt die Grenzen um das Modell selbst zu ziehen, definiert PHASE die Grenzen um die Entwicklungs- und Nutzungs-prozesse (die algorithmische Lieferkette) und erkennt an, dass Entwickler zwar die Daten und Designentscheidungen kontrollieren, aber nicht notwendigerweise die erlernten latenten Repräsentationen.
• Dynamische Kontrollstrukturen: Das Framework berücksichtigt die Fluidität von Rollen in der KI, wobei eine Komponente (z. B. ein KI-Assistent) je nach organisatorischen Vorgaben und Nutzungsmustern mal als Regler und mal als gesteuerter Prozess fungieren kann.
• KI-spezifische Verlustszenarien: PHASE berücksichtigt explizit Verlustszenarien, die aus emergenten und sich entwickelnden Systemkapazitäten resultieren (z. B. Modell-Updates, Retraining oder erweiterte Anwendungsfälle), die bestehende Schutzmaßnahmen überholen – ein Faktor, der in der traditionellen STPA bei statischen Systemen oft unberücksichtigt bleibt.

Ergebnisse und Erkenntnisse
Die Anwendung von STPA mittels PHASE auf die drei Fallstudien lieferte mehrere Erkenntnisse:

• Anwendbarkeit: Die Kernkonzepte und Schritte der STPA sind auf KI-Systeme anwendbar, erfordern jedoch gezielte Anpassungen, um KI-spezifische Herausforderungen wie Opazität und Autonomie zu adressieren.
• Gefahrenerkennung: Die Analyse auf Systemebene identifizierte erfolgreich Gefahren, die bei Audits auf Komponentenebene unsichtbar geblieben wären. Beispielsweise kann ein Modell eine Fairness-Prüfung isoliert bestehen, doch die systemische Interaktion zwischen einem unvollkommenen Alarm und dem übermäßigen Vertrauen eines Klinikers kann zu einer Fehldiagnose führen.
• Heterogenität ist entscheidend: Die Analyse zeigte, dass verschiedene KI-Paradigmen (lineare Modelle, RL, generative Modelle) unterschiedliche Anforderungen an die Analyse stellen. So war beispielsweise die Definition der Systemgrenzen für offene generative Plattformen komplexer als für das stärker beschränkte RL-Insulinsystem.
• Vier zentrale Affordanzen: Die Studie identifiziert vier spezifische Affordanzen, die PHASE Analysten bietet:
  1. Detektion auf Systemebene: Identifizierung von Gefahren, die aus der Akkumulation disparater Probleme über den gesamten Lebenszyklus des Systems entstehen.
  2. Anerkennung sozialer Faktoren: Explizite Abbildung sozialer Faktoren (z. B. Organisationskultur, Zeitdruck), die zu algorithmischen Schäden beitragen.
  3. Rückverfolgbare Rechenschaftspflicht: Etablierung klarer Verantwortungsketten durch die Abbildung von Kontrollaktionen und Rückkopplungsschleifen auf spezifische Akteure und Artefakte, um zu unterscheiden, ob ein Schaden aus der Datenerhebung, dem Modelltraining oder der Nutzerinteraktion resultierte.
  4. Monitoring emergenter Gefahren: Ermöglichung der kontinuierlichen Überwachung neuer Gefahren, während sich KI-Systeme anpassen, aktualisieren oder im Laufe der Zeit in ihren operativen Kontext verändern.

Bedeutung und Behauptungen
Das Paper behauptet, dass PHASE eine kritische Ergänzung zu bestehenden Bemühungen um verantwortungsvolle KI (Responsible AI, RAI) darstellt, indem es die analytische Linse von isolierten Komponenten auf die emergenten Eigenschaften des Gesamtsystems verschiebt. Es argumentiert, dass Sicherheit in der KI nicht bloß eine technische Eigenschaft eines Modells ist, sondern eine soziotechnische Eigenschaft der Kontrollstrukturen des Systems.

Die Autoren positionieren PHASE als Werkzeug, um:

• Den Übergang von „Silos“ zu „Systemen“ in der KI-Sicherheitsanalyse zu erleichschen.
• Eine strukturierte Methode zur Herstellung der Rückverfolgbarkeit zwischen spezifischen Schäden und den verantwortlichen Akteuren oder Prozessen zur Schadensminderung bereitzustellen und damit die „Rechenschaftslücke“ in der KI-Entwicklung zu schließen.
• Die Entwicklung einer Sicherheitskultur in Organisationen zu unterstützen, indem implizite Risiken und soziale Faktoren explizit gemacht werden.

Die Autoren äußern sich bescheiden hinsichtlich der Verallgemeinerbarkeit ihrer Ergebnisse und merken an, dass die drei Fallstudien zwar unterschiedliche Paradigmen abdecken, aber nicht die gesamte KI-Landschaft repräsentieren. Sie räumen ein, dass die Wirksamkeit von PHASE von der Expertise der Analysten und der Bereitschaft der Organisationen abhängt, Ressourcen für die Sicherheit bereitzustellen. Die Arbeit wird als ein grundlegender Schritt zur Integration von Prinzipien der System-Sicherheitstechnik in den breiteren Diskurs der KI-Governance und der verantwortungsvollen Entwicklung präsentiert.