Sources of Risk in AI Systems Revisited: FCAIR-O, a Faceted Causal Framework and Lightweight Ontology for Risk Management and Assurance

Künstliche Intelligenz ist nicht länger nur ein Werkzeug, das im Regal steht; sie ist in das Gefüge des täglichen Lebens eingewoben und trifft Entscheidungen über Kredite, diagnostiziert Krankheiten und steuert sogar Autos. Wenn diese Systeme gut funktionieren, sind sie unsichtbar. Wenn sie versagen, können die Folgen unmittelbar und schwerwiegend sein. Die Herausforderung für Ingenieure und Regulierungsbehörden besteht schon lange darin, wie man über diese Ausfälle spricht. Zu oft vermischen Listen von Risiken verschiedene Dinge: Sie führen etwa einen „Mangel an Fairness“ neben einem „defekten Sensor“ und einem „Hackerangriff“ auf, als wären dies alle die gleiche Art von Problem. Diese Verwirrung macht es schwierig zu wissen, wo die Lösung anzusetzen ist. Liegt das Problem im Code, in den Daten, beim Menschen, der das System nutzt, oder an den Regeln, denen das Unternehmen folgt? Ohne klare Unterscheidungen können Sicherheitsmaßnahmen das Ziel völlig verfehlen.

Um dies zu lösen, haben zwei Forscher, Moritz Schneider und André Steimers, einen neuen Weg entwickelt, um darzustellen, wo Dinge schiefgehen. Sie bauen auf ihrer eigenen früheren Arbeit aus dem Jahr 2022 auf, die erstmals versuchte, diese Risiken zu organisieren, doch die Welt der künstlichen Intelligenz hat sich seitdem rasant verändert. Es existieren nun neue Arten von Systemen, die Code schreiben können, sich an vergangene Gespräche erinnern und Informationen in Echtzeit aus dem Internet abrufen können. Diese Fähigkeiten schaffen neue Arten von Gefahren, die alte Checklisten einfach nicht beschreiben können. Die Forscher erkannten, dass sie, um Menschen sicher zu halten, eine Landkarte benötigen, die die Ursache eines Problems von dem Schaden, den es verursacht, und von den Regeln, die ihn verhindern sollen, trennt.

Das Ergebnis ihrer Arbeit ist ein Framework namens FCAIR-O. Betrachten Sie es als ein hochdetailliertes, strukturiertes Wörterbuch für Risiken. Anstatt einer einzigen langen, verwirrenden Liste haben die Forscher ein System mit acht verschiedenen „Seiten“ oder Dimensionen geschaffen. Eine Seite beschreibt die Ebene, auf der das Problem auftrat, wie etwa der Computerchip, das Softwareprogramm, der menschliche Bediener oder das Management des Unternehmens. Eine andere Seite verfolgt den Zeitverlauf, vom Moment der ersten Idee bis zum Tag, an dem das System abgeschaltet wird. Eine dritte Seite identifiziert die spezifische Art des Schadens, wie etwa eine körperliche Verletzung, ein Verlust der Privatsphäre oder ein finanzieller Verlust. Indem das Framework Analysten dazu zwingt, ein Problem gleichzeitig durch diese verschiedenen Linsen zu betrachten, verhindert es den häufigen Fehler, das Falsche zu beschuldigen. Wenn beispielsweise ein System einen Kredit ungerechtfertigt ablehnt, hilft das Framework zu unterscheiden, ob der Fehler aus den Daten stammt, die zum Trainieren des Systems verwendet wurden, aus der Art und Weise, wie das Unternehmen die Regeln festgelegt hat, oder aus dem spezifischen Moment der Entscheidung.

Die Forscher testeten diese neue Landkarte anhand von realen Katastrophen und Beinahe-Unfällen. Sie untersuchten den tödlichen Crash eines selbstfahrenden Uber-Autos in Arizona, ein Fall, bei dem ein Fußgänger angefahren wurde. In der Vergangenheit hätten Menschen dies vielleicht einfach als „Automatisierungsfehler“ bezeichnet. Das neue Framework bricht dies in eine Kette spezifischer Ereignisse auf: Die Sensoren des Autos sahen die Person, identifizierten sie jedoch falsch; die Software war so programmiert, dass sie die Notbremsung deaktivierte, während der Computer fuhr; der menschliche Sicherheitsfahrer schaute auf ein Telefon; und das Unternehmen hatte das System unter diesen Bedingungen nicht angemessen getestet. Durch die Trennung dieser unterschiedlichen Fehler zeigt das Framework, dass die Behebung nur eines Teils, wie etwa der Sensoren, nicht ausgereicht hätte. Die Lösung erforderte Änderungen an der Softwarelogik, der menschlichen Aufsicht und der Sicherheitskultur des Unternehmens. Diese Detailtiefe ist es, die die Forscher als notwendig für echte Sicherheit erachten.

Das Paper thematisiert auch, wie Gesetze und Standards in dieses Bild passen. Gesetze sagen oft, was getan werden muss, wie etwa „Es muss ein Mensch in der Schleife sein“, aber sie erklären nicht immer, wie dieser Mensch mit der Maschine interagieren sollte, um effektiv zu sein. Die Forscher zeigen, dass die bloße Anwesenheit eines Menschen keine Garantie für Sicherheit ist, wenn diese Person abgelenkt oder überfordert ist. Ihr Framework behandelt rechtliche Regeln als eine separate Ebene, die die Grenzen setzt, während die technische Analyse sich auf die tatsächlichen Mechanismen des Versagens konzentriert. Diese Unterscheidung ist entscheidend, da ein Unternehmen alle Regeln auf dem Papier befolgen und dennoch ein gefährliches System haben kann, wenn die zugrunde liegenden Mechanismen fehlerhaft sind.

Eine der wichtigsten Erkenntnisse ist, dass die Forscher nicht behaupten, jedes mögliche Risiko gefunden zu haben. Sie stellen ausdrücklich klar, dass dies ein konzeptionelles Werkzeug ist – eine Art des Denkens statt einer endgültigen, unveränderlichen Liste aller Gefahren im Universum. Sie räumen ein, dass ihre Arbeit auf einer Überprüfung verfügbarer Dokumente und Fälle bis zu einem bestimmten Datum im Jahr 2026 basiert und dass sich die Technologie weiterentwickeln wird. Sie merken auch an, dass sie ihr Framework nicht auf einer massiven Skala mit realen Daten getestet haben, um zu beweisen, dass es besser als andere Methoden funktioniert. Stattdessen argumentieren sie, dass der Wert in der Klarheit liegt, die es bringt. Durch die Trennung der verschiedenen Rollen des Risikos – was es verursacht, wen es trifft und wie wir versuchen, es zu stoppen – bieten sie eine Sprache an, die Ingenieure, Juristen und Regulierungsbehörden nutzen können, ohne aneinander vorbeizureden.

Die Forscher untersuchten auch, wie neue Arten von künstlicher Intelligenz, wie etwa solche, die Werkzeuge benutzen oder eigenständig handeln können, die Landschaft verändern. Diese Systeme können Fehler machen, die sich stark von älteren, einfacheren Programmen unterscheiden. Ein System, das Code schreiben kann, könnte versehentlich wichtige Dateien löschen, oder ein System, das auf das Internet zugreifen kann, könnte dazu verleitet werden, private Informationen preiszugeben. Das Framework ist darauf ausgelegt, diese komplexen Szenarien zu handhaben, indem es den Pfad des Fehlers vom ursprünglichen Befehl bis zum Endergebnis nachverfolgt, einschließlich etwaiger Fehler der Menschen, die das System gebaut oder überwacht haben.

Letztendlich bietet das Paper einen Weg, die Risiken der künstlichen Intelligenz nicht länger als eine vage, beängstigende Wolke zu behandeln. Es ersetzt die Wolke durch einen strukturierten Satz von Fragen. Wer ist verantwortlich? Was genau ist kaputtgegangen? Welche Beweise haben wir? Welche Regeln gelten? Die Forscher schlagen vor, dass die Gesellschaft durch diesen strukturierten Ansatz von der bloßen Auflistung von Gefahren zu einem tatsächlichen Verständnis und Management übergehen kann. Sie versprechen nicht, dass dies alle Unfälle eliminieren wird, aber sie argumentieren, dass es ein notwendiger Schritt ist, um diese leistungsstarken Systeme sicherer und zuverlässiger zu machen. Die Arbeit steht als Vorschlag für eine bessere Denkweise, ein Werkzeug für Klarheit in einem Bereich, der oft von Verwirrung getrübt ist.