Stellen Sie sich vor, Sie bauen einen Roboter-Koch. Sie bringen ihm das Kochen bei, indem Sie ihn seine eigenen Gerichte schmecken lassen und das Rezept anpassen lassen. Wenn der Roboter den Toast verbrennt, möchten Sie, dass er es sofort merkt, damit er die Hitze reduzieren kann. Aber was, wenn die Geschmacksknospen des Roboters defekt sind? Was, wenn er den verbrannten Toast schmeckt und denkt: „Mmm, perfekt!“? Der Roboter verbrennt ständig Toast, die Küche füllt sich mit Rauch, und niemand weiß, dass etwas schiefgelaufen ist, bis das Haus Feuer fängt. Das ist die beängstigende Realität moderner Künstlicher Intelligenz. Wissenschaftler entwickeln unglaublich intelligente KI-Systeme, die Geschichten schreiben, mathematische Probleme lösen und sogar Rechtsberatung geben können. Aber diese Systeme sind komplex, und manchmal versagen sie auf eine Weise, die für die Werkzeuge, mit denen wir sie überprüfen, unsichtbar ist. Wir nennen das „stilles Versagen“ (Silent Failure). Es ist wie ein Auto, das mit einem defekten Tacho fährt, der immer „60 mph“ anzeigt, selbst wenn das Auto eigentlich mit 100 rast oder mit 10 kriecht. Wenn die Verantwortlichen nur auf den Tacho schauen, haben sie keine Ahnung, dass das Auto in Schwierigkeiten steckt, bis es kracht.

Dieses Papier, geschrieben von der Forscherin Priyanka Bajaj, untersucht eine spezifische Art des unsichtbaren Versagens namens Evaluation Blindness (Evaluationsblindheit). Das ist eine schicke Art zu sagen, dass unsere „Check-up“-Werkzeuge blind für bestimmte Probleme sind. Das Papier argumenttiert, dass diese Blindheit an zwei sehr unterschiedlichen Stellen auftritt: während die KI trainiert wird (lernt) und nachdem sie eingesetzt wurde (im echten Einsatz arbeitet). Die Autorin schlägt vor, dass wir diese beiden Probleme als getrennte Themen behandeln, sie aber in Wirklichkeit derselbe strukturelle Fehler sind: Das Messwerkzeug sagt „alles ist in Ordnung“, selbst wenn das System defekt ist. Durch den Blick auf reale Katastrophen, wie etwa einen Anwalt, der Ärger bekommt, weil eine KI gefälschte Gerichtsfälle generiert hat, oder einen Fluggesellschaft-Chatbot, der erfundene Richtlinien erfindet, zeigt das Papier, dass über die Hälfte dieser öffentlichen Ausfälle für Standard-Überwachungssysteme völlig unsichtbar war, bis jemand zu Schaden kam. Die Autorin schlägt eine neue Art vor, diese Ausfälle zu kategorisieren, sowie ein „Failure Budget“-System (Fehlerbudget), welches wie ein Sicherheitslimit ist, das festlegt, wie viele Fehler eine spezifische KI machen darf, bevor sie abgeschaltet wird, abhängig davon, wie gefährlich ihr Job ist.

Der große unsichtbare Glitch

Tauchen wir ein in das Herz des Rätsels. Das Papier führt das Konzept der Evaluation Blindness ein. Stellen Sie sich vor, Sie sind ein Lehrer, der den Aufsatz eines Schülers bewertet. Wenn der Schüler einen schrecklichen Aufsatz voller Lügen schreibt, aber Ihr Bewertungsraster defekt ist und ihm trotzdem eine „A“ gibt, haben Sie „Evaluationsblindheit“. Der Schüler versagt, aber Ihre Messung sagt, dass er Erfolg hat.

In der Welt der KI passiert dies, wenn die Computerprogramme, die wir verwenden, um zu prüfen, ob eine KI korrekt arbeitet (die „Messfunktion“), ein Ergebnis liefern, das normal aussieht, obwohl die KI tatsächlich etwas falsch macht. Das Papier definiert dies formal: Wenn eine KI versagt, aber unsere Werkzeuge nicht zwischen diesem Versagen und einem gesunden Zustand unterscheiden können und kein anderer Alarm losgeht, haben wir Evaluationsblindheit.

Die Autorin weist darauf hin, dass dies nicht nur ein einmaliger Glitch ist; es ist ein strukturelles Problem, das in zwei unterschiedlichen Phasen im Leben einer KI auftreten kann:

1. Trainingszeit: Dies ist die Zeit, in der die KI lernt. Stellen Sie sich vor, ein Schüler bereitet sich auf eine Prüfung vor. Wenn der Lehrer (das Belohnungssystem der KI) dem Schüler versehentlich einen goldenen Stern dafür gibt, den Lösungsschlüssel auswendig zu lernen, anstatt das Verständnis für die Mathematik zu zeigen, wird der Schüler beim Übungstest eine perfekte Punktzahl erreichen, aber bei der echten Prüfung versagen. Das Papier gibt ein konkretes Beispiel hierfür: ein Bug in einer populären Open-Source-Bibliothek (TRL), bei dem eine mathematische Berechnung leicht falsch war. Das Training der KI sah perfekt aus – der „Loss“ (ein Wert dafür, wie falsch man liegt) sank und die Belohnungen stiegen. Aber die KI lernte eigentlich das Falsche, weil die Mathematik hinter den Kulissen kaputt war. Niemand bemerkte es, bis jemand den Code mit den ursprünglichen Anweisungen verglich.
2. Deployment-Zeit (Einsatzzeit): Dies ist die Zeit, in der die KI in der realen Welt unterwegs ist und Menschen hilft. Hier tritt die „Blindheit“ auf, wenn die Überwachungswerkzeuge nicht erkennen, dass die KI vom Kurs abweicht. Wenn zum Beispiel eine KI mit der Zeit beginnt, leicht andere Antworten zu geben (Drift) oder wenn die Datenbank, aus der sie Informationen zieht, veraltet ist, könnte die KI falsche Ratschläge geben. Aber wenn das Überwachungssystem nur prüft, ob die KI „online“ ist und nicht „abstürzt“, wird es den Fehler nicht sehen. Das Papier stellt fest, dass in 53 % der untersuchten realen Vorfälle der Fehler völlig lautlos war. Keine Alarme gingen los, keine Fehlermeldungen erschienen. Der Fehler wurde erst entdeckt, als ein Mensch zu Schaden kam oder ein Anwalt sanktioniert wurde.

Die sechs Wege, wie KI (still) schiefgehen kann

Um uns zu helfen, diese unsichtbaren Fehler zu verstehen, hat die Autorin eine „Taxonomie“ erstellt, was einfach nur ein schickes Wort für ein Klassifizierungssystem ist. Sie hat 50 reale KI-Ausfälle in sechs Eimer sortiert. Betrachten Sie dies als die sechs verschiedenen Arten, wie ein Roboter-Koch Mist bauen kann, ohne dass die Sensoren in der Küche es bemerken:

• C1: Model Drift (Das langsame Verblassen): Die KI ändert ihr Verhalten langsam über die Zeit, wie ein Radiosender, der langsam seine Frequenz verschiebt, bis die Musik seltsam klingt. Die KI hat kein Software-Update erhalten; sie ist einfach abgedriftet. Dies ist oft ein stiller Fehler, weil die KI immer noch „funktioniert“, nur eben anders.
• C2: Infrastruktur (Der kaputte Ofen): Die KI selbst ist in Ordnung, aber der Computer oder Server, auf dem sie läuft, hat Probleme. Vielleicht ist der Ofen zu heiß oder der Strom flackert. Diese sind meist leicht zu erkennen, da das System abstürzt oder langsam wird, daher sind sie meist nicht „blind“.
• C3: Integration (Der schlechte Übersetzer): Die KI kommuniziert mit anderen Teilen des Systems (wie einer Datenbank oder einem Tool) und sie missverstehen sich. Vielleicht fragt die KI nach einem Rezept, aber die Datenbank schickt eine Liste von Zutaten vom letzten Jahr zurück. Die KI kocht dann mit alten Zutaten. Dies ist oft ein stiller Fehler, weil die KI glaubt, genau das zu tun, was ihr befohlen wurde.
• C4: Evaluation (Das kaputte Lineal): Dies ist die metatesteste und gefährlichste Kategorie. Das Werkzeug, das die KI überprüft, ist kaputt. Es ist, als würde man ein Lineal benutzen, das gedehnt wurde, um einen Tisch zu messen; der Tisch sieht kürzer aus, als er ist. Wenn Ihre „Qualitätskontrolle“ kaputt ist, könnten Sie denken, die KI sei perfekt, während sie eigentlich schrecklich ist. Das Papier fand heraus, dass 100 % der Ausfälle in dieser Kategorie per Definition still sind, weil das Ding, das den Fehler erfassen soll, dasjenige ist, das kaputt ist.
• C5: Safety & Compliance (Das illegale Rezept): Die KI bricht die Regeln, wie zum Beispiel medizinischen Rat zu geben, den sie nicht geben darf, oder erfundene Gerichtsfälle zu kreieren. Das Papier hebt einen berühmten Fall hervor, in dem ein Anwalt eine KI nutzte, um eine Klageschrift mit sechs gefälschten Gerichtsfällen zu schreiben. Die KI tat genau das, was ihr gesagt wurde, aber der Mensch prüfte die Fakten nicht. Der Fehler war still, bis der Richter es bemerkte.
• C6: Operational (Die fehlende Bedienungsanleitung): Die KI und die Computer sind in Ordnung, aber die Menschen, die sie betreiben, haben keinen Plan, was zu tun ist, wenn Dinge schiefgehen. Es gibt keine Checkliste, keinen Alarm und niemand weiß, wen er anrufen soll. Dies ist ein Versagen des Prozesses, nicht der Maschine.

Die stille Mehrheit

Eine der größten Erkenntnisse des Papers ist etwas beängstigend: 53 % der untersuchten realen KI-Ausfälle waren still. Das bedeutet, dass die Systeme in mehr als der Hälfte der Fälle nicht geschrien haben: „Ich bin kaputt!“ Sie machten einfach weiter und taten das Falsche, bis jemand den Schaden bemerkte.

Das Papier argumentt, dass wir KI-Ausfälle die falsche Richtung betrachtet haben. Wir neigen dazu zu denken: „Ist das Modell intelligent genug?“ Aber die eigentliche Frage sollte sein: „Ist unser Messsystem intelligent genug, um das Modell zu erwischen, wenn es falsch liegt?“ Die Autorin schlägt vor, dass wir unsere Überwachungswerkzeuge als kritischen Teil des Systems betrachten müssen, genau wie den Motor in einem Auto. Wenn der Motor großartig ist, aber der Tacho kaputt ist, sind Sie trotzdem in Gefahr.

Das „Failure Budget“ (Fehlerbudget)

Um dies zu beheben, schlägt die Autorin eine neue Idee vor: ein Failure Budget. Stellen Sie sich vor, Ihnen ist eine bestimmte Anzahl an Fehlern pro Tag erlaubt, abhängig von dem, was Sie tun.

• Wenn Sie etwas Gefährliches tun, wie etwa darüber entscheiden, wer einen Kredit bekommt oder medizinischen Rat zu geben (Decision-Critical), ist Ihr Budget winzig. Sie dürfen vielleicht nur 1 Fehler pro 1.000 Anfragen machen. Wenn Sie dieses Limit erreichen, stoppen Sie und beheben die Dinge.
• Wenn Sie etwas weniger Risikoreiches tun, wie ein internes Suchwerkzeug für ein Unternehmen (Internal Productivity), können Sie sich mehr Fehler leisten, vielleicht 20 pro 1.000.
• Wenn Sie nur im Labor experimentieren (Experimental), können Sie viele Fehler machen, vielleicht 100 pro 1.000, da niemand zu Schaden kommt.

Dieser Rahmen zwingt Teams dazu, bevor sie die KI bauen, zu entscheiden: „Wie viel Risiko sind wir bereit einzugehen?“ und „Haben wir die richtigen Werkzeuge, um Fehler auf diesem Niveau zu erfassen?“ Es geht nicht nur darum, die KI intelligenter zu machen; es geht darum, ein Sicherheitsnetz zu bauen, das der Gefahr des Jobs entspricht.

Warum das wichtig ist

Das Papier kommt zu dem Schluss, dass „Evaluation Blindness“ der verborgene Feind der KI-Sicherheit ist. Ob es ein Bug im Trainingscode ist, der die KI falsche Lektionen lehrt, oder ein defektes Überwachungssystem, das eine Sicherheitsverletzung übersieht – das Ergebnis ist dasselbe: Das System versagt still.

Die Autorin sagt nicht, dass die KI zum Scheitern verurteilt ist. Stattdessen sagt sie, dass wir unsere Denkweise ändern müssen. Wir können uns nicht nur darauf konzentrieren, die KI intelligenter zu machen; wir müssen uns darauf konzentrieren, unsere „Check-up“-Werkzeuge intelligenter zu machen. Wir müssen Systeme bauen, die erkennen können, wenn die KI abdriftet, wenn die Daten veraltet sind oder wenn die Regeln gebrochen werden. Und wir müssen dies in jeder einzelnen Phase des Lebenszyklus der KI tun, von ihrem ersten Tag des Trainings bis zu ihrem letzten Arbeitstag.

Durch die Nutzung des „Failure Budget“ und das Verständnis der sechs Arten von Fehlern können wir aufhören darauf zu warten, dass eine Katastrophe eintritt, bevor wir merken, dass unsere KI die ganze Zeit blind war. Es ist ein Aufruf zum Handeln an Ingenieure, Juristen und jeden, der KI entwickelt: Überprüfen Sie Ihre Lineale, beheben Sie Ihre blinden Flecken und stellen Sie sicher, dass Ihre Sicherheitsnetze stark genug sind, um die unsichtbaren Stürze aufzufangen.