Stellen Sie sich vor, Sie sind der Kapitän eines Raumschiffs, das durch ein dichtes, nebliges Asteroidenfeld navigiert. Der Computer Ihres Schiffes ist unglaublich intelligent, wurde aber nur darauf trainiert, die spezifischen Formen der Asteroiden zu erkennen, die es während seines Trainingslagers gesehen hat. Während Sie tiefer in den Weltraum vordringen, stoßen Sie auf seltsame, neue Objekte: schwebende Eiswürfel, leuchtende Quallen und metallische Wolken. Dies sind „Out-of-Distribution“ (OOD)-Eingaben – Dinge, die der Computer noch nie gesehen hat. Wenn der Computer ein gefährliches, unbekanntes Objekt für einen sicheren Asteroiden hält, könnte Ihr Schiff abstürzen. Dies ist der Kern des Problems der Out-of-Distribution (OOD)-Erkennung: einer KI beizubringen, zu sagen: „Ich weiß nicht, was das ist“, anstatt zu raten und potenziell einen fatalen Fehler zu begehen.

Um dieses Problem zu lösen, bauen Wissenschaftler normalerweise ein „Scorecard“-System auf. Der Computer gibt jedem Objekt eine Punktzahl: Hohe Punktzahlen bedeuten „Ich bin sicher, dass dies ein normaler Asteroid ist“, und niedrige Punktzahlen bedeuten „Das sieht merkwürdig aus“. Sie ziehen dann eine Linie, einen Schwellenwert (Threshold), um zu entscheiden, wann Alarm geschlagen wird. Wenn die Punktzahl unter der Linie liegt, hält man an und bittet einen menschlichen Experten um Hilfe. Der schwierige Teil ist das Festlegen dieser Linie. Wenn Sie sie zu hoch ansetzen, könnten Sie gefährliche Objekte übersehen (ein „False Negative“). Wenn Sie sie zu niedrig ansetzen, könnten Sie das Schiff wegen jedes kleinen Kieselsteins anhalten, was Zeit und Treibstoff verschwendet (ein „False Positive“). In sicherheitskritischen Aufgaben wie der medizinischen Diagnose oder selbstfahrenden Autos kann ein False Positive genauso schlimm sein wie ein False Negative; man möchte weder, dass ein Arzt einem gesunden Patienten Krebs diagnostiziert, noch dass ein Auto ein echtes Hindernis ignoriert.

Dieses Paper mit dem Titel ASAT befasst sich mit der Frage, wie man diese Scorecard und die Alarmlinie perfekt hält, selbst wenn sich das Universum um das Schiff herum verändert. Die Autoren, Daisuke Yamada, Harit Vishwakarma und Ramya Korlakai Vinayak, schlagen ein neues System vor, das nicht einfach eine Regel festlegt und sie dann vergisst. Stattdessen haben sie ein „Human-in-the-Loop“-Framework entwickelt, das vor Ort lernt. Sie stellten fest, dass alte Methoden, die auf einer festen Scorecard und einer statischen Linie basieren, oft versagen, wenn sich die „merkwürdigen“ Objekte im Laufe der Zeit verändern. Ihr neuer Ansatz, ASAT, aktualisiert sowohl die Scorecard als auch die Alarmlinie ständig auf Basis von Echtzeit-Feedback menschlicher Experten, um sicherzustellen, dass das System sicher bleibt und gleichzeitig intelligenter wird.

Das Problem mit „Einstellen und Vergessen“

Stellen Sie sich vor, Sie sind ein Sicherheitswachmann in einem Museum. Ihnen wird eine Liste berühmter Gemälde gegeben (die „In-Distribution“ oder ID-Daten) und man sagt Ihnen, Sie sollen jeden aufhalten, der eine Fälschung trägt. Sie erstellen eine Regel: „Wenn das Gemälde zu mehr als 95 % wie ein echtes aussieht, lassen Sie es passieren.“ So funktionieren die meisten aktuellen KI-Systeme. Sie werden auf bekannten Daten trainiert und legen einen Schwellenwert fest, um 95 % der echten Dinge zu erfassen.

Aber hier ist der Haken: Das Paper weist darauf hin, dass diese Methode eine große Lücke in Ihrer Sicherheit hinterlässt. Während Sie damit beschäftigt sind, 95 % der echten Gemälde zu erfassen, lassen Sie möglicherweise versehentlich 90 % der Fälschungen durch, weil Ihre Regel auf der „merkwürdigen“ Seite zu locker war. In der Welt der KI wird dies als hohe False Positive Rate (FPR) bezeichnet. In einem medizinischen Kontext bedeutet dies, dass die KI einem gesunden Menschen einen Tumor diagnostizieren könnte, was unnötige Panik und teure Tests verursacht. Das Paper argumentt, dass es gefährlich ist, lediglich auf eine hohe „True Positive Rate“ (das Erfassen der guten Sachen) abzuzielen, ohne die „False Positive Rate“ (nicht ständig Fehlalarm zu schlagen) streng zu kontrollieren.

Darüber hinaus ist die alte Methode starr. Stellen Sie sich vor, das Museum erhält plötzlich eine neue Art von Fälschung: Hologramme. Ihre alte Regel, die für Papierfälschungen entwickelt wurde, funktioniert bei Hologrammen möglicherweise überhaupt nicht. Das System bleibt stecken, unfähig sich anzupassen, weil es nie darauf trainiert wurde, seine Regeln nach der Türöffnung zu ändern.

Hier kommt ASAT: Der adaptive Sicherheitswachmann

Die Autoren schlagen ASAT (Adaptive Scoring and Thresholding with Human Feedback) vor. Betrachten Sie ASAT nicht als einen Roboter mit einem statischen Regelbuch, sondern als einen Detektiv, der aus jedem Fall lernt.

So geschieht die Magie:

1. Die Scorecard (Scoring-Funktion): Anstatt eine feste Formel zu verwenden, um zu beurteilen, wie „merkwürdig“ ein Objekt ist, kann ASAT seine eigene Formel umschreiben. Wenn es ein bestimmtes Merkmal eines merkwürdigen Objekts immer wieder falsch identifiziert, fragt es einen menschlichen Experten: „Hey, ist das eine Fälschung?“ Wenn der Mensch sagt: „Ja, das ist ein Hologramm“, aktualisiert ASAT seine interne Scorecard, um Hologramme beim nächsten Mal besser zu erkennen.
2. Die Alarmlinie (Threshold): Die Linie, die entscheidet, wann das Schiff angehalten wird, ist ebenfalls nicht statisch. ASAT bewegt diese Linie nach oben oder unten, um sicherzustellen, dass niemals mehr als ein winziger, sicherer Prozentsatz an Fälschungen durchkommt (strenge Kontrolle der FPR).
3. Der Human Loop: Das System ist intelligent genug, um zu wissen, wann es unsicher ist. Wenn ein Objekt direkt an der Grenze der Alarmlinie liegt, hält ASAT inne und bittet einen Menschen um das wahre Label. Dieses menschliche Feedback ist der Treibstoff, der die Aktualisierungen antreibt.

Das Paper zeigt, dass ASAT ein „Human-in-the-Loop“-Framework ist. Es rät nicht nur; es lernt. Wenn eine neue Art von OOD-Daten erscheint (wie die Hologramme), passt ASAT seine Scoring-Funktion und den Schwellenwert gleichzeitig an.

Was sie herausgefunden haben: Schlauer und Sicherer

Die Forscher testeten ASAT auf einem berühmten Benchmark namens OpenOOD, wobei sie Datensätze wie CIFAR-10 (der als „normale“ Daten dient) und verschiedene andere Datensätze als „merkwürdige“ Daten verwendeten. Sie verglichen ASAT mit zwei anderen Methoden:

• FSFT: Eine feste Scorecard und ein fester Schwellenwert (der alte, starre Weg).
• FSAT: Eine feste Scorecard, aber ein adaptiver Schwellenwert (ein Mittelweg).

In ihren Experimenten waren die Ergebnisse eindeutig. Die alten festen Methoden (FSFT) hatten oft sehr hohe False-Positive-Raten und ließen manchmal zwischen 32 % und 91 % der „merkwürdigen“ Daten als normal durchgehen. Das ist eine Katastrophe für die Sicherheit. Die FSAT-Methode war besser darin, die Fehlalarme zu kontrollieren, aber da sie ihre Scorecard nicht ändern konnte, verpasste sie viele der „merkwürdigen“ Objekte, die ein intelligenteres System hätte identifizieren können.

ASAT hingegen schaffte beides. Es hielt die False-Positive-Rate strikt unter dem Ziel von 5 % (dem Sicherheitslimit) und verbesserte gleichzeitig die True-Positive-Rate signifikant. In einigen Tests verbesserte ASAT die Fähigkeit, die „merkwürdigen“ Objekte zu erfassen, um über 40 % gegenüber den besten festen Methoden.

Das Paper untersuchte auch, was passiert, wenn sich die „merkwürdigen“ Objekte plötzlich ändern (ein nicht-stationäres Szenario). Stellen Sie sich vor, das Museum wechselt über Nacht von Papierfälschungen zu Hologrammen. Die alten Systeme werden verwirrt und lassen Fälschungen durch. ASAT hingegen erkennt schnell, dass sich das Muster verschoben hat. Es nutzt das neue menschliche Feedback, um seine Scorecard und seinen Schwellenwert zu aktualisieren und kehrt mit nur einem kurzen, vorübergehenden Anstieg der Fehler in einen sicheren Zustand zurück.

Das Sicherheitsnetz: Wie sie wissen, dass es funktioniert

Sie fragen sich vielleicht: „Wenn das System seine eigenen Regeln ändert, wie wissen wir, dass es nicht kaputtgeht?“ Die Autoren haben nicht nur Simulationen durchgeführt und gehofft, dass es gut geht; sie haben ein mathematisches Sicherheitsnetz gebaut. Sie haben theoretisch bewiesen, dass ASAT, solange die „merkwürdigen“ Objekte eine Zeit lang gleich bleiben (stationäre Bedingungen), garantiert, dass die False-Positive-Rate jederzeit unter dem vom Benutzer festgelegten Limit (z. B. 5 %) bleibt.

Sie verwendeten ein cleveres statistisches Werkzeug namens „Time-Uniform Confidence Sequence“. Stellen Sie sich ein Sicherheitsnetz vor, das sich dehnt und zusammenzieht, während Sie über einen Drahtseilakt gehen. Selbst während das System lernt und sich verändert, stellt dieses mathematische Netz sicher, dass die Wahrscheinlichkeit eines Sturzes (eines Fehlers) das Sicherheitslimit niemals überschreitet. Sie zeigten, dass die Sicherheitsgarantie auch dann Bestand hat, wenn das System aus Daten lernt, die von seinen eigenen vorherigen Entscheidungen abhängen (eine mathematisch knifflige Situation).

Das Fazit

Das Paper kommt zu dem Schluss, dass ASAT ein bedeutender Schritt nach vorn für die KI-Sicherheit ist. Es löst zwei der größten Probleme der aktuellen OOD-Erkennung: die Tendenz zu zu vielen Fehlalarmen und die Unfähigkeit, aus neuen, ungesehenen Bedrohungen zu lernen. Indem es dem System ermöglicht, seine „Scorecard“ und „Alarmlinie“ mit Hilfe menschlicher Experten anzupassen, schafft ASAT ein System, das nicht nur sicherer, sondern auch effizienter ist, da es im Laufe der Zeit weniger menschliche Intervention benötigt, weil es immer besser bei der Arbeit wird.

Obwohl die Autoren anmerken, dass ihre aktuellen Garantien darauf beruhen, dass die „merkwürdigen“ Daten einigermaßen konsistent bleiben und dass verrauschtes menschliches Feedback eine Herausforderung sein könnte, haben sie den Grundstein für eine Zukunft gelegt, in der KI-Systeme sicher durch das Unbekannte navigieren können, indem sie in Echtzeit lernen und sich anpassen, ohne ihre Sicherheitsleitplanken zu verlieren.