In der Welt der künstlichen Intelligenz lernen Maschinen zunehmend, Entscheidungen durch Versuch und Irrtum zu treffen, eine Methode, die als bestärkendes Lernen (Reinforcement Learning) bekannt ist. Stellen Sie sich einen digitalen Agenten vor, der eine neue Umgebung erkundet und verschiedene Aktionen ausprobiert, um zu sehen, welche zu Belohnungen führen – ganz so, wie ein Kind lernt, Fahrrad zu fahren, indem es hinfällt und wieder aufsteht. Dieser Ansatz hat Systeme hervorgebracht, die in der Lage sind, komplexe Spiele zu spielen und Roboter zu navigieren, bringt aber ein erhebliches Risiko mit sich: Die Maschine könnte lernen, ihr Ziel zu erreichen, indem sie etwas Gefährliches oder Verbotenes tut. Um dies zu verhindern, setzen Ingenieure einen Sicherheitsmechanismus namens Schild (Shield) ein. Betrachten Sie den Schild als einen wachsamen Aufseher, der die vorgeschlagenen Züge des Agenten beobachtet und alle blockiert, die gegen die Regeln verstoßen, sodass der Agent nur innerhalb einer sicheren Zone frei lernen kann. Jahrelang waren diese Aufseher statisch und basierten auf einem festen Satz von Regeln darüber, wie die Welt funktioniert. Sie setzen voraus, dass sich die Umgebung exakt so verhält, wie vorhergesagt – wie eine Landkarte, die sich niemals verändert. In der realen Welt jedoch ändern sich die Bedingungen, Sensoren fallen aus und unerwartete Ereignisse treten auf. Wenn die Umgebung gegen die Regeln verstößt, auf denen der Schild aufgebaut wurde, wird der Aufseher oft gelähmt oder übervorsichtig, was den Agenten daran hindert, etwas Nützliches zu tun, oder schlimmer noch, er verhindert ein Unglück nicht, weil seine Landkarte nicht mehr mit der Realität übereinstimmt.

Forscher des Imperial College London und der Universität von Buenos Aires haben einen neuen Weg entwickelt, um dieses Problem zu bewältigen, indem sie ein Sicherheitssystem geschaffen haben, das lernen und sich anpassen kann, wenn seine Annahmen widerlegt werden. Ihre Arbeit, die kürzlich auf einer Konferenz über neurosymbolisches Lernen vorgestellt wurde, konzentriert sich auf eine spezifische Art von logischem Rahmenwerk, das es diesen Sicherheitsaufsehern ermöglicht, sich selbst zu reparieren. Anstatt sich auf eine starre, unveränderliche Anweisung zu verlassen, überwacht ihr System die Umgebung in Echtzeit. Wenn die Umgebung sich auf eine Weise verhält, die den ursprünglichen Regeln widerspricht – etwa wenn eine Grubenpumpe auf eine gefährliche Gasbedingung stößt, die zuvor als unmöglich galt –, erkennt das System den Fehler. Es verwendet dann eine spezialisierte Lerntechnik, um seine eigenen Regeln umzuschreiben und einen neuen Weg zu finden, der die Sicherheit garantiert und gleichzeitig dem Agenten erlaubt, seine Aufgabe zu erfüllen. Dieser Prozess stellt sicher, dass der Agent auch dann sicher und effektiv bleibt, wenn die Welt sich nicht wie erwartet verhält, und schließt so die Lücke zwischen der starren Logik formaler Sicherheit und der unvorhersehbaren Natur des realen Lernens.

Der Kern dieser Innovation liegt darin, wie die Forscher das Konzept der „Liveness“ (Lebendigkeit) behandeln, also die Fähigkeit eines Systems, voranzukommen und schließlich seine Ziele zu erreichen, anstatt nur unmittelbare Gefahr zu vermeiden. In ihren Experimenten testeten sie zwei sehr unterschiedliche Szenarien. Das erste war ein simuliertes Grubenpumpensystem, ein klassisches Problem, bei dem ein Controller Wasser aus einer Mine pumpen muss, aber sofort stoppen muss, wenn Methangas entdeckt wird, um eine Explosion zu vermeiden. Die ursprünglichen Sicherheitsregeln gingen davon aus, dass hohes Wasseraufkommen und Methangas niemals gleichzeitig auftreten würden. In der realen Welt kann diese Annahme jedoch verletzt werden. Als die Forscher diese unmögliche Situation in ihre Simulation einführten, versagten die alten, statischen Sicherheitssteuerungen vollständig. Sie stoppten entweder die Pumpe komplett, wodurch die Mine überflutet wurde, oder sie ließen die Pumpe laufen, was das Risiko einer Explosion barg. Das neue adaptive System hingegen bemerkte den Widerspruch. Es erkannte, dass die Regel, dass Wasser und Gas niemals zusammen vorkommen, falsch war. Es aktualisierte daraufhin seine eigene Logik zu: „Wenn Gas vorhanden ist, pumpe nicht; aber wenn das Wasser hoch ist und kein Gas vorhanden ist, pumpe.“ Diese kleine, logische Reparatur ermöglichte es dem System, sicher und effizient weiterzuarbeiten, während die statischen Systeme feststeckten.

Der zweite Test fand in einer hochriskanten Spielumgebung namens Seaquest statt, in der ein Agent ein U-Boot steuert. Die Sicherheitsregeln basierten hier auf der Annahme, dass der Sauerstoffgehalt in einer stetigen, vorhersehbaren Rate sinken würde. Im Test änderten die Forscher das Spiel so, dass der Sauerstoff deutlich schneller sank, sobald ein bestimmter niedriger Wert erreicht wurde – ein Szenario, das der ursprüngliche Sicherheitsschild nicht vorgesehen hatte. Die statischen Schilde, die auf der alten, langsameren Sauerstoffabnahme basierten, wurden verwirrt. Sie blockierten entweder die Bewegung des U-Boots, wenn es sich bewegen musste, oder sie verhinderten nicht, dass der Sauerstoff vollständig aufgebraucht wurde. Der adaptive Schild hingegen bemerkte, dass der Sauerstoff schneller verschwand als erwartet. Er passte sein internes Weltmodell sofort an, indem er seine Erwartungen darüber abschwächte, wie lange das U-Boot unter Wasser bleiben konnte, während er gleichzeitig die absolute Garantie aufrechterhielt, dass der Sauerstoff niemals Null erreiche. Dies ermöglichte es dem U-Boot, das Spiel fortzusetzen, Taucher zu retten und Punkte zu sammeln, obwohl die Umgebung feindseliger geworden war, als es die ursprünglichen Regeln erlaubten.

Die Ergebnisse dieser Experimente waren klar und messbar. Im Szenario der Grubenpumpe erreichte das adaptive System eine perfekte Einhaltung der Sicherheit und behielt ein hohes Leistungsniveau bei, wobei es Belohnungen erzielte, die fast so hoch waren wie die der besten statischen Systeme, denen man erlaubt war, zu scheitern. Im Seaquest-Spiel ermöglichte der adaptive Schild dem Agenten, in fast jedem Versuch erfolgreich zu sein, während die ungeschützten Agenten und jene mit statischen Schilden häufig scheiterten, wenn sich die Umgebung änderte. Die Forscher fanden heraus, dass das System nur gelegentlich eingreifen musste, indem es die vorgeschlagene Aktion des Agenten in weniger als 20 Prozent der Schritte im Grubenpumpentest ersetzte und sogar noch seltener im Spiel. Diese geringe Interventionsrate zeigt, dass das System den Agenten nicht ständig mikromanagen muss; es greift nur ein, wenn die Umgebung die Regeln bricht, und tut dies durch die Aktualisierung seines eigenen Verständnisses dieser Regeln.

Was diesen Ansatz besonders leistungsstark macht, ist, dass er nicht einfach Wahrscheinlichkeiten errät oder versucht, ein perfektes Modell der Welt zu erlernen, was in komplexen Situationen unmöglich sein kann. Stattdessen konzentriert er sich auf die logische Struktur der Sicherheitsregeln selbst. Wenn eine Verletzung auftritt, nutzt das System eine Methode namens induktive Logikprogrammierung (Inductive Logic Programming), um die einfachste Änderung der Regeln zu finden, die die Situation wieder möglich macht. Das bedeutet, dass die Änderungen transparent und verständlich sind; ein menschlicher Ingenieur kann die neuen Regeln einsehen und genau verstehen, warum das System beschlossen hat, sein Verhalten anzupassen. Die Forscher demonstrierten, dass diese Methode die Fähigkeit des Agenten bewahrt, Leistung zu lernen und zu optimieren, wodurch die Falle vermieden wird, in der Sicherheitsmaßnahmen den Agenten so vorsichtig machen, dass er seinen Job nicht mehr erledigen kann. Indem sie den Sicherheitsschild ermöglichen, sich parallel zur Umgebung zu entwickeln, wahrt das System ein Gleichgewicht zwischen strenger Sicherheit und praktischer Effektivität.

Die Studie hob auch die Grenzen aktueller Methoden hervor. Die Forscher zeigten, dass das Vertrauen auf feste, handgefertigte Regeln eine fragile Strategie ist. Wenn die Umgebung von den Designannahmen abweicht, werden statische Controller oft nutzlos, indem sie entweder jegliche Aktion blockieren oder dadurch versagen, Schaden zu verhindern. Der adaptive Ansatz bewies, dass es möglich ist, robuste Systeme gegen diese unerwarteten Änderungen zu bauen, ohne die Fähigkeit zu lernen zu opfern. Die Forscher merkten jedoch an, dass diese Methode derzeit am besten in Umgebungen funktioniert, die mit klaren, diskreten Schritten beschrieben werden können, wie etwa bei der Grubenpumpe oder der spezifischen Mechanik des Videospiels. In Welten mit kontinuierlichen, fluiden Dynamiken könnte die erforderliche logische Abstraktion schwieriger zu definieren sein. Zudem benötigt der Prozess der Reparatur der Regeln Zeit, und für sehr große oder komplexe Systeme könnte die Geschwindigkeit dieser Reparatur zu einem Engpass werden. Trotz dieser Herausforderungen stellt die Arbeit einen bedeutenden Schritt nach vorn dar, um künstliche Intelligenz sicherer und zuverlässiger zu machen. Sie deutet auf eine Zukunft hin, in der Sicherheitssysteme nicht nur starre Barrieren sind, sondern intelligente Partner, die verstehen können, wenn sich die Welt verändert, und ihren Schutz entsprechend anpassen – um sicherzustellen, dass Maschinen auch angesichts des Unbekannten sicher operieren können.