Moderne Maschinen treffen zunehmend eigene Entscheidungen in der realen Welt, von selbstfahrenden Autos, die durch belebte Straßen navigieren, bis hin zu Drohnen, die Pakete ausliefern. Diese Systeme verlassen sich oft auf komplexe Computerprogramme, einschließlich künstlicher Intelligenz, die als „Black Boxes“ fungieren. Wir wissen, dass sie funktionieren, aber wir können nicht immer genau sehen, wie sie denken oder jede mögliche Bewegung vorhersehen, die sie machen könnten. Um sicherzustellen, dass diese Maschinen sicher sind, nutzen Ingenieure eine Technik namens Abstraktion. Sie ersetzen die komplizierte, kontinuierliche Realität eines sich bewegenden Objekts durch ein einfacheres, schrittweises Modell aus distinkten Blöcken. Dies ermöglicht es ihnen zu prüfen, ob die Maschine abstürzt oder versagt, noch bevor sie das Labor verlässt. Es gibt jedoch einen Haken. Um sicher zu sein, müssen diese vereinfachten Modelle konservativ sein; sie müssen das Worst-Case-Szenario für jede Bewegung annehmen. Wenn sie zu konservativ sind, werden sie überladen mit unmöglichen, imaginären Gefahren, die niemals tatsächlich auftreten. Dieses „Fehlalarm“-Problem macht die Modelle so groß und unübersichtlich, dass Computer sie nicht rechtzeitig analysieren können, was Ingenieure daran hindert, die Sicherheit der von ihnen gebauten Systeme zu zertifizieren.

Ein Forschungsteam an der University of Florida hat eine neue Methode entwickelt, um diesen Balanceakt zu lösen. Sie haben ein Werkzeug namens S3 entwickelt, das als glatter Leitfaden zur Verfeinerung dieser vereinfachten Modelle dient. Anstatt zu raten, wie die Blöcke des Modells anzuordnen sind, haben die Forscher ein mathematisches Ziel (Objective) gebaut, das mithilfe standardmäßiger Optimierungstechniken angepasst und verbessert werden kann. Dieses Werkzeug ermöglicht es ihnen, die Größe und Form der Blöcke des Modells automatisch anzupassen, um unnötige imaginäre Gefahren zu entfernen und gleichzeitig das Modell sicher zu halten. Durch das Testen dieses Ansatzes an drei verschiedenen Szenarien – einem spiralförmigen System, einem Einrad-ähnlichen Roboter und einem simulierten Auto, das einen Hügel hinaufsteigt – fanden sie heraus, dass ihre Methode Modelle erzeugt, die weit präziser und viel schneller zu berechnen sind als bisherige Techniken. Das Ergebnis ist ein Weg, die Sicherheit komplexer, intelligenter Maschinen zu verifizieren, ohne sich in übermäßigen, unrealistischen Warnungen zu verzetteln.

Die Kernherausforderung bei der Verifizierung dieser Maschinen liegt im Spannungsfeld zwischen Sicherheit und Praktikabilität. Wenn Ingenieure ein vereinfachtes Modell eines beweglichen Systems bauen, müssen sie sicherstellen, dass jede mögliche reale Bewegung durch das Modell abgedeckt ist. Wenn das Modell einen realen Pfad übersieht, ist es unsicher. Um dies zu garantenieren, enthält das Modell oft zusätzliche Pfade, die die reale Maschine niemals nehmen könnte. Diese zusätzlichen Pfade sind die zuvor erwähnten „spuriösen“ Verhaltensweisen. Sie sind vergleichbar mit dem Zeichnen einer Karte, die jede mögliche Straße enthält, einschließlich solcher, die durch Wände blockiert sind oder in eine Klippe führen, nur um sicherzuge Stelle zu gehen, dass man keine gültige Route verpasst hat. Während dies sicherstellt, dass man keine reale Gefahr übersieht, erzeugt es eine Karte, die so überfüllt mit Sackgassen ist, dass sie für die Reiseplanung unbrauchbar wird. Die Forscher mussten einen Weg finden, diese Sackgassen zu beschneiden, ohne echte Straßen abzuschneiden.

Um dies zu erreichen, konzentrierte sich das Team auf eine spezifische Art von mathematischer Beziehung namens Simulation. In diesem Kontext ist eine Simulation eine Methode, um zu prüfen, ob das vereinfachte Modell das Verhalten des realen Systems nachahmen kann. Wenn das Modell „sound“ (stimmig/valide) ist, bedeutet dies, dass das reale System niemals etwas tun kann, was das Modell nicht zulässt. Die Forscher wollten den „Reverse Simulation“-Fehler minimieren, der misst, wie sehr das Modell die Möglichkeiten des Systems überschätzt. Ein hoher Fehler bedeutet, dass das Modell zu konservativ ist, also voller falscher Pfade steckt. Das Problem war, dass die Standardmethode, um diesen Fehler zu messen, zu langsam und zu „zackig“ (unstetig) war, um automatisch verbessert werden zu können. Es war, als versuche man, ein zerknittertes Blatt Papier von Hand glattzustreichen, Falbe für Falbe, ohne ein Werkzeug, das die Finger führt.

Der Durchbruch der Forscher bestand darin, einen „Surrogat“ (Ersatzwert) zu schaffen, einen glatten, leicht zu berechnenden Stellvertreter für die schwierige Fehlermessung. Sie leiteten eine neue Zielfunktion ab, die den Worst-Case-Fehler approximiert, sich aber glatt verhält, sodass Computer Gradienten-basierte Optimierung verwenden können. Denken Sie daran als den Ersatz eines zackigen, felsigen Gebirgspfades durch einen glatten, sanft gewellten Hügel, der zum selben Ziel führt. Indem der Computer dem Hang dieses glatten Hügels folgt, kann er die beste Anordnung der Blöcke des Modells schnell finden. Dieser Prozess beinhaltet das Anpassen der Lücken zwischen den Blöken, indem sie je nach der Stelle, an der sich das System am unvorhersehbarsten bewegt, breiter oder schmaler gemacht werden. Die Methode garantiert, dass das resultierende Modell durch Konstruktion sicher bleibt, was bedeutet, dass es niemals einen realen Pfad übersieht, aber die falschen Pfade aggressiv eliminiert.

Das Team testete diesen Ansatz an drei unterschiedlichen Systemen, um zu sehen, ob er in der Praxis funktioniert. Das erste war ein einfaches zweidimensionales System, das spiralförmig auf ein Ziel zusteuert. Das zweite war ein dreidimensionaler Einrad-Roboter, der um ein Hindernis herum navigieren musste, um ein Ziel zu erreichen. Das dritte war eine Simulation eines Autos, das versucht, einen steilen Hügel hinaufzufahren – eine klassische Herausforderung in der Robotik, bei der das Auto Schwung aufbauen muss, um den Gipfel zu erreichen. In jedem Fall verglichen sie ihre neue Methode mit zwei etablierten Strategien: einer, die das Modell nur verfeinert, wenn sie einen spezifischen Fehler findet, und einer, die versucht, die Gittergröße mithilfe einer festen Form zu optimieren. Die Ergebnisse zeigten, dass die neue Methode signifikant schneller war. Für den Einrad-Roboter benötigte der neue Ansatz etwa 140 Sekunden, um das Modell aufzubauen und zu verifizieren, während die ältere Verfeinerungsmethode über 1.900 Sekunden dauerte. Für das Auto beim Hügelauffahrt dauerte die neue Methode etwa 12 Sekunden im Vergleich zu fast 100 Sekunden bei der älteren Methode.

Über die Geschwindigkeit hinaus verbesserte sich auch die Qualität der Modelle. Die Forscher maßen, wie gut die neuen Modelle das Verhalten des Systems vorhersagten, und stellten fest, dass sie wesentlich weniger konservativ waren. Im Einrad-Test reduzierte die neue Methode den durchschnittlichen Fehler um eine signifikante Menge, was bedeutete, dass das Modell weit weniger unmögliche Pfade enthielt. Für das Auto am Hügel ermöglichte die neue Methode die Verifizierung eines größeren Teils der Startpositionen, die tatsächlich zum Erfolg führen würden. Dies ist entscheidend, da ein zu konservatives Modell einem Ingenieur sagen könnte, dass ein Auto von einem bestimmten Punkt aus nicht in der Lage ist, den Hügel zu erklimmen, obwohl es das tatsächlich kann. Durch die Reduzierung dieser falschen Konservativität gibt die neue Methode den Ingenieuren mehr Vertrauen, dass ihre Systeme wie beabsichtigt funktionieren werden.

Die Studie zeigte auch, wie das neue Werkzeug unter verschiedenen Einstellungen reagiert. Die Forscher fanden heraus, dass sie das Werkzeug darauf abstimmen konnten, sich entweder auf das Worst-Case-Szenario oder auf das durchschnittliche Verhalten des Systems zu konzentrieren. Wenn das Ziel darin besteht, absolute Sicherheit gegen die extremsten Möglichkeiten zu gewährleisten, kann das Werkzeug so eingestellt werden, dass es den Worst-Case-Fehler priorisiert. Wenn das Ziel darin besteht, ein besseres Gesamtbild davon zu erhalten, wie sich das System im Allgemeinen verhält, kann es so angepasst werden, dass es sich auf den Durchschnitt konzentriert. Diese Flexibilität erlaubt es Ingenieuren, die richtige Balance für ihre spezifischen Bedürfnisse zu wählen. Das Team beobachtete zudem, dass das Werkzeug natürlich lernte, die Blöcke des Modells in Bereichen kleiner zu machen, in denen sich das System schnell bewegt oder die Richtung abrupt ändert, und größer zu machen, wo die Bewegung stetig ist. Diese adaptive Granularität ist genau das, was benötigt wird, um effiziente Modelle zu erstellen, ohne Rechenleistung in Bereichen zu verschwenden, die leicht vorhersehbar sind.

Die Auswirkungen dieser Arbeit erstrecken sich über diese drei Beispiele hinaus. Die Methode bietet einen allgemeinen Rahmen, um die Verifizierung komplexer, intelligenter Systeme praktikabel zu machen. Da Maschinen immer autonomer werden und in sicherheitskritischen Umgebungen eingesetzt werden, ist die Fähigkeit, ihre Sicherheit schnell und präzise zu verifizieren, von zentraler Bedeutung. Das neue Werkzeug erfordert nicht, dass die Ingenieure den exakten Controller kennen, den die Maschine verwendet; es arbeitet mit den bekannten Dynamiken des Systems und dem Verhalten des Controllers. Dies macht es anwendbar auf eine breite Palette von Szenarien, von Industrierobotern bis hin zu autonomen Fahrzeugen. Die Forscher haben ihren Code öffentlich zugänglich gemacht und laden andere dazu ein, auf dieser Grundlage aufzubauen.

Letztendlich zeigt die Arbeit, dass es möglich ist, sowohl Sicherheit als auch Effizienz bei der Verifizierung komplexer Systeme zu erreichen. Indem sie eine schwierige, zackige Messung durch einen glatten, optimierbaren Leitfaden ersetzten, haben die Forscher einen neuen Weg für Ingenieure eröffnet, die nächste Generation intelligenter Maschinen zu entwerfen und zu zertifizieren. Die Methode verspricht nicht, jedes Problem in der künstlichen Intelligenz zu lösen, aber sie bietet einen konkreten, zuverlässigen Weg, um sicherzustellen, dass die Systeme, auf die wir zählen, nicht nur intelligent, sondern auch sicher sind. Die Fähigkeit, das Rauschen von Fehlalarmen zu eliminieren und sich auf die realen Risiken zu konzentrieren, ist ein bedeutender Schritt nach vorn im Bereich des vertrauenswürdigen Engineerings.