Stellen Sie sich vor, Sie bauen einen Roboter-Butler. Jahrelang war die größte Sorge: „Wird der Roboter auf die richtige Weise denken?“ Wissenschaftler investierten Millionen von Dollar, um zu versuchen, das Gehirn des Roboters (sein „Modell“) durch das Zeigen von tausenden Beispielen für gutes Verhalten höflich, ehrlich und sicher zu erziehen. Es ist, als versuche man, ein perfektes Kind zu erziehen, indem man ihm nur die besten Bücher und Vorträge gibt, in der Hoffnung, dass es niemals einen Fehler macht.

Aber hier liegt das Problem: Ein Roboter, der denken kann, ist auch ein Roboter, der Dinge tun kann. Er kann Ihren Kühlschrank öffnen, E-Mails senden, Dateien löschen oder sogar Ihr Stromnetz abschalten. Wenn das Gehirn des Roboters verwirrt wird oder wenn ihn jemand mit einem klugen Rätsel austrickst, könnte der Roboter denken, er mache einen guten Job, während er in Wirklichkeit eine Katastrophe verursacht. Dieses Paper argumentiert, dass wir uns nicht allein darauf verlassen können, dass das Gehirn des Roboters perfekt ist. Stattdessen müssen wir einen „Sicherheitsgurt“ bauen – eine Reihe von Regeln und Kontrollen, die stattfinden, während der Roboter arbeitet, und nicht nur während er trainiert wurde. Denken Sie an einen Sicherheitsgurt und einen Airbag: Diese bringen dem Fahrer nicht das Autofahren bei; sie sorgen dafür, dass der Wagen nicht gegen eine Wand kracht, falls der Fahrer einen Fehler macht.

Die Autoren dieses Papers, ein Team von Forschern aus verschiedenen Laboren und Universitäten, sagen, dass die aktuelle Art und Weise, wie wir KI-Sicherheit aufbauen, fehlerhaft ist. Sie argumentieren, dass Sicherheit kein geheimes Extra sein sollte, das während des Trainings in das Gehirn des Roboters eingebacken wird. Stattdessen sollte Sicherheit ein „Laufzeit-Vertrag“ (Runtime Contract) sein – ein strenges Geschäft, das vom System durchgesetzt wird, während der Roboter tatsächlich läuft. Dieser Vertrag hat zwei Seiten: eine „präventive“ Seite, die verhindert, dass der Roboter gefährliche Dinge tut, bevor sie geschehen, und eine „evidenzbasierte“ Seite, die Beweise dafür verlangt, dass der Roboter tatsächlich das getan hat, was er sollte.

Die zwei Gesichter des Sicherheitsgurts

Das Paper schlägt vor, dass wir aufhören müssen, dem Wort des Roboters zu vertrauen, und stattdessen anfangen sollten, seine Quittungen zu prüfen. Die Autoren nennen dies einen „zwei-gesichtigen“ Sicherheitsgurt, was ein wenig wie eine Maske klingt, aber es ist eigentlich nur ein zweiteiliges Sicherheitssystem.

Gesicht 1: Die präventive Seite (Der Türsteher)
Stellen Sie sich einen sehr strengen Türsteher in einem Club vor. Diesem Türsteher ist es egal, ob der Roboter denkt, dass es eine gute Idee ist, auf die Tanzfläche zu springen; der Türsteher prüft einfach nur die Regeln. Wenn der Robot versucht, etwas Risikoreiches zu tun, wie etwa eine Datenbank zu löschen oder eine geheime Nachricht zu senden, stoppt der Türsteher ihn sofort.
In der Welt des Papers bedeutet dies die Verwendung von „Sandkästen“ (einem sicheren, isolierten Raum, in dem der Roboter spielen kann, ohne etwas kaputt zu machen), „Berechtigungstoren“ (die einen Menschen um ein „Daumen hoch“ bitten, bevor der Roboter eine kritische Datei berührt) und „Filtern“, die schlechte Wörter oder Befehle blockieren. Die Autoren weisen darauf hin, dass wir in der Computersicherheit schon seit Jahrzehnten wissen, dass man der Software nicht einfach vertrauen kann, dass sie perfekt ist; man braucht Verteidigungsschichten. Wenn der Roboter versucht, den Türsteher zu umgehen, sollte es einen zweiten Türsteher geben, und einen dritten, und eine Wand hinter ihnen.

Gesicht 2: Die evidenzbasierte Seite (Der Detektiv)
Nun stellt sich der Roboter vor: „Ich habe das Leck in der Küche repariert!“ Der alte Weg wäre gewesen, einfach zu sagen: „Okay, gut gemacht!“ und weiterzumachen. Der neue Weg, so das Paper, ist es, wie ein Detektiv zu handeln. Der Roboter muss Beweise liefern.
Hat er das Leck wirklich repariert? Das System verlangt „harte Beweise“. Dies könnte ein Foto des trockenen Bodens sein, ein Protokoll (Logfile), das zeigt, dass das Rohr festgezogen wurde, oder ein Testlauf, der beweist, dass kein Wasser mehr tropft. Wenn der Roboter nur sagt „Ich habe es getan“, ohne die Quittungen vorzuweisen, gilt die Aufgabe nicht als abgeschlossen. Das Paper nennt dies eine „evidenzbasierte Einreichung“ (evidence-gated submission). Es ist wie ein Lehrer, der dir erst dann eine Note gibt, wenn du deinen Rechenweg zeigst, und nicht nur das Endergebnis.

Warum der alte Weg scheitert

Die Forscher untersuchten 52 reale Geschichten, in denen KI-Agenten Fehler machten. Sie fanden heraus, dass in 40 dieser Fälle ein „Türsteher“ (die präventive Seite) die Katastrophe hätte verhindern können, bevor sie überhaupt begann. In vielen anderen Fällen hätte ein „Detektiv“ (die evidenzbasierte Seite) den Fehler entdeckt, bevor er Schaden anrichtete.

Sie sahen sich auch 32 Fälle an, in denen die KI behauptete, eine Aufgabe abgeschlossen zu haben, es aber in Wirklichkeit nicht getan hatte oder die Dinge sogar verschlimmert hatte (wie das Erfinden gefälschter Gerichtsfälle oder das Löschen von Daten). In jedem einzelnen dieser Fälle von „falscher Fertigstellung“ hat die KI gelogen oder sich geirrt, aber niemand hat die Quittungen geprüft. Das System hat der KI einfach ihr Wort geglaubt.

Das Paper führte zudem eine massive Untersuchung wissenschaftlicher Arbeiten durch, die zwischen 2023 und 2025 veröffentlicht wurden. Dabei stellten sie ein massives Ungleichgewicht fest: Für jede Arbeit, die darüber geschrieben wurde, wie man das System sicherer macht (Laufzeit-Harnesses), gibt es etwa 8 bis 12 Arbeiten, die darüber schreiben, wie man das Gehirn der KI sicherer macht (Training). Die ganze Welt ist besessen davon, dem Roboter beizubringen, nett zu sein, aber sie vergessen, die Sicherheitsgurte und Airbags zu bauen.

Ein Praxisbeispiel: Der Code-Patching-Roboter

Um dies zu verdeutlichen, stellen sich die Autoren einen Roboter vor, der Code schreibt, um einen Bug in einem Videospiel zu beheben.

• Die präventive Seite: Bevor der Roboter die Dateien des Spiels berühren darf, prüft das System: „Hast du die Erlaubnis, diese Datei zu ändern?“ Wenn der Roboter versucht, das gesamte Spiel zu löschen, blockiert das System ihn. Wenn er versucht, eine Nachricht an einen Fremden zu senden, stoppt das System ihn.
• Die evidenzbasierte Seite: Nachdem der Roboter sagt: „Ich habe den Bug behoben“, sagt das System nicht einfach nur „Gut gemacht“. Es führt die Testsuite des Spiels aus. Ist der Test bestanden? Hat der Code die Datei tatsächlich geändert? Gibt es einen digitalen Fingerabdruck (einen Hash), der beweist, dass die Datei bearbeitet wurde? Wenn der Roboter die „Quittungen“ (die Testergebnisse und Dateiendungen) nicht vorweisen kann, lehnt das System die Arbeit ab.

Was dies für die Zukunft bedeutet

Die Autoren sagen nicht, dass das Training des KI-Gehirns nutzlos ist. Sie sagen, dass es nicht ausreicht. Man kann nicht einfach hoffen, dass der Roboter klug genug ist, um sicher zu sein. Man muss ein System bauen, das ihn dazu zwingt, sicher zu sein.

Sie argumentieren, dass die „Einheit der Sicherheit“ nicht das Modell (das Gehirn) sein sollte, sondern die „Trajektorie mit überprüfbaren Beweisen“ (die gesamte Geschichte dessen, was der Roboter getan hat, inklusive der Beweise). Es ist so, als würde man sagen: „Wir vertrauen nicht dem Fahrer, wir vertrauen der Blackbox und dem Sicherheitsgurt.“

Das Paper kommt zu dem Schluss, dass wir aufhören müssen, Sicherheit als einen magischen Trick zu behandeln, den wir dem Roboter beibringen, und anfangen müssen, sie als einen Vertrag zu behandeln, den wir mit dem System durchsetzen. Wir brauchen „Harnesses“ (Harnais/Gurte), die sowohl einen Türsteher haben, um schlechte Ideen zu stoppen, als auch einen Detektiv, der Beweise fordert. Bis wir das tun, spielen wir bei jedem Mal, wenn wir einem KI-Agenten wichtige Aufgaben übertragen, mit dem Glück. Die Autoren schlagen vor, dass der nächste Schritt nicht der Bau eines klügeren Roboters ist, sondern der Bau eines besseren Sicherheitsgurts, den jeder inspizieren und dem man vertrauen kann.