Stellen Sie sich vor, Sie bringen einem Roboter bei, eine Drohne zu fliegen. In der realen Welt haben Roboter keine Augen wie Menschen; sie verlassen sich auf eine Palette von Sensoren – GPS für die Position, Gyroskope für das Gleichgewicht und Kameras für die Bewegung –, um herauszufinden, wo sie sind und wie sie sich bewegen. Dies ist die Welt des Reinforcement Learning (RL), einer Art künstlicher Intelligenz, bei der ein Computer lernt, Entscheidungen zu treffen, indem er Dinge ausprobiert und Belohnungen für gutes Verhalten erhält, ganz ähnlich wie ein Hund, der Tricks lernt und dafür Leckerlis bekommt. Das Ziel ist es, ein „Gehirn“ zu erschaffen, das eine Drohne sicher durch komplexe Aufgaben steuert.

Es gibt jedoch ein hinterlistiges Problem: Diese Sensoren können getäuscht werden. Genau wie ein Magier Ihre Augen täuschen kann, kann ein Hacker falsche Signale an die Sensoren einer Drohne senden. Dies wird als physischer Angriff bezeichnet. Beispielsweise könnte jemand ein falsches GPS-Signal senden, das die Drohne glauben lässt, sie befinde sich an einem anderen Ort, oder Schallwellen nutzen, um ihre Gleichgewichtssensoren zu stören. Wenn das Gehirn der Drohne diesen Lügen glaubt, könnte sie abstürzen oder gegen ein Gebäude fliegen. Wissenschaftler haben versucht, „sichere“ Gehirne zu bauen, die Gefahren vermeiden, aber die meisten dieser Sicherheitsnetze versagen, wenn die Drohne aktiv von einem Hacker getäuscht wird. Sie gehen davon aus, dass die Welt nur ein wenig chaotisch ist, nicht, dass jemand den Roboter aktiv anlügt.

Hier kommt eine neue Idee namens ARMOR ins Spiel. Die Forscher hinter diesem Projekt wollten einen Drohnen-Controller entwickeln, der eine Lüge erkennen kann, selbst wenn die Sensoren schreien, es sei die Wahrheit. Sie haben die Drohne nicht einfach nur „robuster“ gemacht; sie haben ihr eine neue Art zu sehen beigebracht. Anstatt die rohen, leicht zu täuschenden Sensordaten zu betrachten, lernt ARMOR, eine „geheime Zusammenfassung“ dessen zu erstellen, was wirklich passiert. Die Arbeit legt nahe, dass man durch eine spezielle zweistufige Trainingsmethode eine Drohne erschaffen kann, die Kurs hält, selbst wenn ihre Sensoren sabotiert werden, ohne dass sie für jedes neue, von einem Hacker erdachte Trick neu trainiert werden muss.

Die Geschichte von ARMOR: Eine Drohne, die weiß, wenn sie belogen wird

Lernen Sie ARMOR (Adaptive Robust Manipulation-Optimized State Representations) kennen. Betrachten Sie ARMOR nicht nur als Piloten, sondern als Detektiv, der gelernt hat, falschen Alibis zu misstrauen.

In der Welt der Drohnensteuerung besteht die übliche Methode darin, dem Computer Rohdaten von den Sensoren zu füttern: „Ich bin an Koordinate X“, „Ich drehe mich mit Geschwindigkeit Y“. Aber wenn ein Hacker ein falsches Signal einspeist, glaubt der Computer der Lüge. Frühere Methoden versuchten, die Drohne „paranoid“ zu machen, indem sie sie gegen spezifische Tricks trainierten (wie ein Schüler, der nur für eine ganz bestimmte Art von Prüfungsfrage lernt). Das ist langsam, teuer, und wenn der Hacker den Trick leicht verändert, versagt die Drohne.

ARMOR verfolgt einen anderen Ansatz. Es nutzt ein zweistufiges Trainings-Framework, was wie ein Meisterlehrer und ein Schüler ist.

Stufe 1: Der Lehrer mit Super-Vision
Zuerst trainieren die Forscher einen „Teacher Encoder“. Dies ist eine intelligente KI-Komponente, die eine Superkraft besitzt: Sie hat Zugriff auf privilegierte Informationen. In der Simulation weiß der Lehrer genau, wann ein Angriff stattfindet, welcher Sensor belogen wird und wie groß die Lüge ist. Es ist wie ein Lehrer, der die Lösung auf dem Lösungsblatt sehen kann, während der Schüler die Prüfung schreibt.

Mit diesem Referenzwert lernt der Lehrer, die chaotischen, lügenden Sensordaten in eine robuste latente Repräsentation zu übersetzen. Stellen Sie sich dies als einen „geheimen Code“ oder eine „wahrheitsgetreue Zusammenfassung“ vor. Selbst wenn das GPS sagt, die Drohne befinde sich im Ozean, weiß der geheime Code des Lehrers: „Nein, das GPS lügt; die Drohne ist eigentlich in der Luft.“ Das Steuerungsmodell der Drohne (ihr Gehirn) lernt, Entscheidungen basator auf diesem geheimen Code zu treffen, nicht auf den Rohsensordaten. Dies ermöglicht es der Drohne, perfekt zu fliegen, selbst während eines Angriffs, da sie von der Wahrheit lernt.

Stufe 2: Der Schüler, der lernt, die Wahrheit zu sehen
Hier ist der knifflige Teil: In der realen Welt hat die Drohne keinen Lehrer mit einem Spickzettel. Sie kann nicht wissen, wann sie angegriffen wird. Deshalb trainieren die Forscher einen Student Encoder.

Der Schüler ist wie ein Detektiv, der die Wahrheit herausfinden muss, ohne den Lösungszettel zu haben. Er hat nur Zugriff auf die Historie der Drohne – den Strom der Sensordaten der letzten Sekunden. Der Schüler wird darauf trainiert, diese Historie zu analysieren und den „geheimen Code“ zu erraten, den der Lehrer generiert hat. Er lernt, Muster zu erkennen, wie zum Beispiel: „Hey, die GPS-Werte driften langsam ab, was meistens auf ein falsches Signal hindeutet“ oder „Das Gyroskop zittert in einem seltsamen Rhythmus“.

Sobald der Schüler gut darin ist, den geheimen Code zu erraten, wird der Lehrer in den Ruhestand geschickt. Die Drohne wird nur mit dem Studenten und dem Steuerungsmodell eingesetzt. Wenn die Drohne nun in der realen Welt fliegt und angegriffen wird, analysiert der Student die Historie der Sensordaten, generiert die „wahrheitsgetreue Zusammenfassung“ und das Steuerungsmodell nutzt diese, um die Drohne auf Kurs zu halten.

Was die Experimente zeigten

Die Forscher testeten ARMOR in einer simulierten 3D-Welt und stellten es fünf verschiedenen Arten von physischen Angriffen gegenüber: GPS-Spoofing, Gyroskop-Manipulation, Beschleunigungsmesser-Tricks, Magnetometer-Korruption und Optical-Flow-Spoofing. Sie verglichen ARMOR mit anderen Top-Methoden wie RARL (das adversarielles Training nutzt) und HRP (eine hybride Recovery-Policy).

Die Ergebnisse in den Simulationen waren recht eindeutig:

• Überlebensrate: Angesichts von Angriffen hielt ARMOR die Drohne in etwa 88 % der Fälle erfolgreich im Flug. Im Gegensatz dazu hatten die älteren Methoden Schwierigkeiten, mit Erfolgsraten zwischen 30 % und 83 %.
• Abstürze: Vielleicht am beeindruckendsten ist, dass ARMOR über alle getesteten Angriffstypen hinweg eine Absturzwahrscheinlichkeit von 0 % aufwies. Die anderen Methoden stürzten häufig ab; zum Beispiel stürzte eine konkurrierende Methode unter GPS-Angriffen in 50 % der Fälle ab.
• Kurs halten: Wenn die Drohne doch einmal vom Kurs abkam, hielt ARMOR den „State Drift“ (wie weit sie vom Pfad abwich) unglaublich niedrig, bei etwa 0,1 Metern für GPS-Angriffe. Die anderen Methoden ließen die Drohne um mehrere Meter oder Grad abdriften, was ausreicht, um einen Absturz oder ein Missionsversagen zu verursachen.

Die „Zero-Shot“-Superkraft

Die spannendste Erkenntnis ist das, was die Autoren als Zero-Shot Generalization bezeichnen. Normalerweise, wenn man eine Drohne darauf trainiert, mit GPS-Lügen umzugehen, könnte sie scheitern, wenn sie plötzlich mit einer Gyroskop-Lüge konfrontiert wird. Es ist, als würde man nur für Mathematik lernen und dann die Geschichtsprüfung verhauen.

ARMOR hingegen zeigte, dass es auch ungesehene Angriffe ohne zusätzliches Training bewältigen kann.

• Als sie die Drohne nur auf GPS-Angriffe trainierten und sie dann auf Gyroskop-Angriffe testeten (gegen die sie zuvor noch nie trainiert hatte), war ARMOR immer noch in 60 % der Fälle erfolgreich. Die andere Methode (RARL) versagte völlig mit einer Erfolgsquote von 0 %.
• Wenn sie auf Gyroskop-Angriffe trainierten und auf GPS-Angriffe testeten, war ARMOR in 70 % der Fälle erfolgreich, während die andere Methode nur 5 % erreichte.

Dies deutet darauf hin, dass, indem die Drohne lernt, den „geheimen Code“ dessen zu erkennen, was ein echter physischer Zustand ist, sie erkennen kann, wenn irgendein Sensor lügt, selbst wenn es eine Art von Lüge ist, gegen die sie nie geübt hat.

Warum das wichtig ist (und was es nicht ist)

Das Paper legt nahe, dass diese zweistufige Methode ein großer Schritt nach vorn ist, weil sie zwei große Probleme gleichzeitig löst. Erstens ist sie schneller und kostengünstiger zu trainieren. Traditionelle Methoden erfordern tausende Stunden an „adversariellem Training“, bei dem ein Computer immer wieder gegen einen künstlichen Angreifer kämpft. ARMOR überspringt dies, indem es den Lehrer nutzt, um die Wahrheit schnell zu lernen, und dann den Studenten lehrt, diese Wahrheit nachzuahmen.

Zweitens macht es Drohnen sicherer gegen eine Vielzahl von Bedrohungen. Die Autoren merken an, dass ARMOR zwar sehr gut im Umgang mit Einzel-Sensor-Angriffen und sogar einigen Multi-Sensor-Angriffen ist, aber auch Grenzen hat. Wenn ein Angreifer zu viele Sensoren gleichzeitig auf komplexe Weise manipuliert, könnte das System dennoch Schwierigkeiten bekommen. Zudem basieren diese Ergebnisse derzeit auf Simulationen (Computermodellen), nicht auf echten Flügen mit tatsächlicher manipulierter Hardware. Die Autoren sind vorsichtig und betonen, dass die Ergebnisse zwar vielversprechend sind, der nächste Schritt jedoch darin besteht, zu sehen, ob es auf echten Drohnen in der realen Welt funktioniert.

Kurz gesagt: ARMOR lehrt eine Drohne, nicht mehr den verrauschten, lügenden Sensoren zuzuhören, sondern der „geheimen Zusammenfassung“ der Realität. Es ist ein kluger Trick, der einen verwundbaren Roboter in einen resilienten verwandelt, der in der Lage ist, geradeaus zu fliegen, selbst wenn die Welt versucht, ihn zu täuschen.