🤖 machine learning

Curriculum-Adapted Robust Reinforcement Learning for UAV Deconfliction in Adversarial Environments

Dieses Paper schlägt ein kurrikular-gesteuertes Adaptationsframework für Reinforcement Learning vor, das die Verteilungen der Temporal-Difference-Fehler über zunehmende adversarielle Intensitäten hinweg abgleicht, um eine robuste UAV-Konfliktvermeidung und eine begrenzte Leistungsdegradation unter unbekannten GNSS-Spoofing-Angriffen zu gewährleisten.

Ursprüngliche Autoren: Deepak Kumar Panda, Adolfo Perrusquia, Weisi Guo

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Deepak Kumar Panda, Adolfo Perrusquia, Weisi Guo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Fliegende Drohnen in einer nebligen, trügerischen Welt

Stellen Sie sich vor, Sie bringen einer Drohne bei, durch eine belebte Stadt zu fliegen, wobei sie Gebäuden und anderen Drohnen ausweicht, um ein bestimmtes Ziel zu erreichen. Sie verwenden ein „Gehirn“ (eine KI), das durch Versuch und Irrtum lernt, ganz ähnlich wie ein Schüler, der das Fahrradfahren lernt. Dies nennt man Reinforcement Learning (RL) (bestärkendes Lernen).

Es gibt jedoch ein Problem: GPS-Spoofing.

Betrachten Sie GPS-Spoofing als einen „Zaubertrick“, den ein Hacker spielt. Der Hacker manipuliert nicht die Drohne selbst; stattdessen sendet er gefälschte Signale, die die Drohne glauben lassen, sie befinde sich an einem anderen Ort als in Wirklichkeit.

Die Realität: Die Drohne ist sicher, 100 Fuß von einem Gebäude entfernt.
Das gefälschte Signal: Das „Gehirn“ der Drohne denkt, sie würde gerade gegen das Gebäude krachen.

Wenn dies passiert, gerät die Drohne in Panik, trifft schlechte Entscheidungen und könnte abstürzen. Dies wird als Distribution Shift bezeichnet – die Welt, die die Drohne sieht (die gefälschten Daten), ist völlig anders als die Welt, in der sie trainiert wurde (die echten Daten).

Das Problem mit aktuellen Lösungen

Derzeitige Methoden versuchen, die Drohne „hart im Nehmen“ zu machen, indem sie sie gegen spezifische Arten von Tricks trainieren.

Die Analogie: Stellen Sie sich vor, Sie trainieren einen Boxer nur gegen einen Linkshänder. Wenn der Boxer lernt, diesen einen spezifischen Schlag perfekt zu blocken, wird er großartig sein. Aber wenn ein Rechtshänder auftaucht oder jemand einen Tritt benutzt, könnte der Boxer K.O. gehen.
Die Kritik des Papers: Bestehende Methoden zur KI-Sicherheit sind wie dieser Boxer. Sie sind zu sehr auf spezifische Angriffe fokussiert, die sie schon einmal gesehen haben. Wenn ein neuer, bisher unbekannter Typ von GPS-Trick auftritt, vergisst die KI alles, was sie gelernt hat, und versagt katastrophal.

Die Lösung: Ein „gestufter“ Trainingslager

Die Autoren schlagen eine neue Art vor, die Drohne zu trainieren, die man Curriculum-Adapted Robust Reinforcement Learning nennt.

Stellen Sie sich dies als ein Kampfsport-Dojo mit einer sehr spezifischen Trainingsmethode vor:

Der „Experten“-Sensei: Zuerst trainieren sie einen sehr starken, grundlegenden Drohnenpiloten (den „Experten“), der bereits gut im Ausweichen ist.
Ein gestufter Lehrplan (Curriculum): Anstatt die Drohne sofort in eine chaotische Schlacht zu werfen, führen sie „gefälschte Angriffe“ (adversarial perturbations) schrittweise ein.
- Level 1: Die gefälschten Signale sind sehr schwach. Die Drohne bemerkt sie kaum.
- Level 2: Die gefälschten Signale werden etwas stärker. Die Drohne muss sich anpassen.
- Level 3: Die Signale werden noch stärker.
- Das Ziel: Die Drohne arbeitet sich Level für Level nach oben, wobei sie mit jeder Stufe widerstandsfähiger wird.

Das Geheimrezept: Auf die „innere Stimme“ hören (TD-Error)

Hier kommt der clevere Teil. Normalerweise trainieren wir eine KI, indem wir auf den Input schauen (was die Drohne sieht). Aber dieses Paper sagt: „Schau nicht nur auf die Augen, sondern auf das Vertrauen des Gehirns.“

In der Fachsprache der KI wird dies als TD-Error (Temporal-Difference Error) bezeichnet.

Die Analogie: Stellen Sie sich vor, Sie gehen im Dunkeln spazieren. Ihre „innere Stimme“ (die Wertschätzung/Value Estimation der KI) sagt: „Ich denke, ich bin sicher, aber ich bin mir etwas unsicher.“
Der Trick: Wenn der Hacker ein gefälschtes Signal sendet, beginnt die „innere Stimme“ der Drohne zu schreien: „Ich bin verwirrt! Ich weiß nicht, wo ich bin!“ Diese Verwirrung ist der TD-Error.

Die Methode der Autoren zwingt die Drohne dazu, ihre „innere Stimme“ ruhig und konsistent zu halten, während sie sich durch die Trainingsstufen bewegt.

Selbst wenn die gefälschten Signale stärker werden, wird die Drohne darauf trainiert, sicherzustellen, dass ihre interne Berechnung darüber, „wie gut ist dieser Zug?“, nicht wild schwankt.
Indem sie diese interne Zuversicht stabil hält, lernt die Drohne eine allgemeine Regel: „Egal, welche seltsamen Signale ich erhalte, vertraue meiner Kernlogik.“

Das Ergebnis: Den Unbekannten trotzen

Die Autoren testeten dies in einer Simulation, in der Drohnen durch 3D-Hindernisse fliegen mussten. Sie testeten es gegen zwei Arten von GPS-Tricks, die sie während des Trainings nie gesehen hatten:

Fixed Spoofing (Konstantes Spoofing): Eine konstante, stetige Lüge darüber, wo sich die Drohne befindet.
Dynamic Spoofing (Dynamisches Spoofing): Eine hinterlistige Lüge, die sich je nach Position der Hindernisse ändert, um die Drohne in eine Falle zu locken.

Die Ergebnisse:

Standard-KI: Versagte kläglich. Sie stürzte ab oder verirrte sich (Erfolgsrate: 20–56 %).
Die neue Methode: Versagte fast nie (Erfolgsrate: Nahe 100 %).
Effizienz: Selbst wenn die Drohne ausweichen musste, tat sie dies viel schneller und mit weniger Schritten als die anderen Modelle.

Warum das wichtig ist (laut dem Paper)

Das Paper behauptet, dass die Drohne durch das Training, ihre interne Zuversicht (TD-Error) trotz immer stärker werdender Lügen konsistent zu halten, eine „Superkraft“ entwickelt. Sie lernt nicht nur, gegen einen spezifischen Lügner zu kämpfen; sie lernt, wie man jeden Lügner ignoriert, selbst solche, denen sie noch nie begegnet ist.

Kurz gesagt: Anstatt die Antworten auf jede mögliche Testfrage auswendig zu lernen, lernte die Drohne, wie man ruhig bleibt und klar denkt, egal wie verwirrend die Testfragen auch werden könnten. Dies ermöglicht es ihr, selbst dann sicher zu fliegen, wenn Hacker versuchen, ihr GPS zu täuschen.

Technische Zusammenfassung: Lehrplan-adaptives robustes Reinforcement Learning für die UAV-Konfliktvermeidung in adversariellen Umgebungen

Problemstellung
Autonome unbemannte Luftfahrzeuge (UAVs) verlassen sich zunehmend auf Reinforcement Learning (RL) für die Navigation und Konfliktvermeidung in komplexen Lufträumen. Diese Systeme stehen jedoch vor erheblichen Sicherheitsvulnerabilitäten, insbesondere durch GNSS-Spoofing-Angriffe (Global Navigation Satellite System). Solche Angriffe induzieren Out-of-Distribution-Beobachtungsverschiebungen, die die Wertschätzung korrumpieren und zu katastrophalem Vergessen sowie unsicheren Verhaltensweisen führen. Bestehende Ansätze für robustes RL verbessern typischerweise die Resilienz gegenüber spezifischen, vordefinierten Angriffsmodellen, versagen jedoch bei der Generalisierung auf ungesehene Angriffsmechanismen. Zudem verlassen sich aktuelle Verteidigungsstrategien oft auf detektionszentrierte Methoden oder spezifische Sensorredundanzen und vernachlässigen die Notwendigkeit von Entscheidungsstrategien, die in der Lage sind, sich an adversariell induzierte Verteilungsverschiebungen anzupassen, ohne die Missionseffizienz zu beeinträchtigen.

Methodik
Die Autoren schlagen ein lehrplan-geführtes Adaptationsframework vor, das im Raum der Temporal-Difference (TD)-Fehlerverteilung operiert, anstatt im rohen Beobachtungsraum. Die Kernhypothese ist, dass die Angriffe zwar unterschiedlich darin variieren, wie sie Sensoreingaben korrumpieren, ihre letztendliche Auswirkung auf die Policy-Verhaltensweise jedoch im Wertverteilungsraum reflektiert wird.

Das Framework durchläuft vier Hauptschritte:

Expert Critic Formulierung: Eine initiale robuste Policy wird mittels eines Zwei-Spieler-Nullsummenspiels (DDPG) trainiert, bei dem ein Agent und ein Adversary im Aktionsraum miteinander konkurrieren. Dies liefert einen „Expert Critic“ ( $Q_{AR}$ ), der gegen Perturbationen im Aktionsraum resilient ist.
Adversarieller Lehrplan-Generierung: Das System verwendet eine Lehrplanstrategie, bei der die Policy progressiv einer gradientenbasierten adversariellen Beobachtungsperturbation mit zunehmender Intensität ( $\epsilon$ ) ausgesetzt wird. Diese Perturbationen werden mittels mehrstufigen Projected Gradient Ascent generiert, um den Policy-Loss innerhalb einer begrenzten Norm zu maximieren.
TD-Raum-Adaptation: Während der Adaptation gleicht das Framework die TD-Fehlerverteilungen zwischen der aktuellen Stufe und der vorherigen Stufe an. Der Critic der vorherigen Stufe dient als Referenz (Experte), und die Adaptation minimiert die Wasserstein-1-Distanz zwischen den TD-Fehlerverteilungen der nominalen und der adversariellen Beobachtungen. Diese Ausrichtung ist darauf ausgelegt, katastrophales Vergessen und die Drift der Wertfunktion zu verhindern.
Generalisierungszertifikat: Die Autoren leiten ein theoretisches „TD-Raum-Generalisierungszertifikat“ ab. Dieses Theorem stellt fest, dass, sofern die durch einen Testzeit-Angriff induzierte TD-Fehlerverteilung der finalen Lehrplanstufe hinreichend ähnlich bleibt, die resultierende Leistungsdegradation begrenzt ist. Dies bietet eine formale Garantie dafür, dass unter synthetischen Perturbationen erlernte Robustheit auf ungesehene cyber-physische Angriffe übertragen werden kann.

Wesentliche Beiträge

TD-Raum-Lehrplan-Adaptation: Die Arbeit führt eine neuartige Adaptationsstrategie ein, die die Konsistenz der TD-Fehlerverteilungen über die Lehrplanstufen hinweg erzwingt. Im Gegensatz zu konventionellem robustem RL, das feste Unsicherheitsmengen annimmt, passt sich dieser Ansatz an zunehmende Perturbationsstärken an und begrenzt gleichzeitig die Drift in den Wertschätzungen.
Theoretische Generalisierungsgarantie: Die Autoren leiten ein formales Zertifikat ab, das zeigt, dass Robustheit über fundamental unterschiedliche Angriffsdomänen hinweg (z. B. von synthetischen Gradienten-Perturbationen zu realem GNSS-Spoofing) transferierbar ist, sofern die induzierte Verschiebung der TD-Fehlerverteilung beschränkt bleibt. Dies adressiert die Lücke, in der bestehende Methoden mangels theoretischer Garantien für ungesehene Angriffsmechanismen sind.
Empirische Validierung in der UAV-Konfliktvermeidung: Das Framework wird in einer 3D-UAV-Konfliktvermeidungsumgebung gegen feste und dynamische GNSS-Spoofing-Angriffe validiert. Die Studie zeigt, dass die lehrplan-adaptive Policy auch unter Angriffsbedingungen, die während des Trainings nicht auftraten, hohe Missionserfolgsraten und eine effiziente Navigation beibält.

Ergebnisse
Experimente wurden in einer simulierten Umgebung mit dynamischen 3D-Hindernissen und variierenden Luftverkehrsdichten durchgeführt.

Feste Spoofing-Angriffe: Unter festem GNSS-Spoofing (konstanter Positionsbias) erreichte die lehrplan-adaptive Policy nahezu perfekte Missionserfolgsraten. Im Gegensatz dazu erreichten Standard-DDPG und andere robuste RL-Baselines (einschließlich adversariellem Meta-Learning und NR-MDP) Erfolgsraten zwischen 20 % und 56 % und scheiterten oft daran, das Ziel innerhalb des Flugbudgets zu erreichen.
Dynamische Spoofing-Angriffe: Gegen dynamische, hindernis-lockende Spoofing-Angriffe (bei denen der Bias angepasst wird, um die Hinderniswahrnehmung zu verzerren) erzielte die vorgeschlagene Methode die höchsten episodischen Belohnungen. Sie reduzierte die Missionsschritte im Vergleich zu den Baselines um bis zu 45 % bei zunehmenden Verkehrsdichten.
Divergenz zwischen Wahrnehmung und Realität: Die lehrplan-adaptive Policy zeigte die geringste Divergenz zwischen wahrgenommener und tatsächlicher Hindernisdistanz, was auf eine überlegene Fähigkeit zur Aufrechterhaltung genauer interner Risikorepräsentationen trotz korrumpierter Beobachtungen hindeutet.
Ablation und Sensitivität: Die Studie identifizierte $\epsilon = 4.0$ als den optimalen Stopppunkt des Lehrplans, um Robustheit und Performance auszubalancieren. Zudem wurde festgestellt, dass kleinere Lehrplan-Schrittweiten ( $\Delta\epsilon = 0.25$ ) zu einer glatteren TD-Ausrichtung und höheren Stabilität führten als größere Schritte, die eher zu Mode-Collapse-ähnlichen Verhaltensweisen führten.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass ihre primäre Bedeutung darin liegt, zu demonstrieren, dass die Anpassung durch einen adversariellen Lehrplan die Resilienz von synthetischen Perturbationen auf realistische GNSS-Spoofing-Angriffe übertragen kann, ohne angriffsspezifisches Retraining. Durch die Fokussierung auf die Erhaltung der Konsistenz der TD-Fehlerverteilung anstatt auf das Anpassen an ein spezifisches Angriffsmodell bietet das Framework einen fundierten Mechanismus zur Verbesserung der Resilienz autonomer Entscheidungssysteme unter unbekannten cyber-physischen Bedrohungen. Die Autoren betonen, dass dieser Ansatz über konventionelles robustes RL hinausgeht, indem er sowohl empirische Verbesserungen der Missionsleistung als auch beweisbare theoretische Grenzen für die Generalisierung auf ungesehene Angriffsdomänen bietet. Die Arbeit legt nahe, dass die Aufrechterhaltung der Konsistenz der Wertfunktion ein entscheidender Faktor ist, um katastrophales Vergessen in adversariellen Umgebungen zu verhindern.