⚡ electrical engineering

TRUST-UP: Trustworthy Reinforcement learning Using Safe Techniques for UAV Pursuit

Dieses Paper stellt TRUST-UP vor, ein vertrauenswürdiges Reinforcement-Learning-Framework für die Verfolgung durch UAVs, das auf Control-Barrier-Function-basierten Sicherheitsfiltern mit einer transparenten Schaltstrategie kombiniert, um nachweislich sicheren und zertifizierbaren autonomen Flug in belebten städtischen Umgebungen zu gewährleisten.

Ursprüngliche Autoren: Yaosheng Deng, Mengtao Lyu, Junjie Gao, Jiaping Xiao, Mir Feroskhan

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yaosheng Deng, Mengtao Lyu, Junjie Gao, Jiaping Xiao, Mir Feroskhan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einer Roboterdrohne bei, eine Runde „Fangen“ zu spielen – in einem belebten Stadtpark voller Menschen, anderer Drohnen und Bäume. Sie möchten, dass die Drohne schnell und intelligent ist und ein bewegliches Ziel verfolgen kann.

Das Problem: Die „technisch sichere“, aber „beängstigende“ Drohne
Standard-KI (Reinforcement Learning) ist großartig darin, zu lernen, wie man sich schnell bewegt. Sie hat jedoch einen entscheidenden Mangel: Sie kümmert sich nur um mathematische Sicherheit.

Die mathematische Sicht: Wenn die Drohne im letzten Moment ausweicht, um nicht gegen den Kopf einer Person zu prallen, sagt die Mathematik: „Gute Arbeit! Es gab keine Kollision.“
Die menschliche Sicht: Dieselbe Ausweichbewegung im letzten Moment fühlt sich erschreckend an. Sie verletzt die persönliche Distanzzone eines Menschen, was dazu führt, dass dieser sich unsicher und misstrauisch fühlt.

Das Paper argumentiert, dass Drohnen erst dann im Flugverkehr um Menschen herum zugelassen werden können, wenn sie nicht nur technisch sicher, sondern auch wahrnehmungstechnisch sicher sind. Sie müssen einen „Vertrauensradius“ respektieren – eine größere, unsichtbare Blase um eine Person, die dafür sorgt, dass diese sich wohlfühlt und nicht verängstigt wird.

Die Lösung: TRUST-UP
Die Autoren haben ein System namens TRUST-UP (Trustworthy Reinforcement learning Using Safe Techniques for UAV Pursuit) entwickelt. Betrachten Sie dies als einen „intelligenten Sicherheits-Co-Piloten“, der zwischen dem KI-Gehirn und den Motoren der Drohne sitzt.

So funktioniert es, erklärt anhand einfacher Analogien:

1. Der „wilde“ Pilot (Das RL-Modell)

Zuerst trainieren sie eine Standard-KI (unter Verwendung einer Methode namens Soft Actor-Critic), um ein großartiger Pilot zu sein. Diese KI lernt, ein Ziel effizient zu verfolgen. Doch wie ein rücksichtsloser Rennfahrer könnte sie versuchen, gefährliche, ruckartige Bewegungen zu machen, um das Rennen zu gewinnen. Sie besitzt von Natur aus kein Verständnis für die Komfortzone von Menschen.

2. Der „strenge“ Sicherheitsfilter (Die CBFs)

Dies ist die Kerninnovation. Bevor der Befehl der KI die Motoren der Drohne erreicht, durchläuft er einen Sicherheitsfilter.

Die Analogie: Stellen Sie sich vor, die KI ist ein Kind, das auf einem Spielplatz rennt, und der Sicherheitsfilter ist ein strenger, aber fairer Elternteil, der eine Leine hält.
Die Funktionsweise: Der Filter nutzt mathematische Regeln, die als Control Barrier Functions (CBFs) bezeichnet werden. Diese Regeln wirken wie unsichtbare, flexible Wände.
- Wand 1 (Kollision): Man darf die Person oder den Baum nicht treffen.
- Wand 2 (Sensorik): Man muss nah genug am Ziel bleiben, um es sehen zu können (wie ein Hund an der Leine, der nicht zu weit wegrennen kann).
- Wand 3 (Motorgrenzen): Man darf die physischen Grenzen des Motors nicht überschreiten.

Wenn der „wilde Pilot“ versucht, gegen eine Wand zu laufen, übernimmt der „Elternteil“ (der Filter) sofort die Kontrolle, greift die Leine und lenkt die Drohne auf einen sicheren Pfad um. Das Paper beweist mathematisch, dass dieser Filter immer einen sicheren Weg finden wird, selbst wenn der Wind weht oder das Ziel sich unvorhersehbar bewegt.

3. Der „Schalter“ (Transparenz)

Das System verfügt über einen speziellen „Schalter“, der entscheidet, wer zu welchem Zeitpunkt die Kontrolle hat.

Grünes Licht: Wenn der Plan der KI bereits sicher ist und den „Vertrauensradius“ respektiert, lässt der Schalter die KI frei steuern.
Rotes Licht: Wenn die KI etwas Unsicheres versucht, übernimmt der Schalter sofort die Kontrolle, berechnet den bestmöglich sicheren Zug und führt ihn aus.
Warum das wichtig ist: Dies macht das System „transparent“. Wir können in den Code schauen und genau sagen: „Wir wissen exakt, warum die Drohne gestoppt oder abgebogen ist“, was entscheidend für die offizielle Zulassung (Zertifizierung) zum Fliegen in Städten ist.

4. Der „Virtuelle Motor“-Trick

Das Paper erwähnt einen cleveren Trick, bei dem sie einen „virtuellen Motor“ in die Mathematik integrieren.

Die Analogie: Stellen Sie sich ein Auto vor, das nur begrenzt beschleunigen kann. Wenn Sie plötzlich eine scharfe Kurve verlangen, könnte das Auto schliddern. Die Methode der Autoren fügt einen „virtuellen Gang“ hinzu, der diese plötzlichen Anforderungen glättet und so sicherstellt, dass die Drohne nicht ruckartig herumzuckt, wodurch der „Vertrauensradius“ selbst in Notfällen gewahrt bleibt.

Die Ergebnisse: Was geschah in den Simulationen?

Die Autoren testeten dies in einer Computersimulation mit zwei Drohnen, die zwei Ziele um Hindernisse herum verfolgten.

Die „wilde“ KI (nur SAC): Sie stieß gegen Hindernisse, verlor die Sicht auf ihre Ziele und machte erratische Bewegungen. Sie versagte dabei, den „Vertrauensradius“ einzuhalten.
Das TRUST-UP-System: Die Drohnen verfolgten ihre Ziele erfolgreich, umflogen alle Hindernisse, hielten die erforderliche Distanz ein, um das Ziel zu „sehen“, und verletzten nie die Sicherheitsgrenzen. Selbst als die Ziele plötzliche „Acht-Schleifen“ drehten oder der Wind wehte, blieben die TRUST-UP-Drohnen ruhig und sicher.

Das Fazit

Das Paper behauptet, dass TRUST-UP die Lücke zwischen einer schnellen, intelligenten KI und der Notwendigkeit menschlichen Vertrauens schließt. Es nimmt eine potenziell gefährliche KI und hüllt sie in einen mathematisch bewiesenen „Sicherheitsschutzanzug“, der garantiert, dass die Drohne niemals etwas tut, das für einen Menschen unsicher wirkt – und macht sie damit bereit für den Einsatz in realen, belebten städtischen Lufträumen.

Technisches Resümee: TRUST-UP

Problemstellung

Die Arbeit adressiert die kritische Lücke zwischen der hohen Leistungsfähigkeit von Reinforcement Learning (RL) bei der Verfolgung durch autonome unbemannte Luftfahrzeuge (UAVs) und den strengen Sicherheits- und Transparenzanforderungen, die für eine Luftfahrtzertifizierung erforderlich sind, insbesondere in städtischen Umgebungen mit geringer Flughöhe und menschlicher Präsenz.

Während RL eine agile Flugsteuerung ermöglicht, behindern dessen „Black-Box“-Natur und das Fehlen deterministischer Sicherheitsgarantien die Lufttüchtigkeitszertifizierung. Eine spezifische Herausforderung ist das Konzept der „wahrgenommenen Sicherheit“ oder des „Vertrauensradius“. Im Gegensatz zu unbelebten Hindernissen benötigen Menschen erweiterte Sicherheitsabstände basierend auf psychologischem Komfort und Proxemik. Standardmäßige RL-Policies priorisieren oft die technische Kollisionsvermeidung (z. B. das knappe Verfehlen eines Fußgängers bei hoher Geschwindigkeit), was zwar technisch gesehen die Kollisionsbeschränkungen erfüllt, aber das menschliche Vertrauen verletzt, indem der persönliche Raum verletzt wird. Bestehende Methoden für sicheres RL, wie etwa Reward Shaping oder statische Abschirmung (Shielding), scheitern oft daran, die für das menschliche psychologische Vertrauen erforderlichen deterministischen Garantien zu liefern, oder haben Schwierigkeiten mit der Durchführbarkeit, wenn komplexe, menschenbezogene Beschränkungen zusammen mit Schubbegrenzungen und Erfassungsbereichen erzwungen werden müssen.

Methodik: Das TRUST-UP-Framework

Die Autoren schlagen TRUST-UP (Trustworthy Reinforcement learning Using Safe Techniques for UAV Pursuit) vor, ein Framework, das eine modellfreie RL-Policy mit einem formalen Sicherheitsfilter basierend auf Control Barrier Functions (CBFs integriert. Das System ist darauf ausgelegt, unsichere RL-Aktionen in nachweislich sichere Flugbefehle umzuwandeln und gleichzeitig die operative Transparenz zu wahren.

1. Systemaugmentation und Transformation

Um die bei schubbegrenzten Systemen häufig auftretenden Durchführbarkeitsprobleme zu adressieren, augmentieren die Autoren die UAV-Dynamik durch die Einführung virtueller Steuereingaben. Dies transformiert das ursprüngliche, schubbegrenzte Problem erster Ordnung in ein ausgabebeschränktes Problem zweiter Ordnung. Diese Transformation berücksichtigt die Aktuator-Trägheit in den Sicherheitsbeschränkungen, was Überlastungsprobleme durch abrupte Eingangsänderungen herkömmlicher CBFs erster Ordnung mildert und die Durchführbarkeit des resultierenden quadratischen Programms (QP) verbessert.

2. Konstruktion eines adaptiven Sicherheitsfilters

Das Herzstück von TRUST-UP ist ein Sicherheitsfilter, der aus drei adaptiven CBFs besteht, die als QP-Problem formuliert sind. Diese Beschränkungen gewährleisten die Vorwärtsinvarianz von drei spezifischen Sicherheitsmengen:

Eingangsbeschränkung ( $C_{u,i}$ ): Eine zeitvariable Beschränkung, die die maximale Schubzuteilung basierend auf der relativen Position zwischen Verfolger und Ziel dynamisch anpasst. Dies erlaubt gelockerte Grenzen bei Notfallmanövern, während es erratische Befehle während des normalen Fluges streng reguliert.
Kollisionsvermeidung ( $C_{c,i}$ ): Gewährleistet einen minimalen Sicherheitsabstand zwischen dem Verfolger und allen anderen Agenten (Ziele, andere UAVs) sowie statischen Hindernissen.
Erfassungsbereich ( $C_{s,i}$ ): Stellt sicher, dass der Verfolger innerhalb einer maximalen Distanz bleibt, um die Sensorabdeckung seines Ziels aufrechtzuerhalten.

Der Filter berücksichtigt Systemunsicherheiten (z. B. Wind, Sensorrauschen), indem er adaptive Gesetze zur Schätzung unbekannter Parameter nutzt, was die Robustheit gegenüber Störungen gewährleistet.

3. Transparente Schaltstrategie

Das Framework verwendet ein hybrides Steuerungsgesetz mit einer Schaltstrategie:

Region $R_1$ : Wenn die nominale RL-Aktion ( $\pi_i$ ) alle Sicherheitsbeschränkungen erfüllt (d. h. sie liegt innerhalb der zulässigen Menge), führt das System die RL-Aktion direkt aus.
Region $R_2$ : Wenn die RL-Aktion eine Beschränkung verletzt, wird der Sicherheitsfilter aktiviert. Das System löst das CBF-QP, um die sicherste Steuereingabe ( $v^*_i$ ) zu finden, die der nominalen Aktion am nächsten kommt und alle Beschränkungen erfüllt.

Die Autoren beweisen formal, dass diese Schaltstrategie sicherstellt, dass das QP-Problem die Karush-Kuhn-Tucker (KKT)-Bedingungen erfüllt, was die Existenz einer eindeutigen, Lipschitz-stetigen Lösung garantiert, die die Invarianz der Sicherheitsmenge aufrechterhält.

Zentrale Beiträge

Thrust-Constrained CBF Design: Die Arbeit führt eine Methode zur Handhabung von Schubbeschränkungen ein, indem das System mit virtuellen Eingaben augmentiert wird. Dieser Ansatz erzwingt die operativen Fluggrenzen und passt obere Grenzen während Notfallmanövern adaptiv an, wodurch ein Gleichgewicht zwischen Missionsleistung und verifizierbarer Sicherheit hergestellt wird.
Adaptiver Sicherheitsfilter: Das Design von zwei positionsbasierten CBFs (für Kollisionsvermeidung und Erfassung) kombiniert mit der schubbeschränkten CBF bildet einen Sicherheitsfilter mit garantierter Durchführbarkeit. Die adaptive Natur dieser Beschränkungen ermöglicht es UAVs, auch unter atmosphärischen Störungen einen sicheren Betrieb aufrechtzuerhalten.
TRUST-UP Algorithmus mit nachgewiesener Durchführbarkeit: Der Vorschlag einer transparenten Schaltstrategie, die die Sicherheit der RL-Outputs bestimmt. Die Autoren liefern einen formalen Beweis, dass der Algorithmus die KKT-Bedingungen für alle Sicherheitsbeschränkungen erfüllt, was die Einhaltung der Anforderungen an die Vertrauenswürdigkeit in der Luftfahrt für den zertifizierten Einsatz gewährleistet.

Simulationsergebnisse

Die Autoren validierten TRUST-UP durch numerische Simulationen mit zwei Verfolgungs-UAVs, die Ziele in Umgebungen mit statischen Hindernissen und unbekannten Störungen verfolgten. Es wurden zwei Szenarien getestet:

Kreisförmige Manöver: Die Ziele führten große Kreisbewegungen durch.
Figure-8-Manöver: Die Ziele führten komplexe „Figure-8“-Trajektorien mit variierender Krümmung aus.

Vergleichende Analyse:

SAC-Only vs. TRUST-UP: Der Basis-Algorithmus Soft Actor-Critic (SAC), der ohne den Sicherheitsfilter trainiert wurde, konnte Sicherheit nicht garantieren. In den Simulationen kollidierten die SAC-only Agenten mit Hindernissen und verloren die Erfassung ihrer Ziele (Überschreitung des Erfassungsradius).
Sicherheitsgarantien: TRUST-UP konnte alle Sicherheitsbeschränkungen (Kollisionsvermeidung, Erfassungsradius und Eingangslimits) in beiden Szenarien erfolgreich einhalten, selbst als die Ziele aggressive Ausweichmanöver durchführten.
Kontrollstabilität: Die von TRUST-UP generierten Steuereingaben blieben innerhalb der vorgegebenen Grenzen ohne Hochfrequenzoszillationen, während der SAC-only Ansatz unter Störungen ein instabiles Tracking-Verhalten zeigte.
Recheneffizienz: Die Implementierung des TRUST-UP CBF-QP demonstrierte eine verbesserte Online-Recheneffizienz und reduzierte die mittlere QP-Lösungszeit um etwa 14,1 % im Vergleich zu einer Standard-Eingangsbeschränkungs-CBF-QP-Technik.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass TRUST-UP die fundamentale Schwachstelle beim Einsatz autonomer Systeme in menschlichen Umgebungen adressiert: die Diskrepanz zwischen technischer Sicherheit und wahrgenommener Vertrauenswürdigkeit. Durch die Umwandlung psychologischer Sicherheitszonen (Vertrauensradien) in deterministische, harte Beschränkungen innerhalb eines transparenten Sicherheitsfilters schließt das Framework die Lücke zwischen KI-Leistung und Luftfahrtzertifizierungsstandards.

Die Autoren betonen, dass ihre Arbeit zu zertifizierbaren und erklärbaren KI-Frameworks für die Luftfahrt in niedriger Höhe beiträgt. Im Gegensatz zu Methoden, die auf Reward Shaping (weichen Strafen) beruhen, bietet TRUST-UP deterministische Garantien. Die transparente Schaltstrategie stellt sicher, dass Sicherheitsentscheidungen interpretierbar sind, was die Anforderungen an die Lufttüchtigkeitszertifizierung für sicherheitskritische Luftfahrtoperationen erfüllt. Die Arbeit schließt mit dem Schluss, dass dieser Ansatz ein notwendiger Schritt hin zu vertrauenswürdigen autonomen Flugsystemen für die zukünftige urbane Luftmobilität ist, insbesondere dort, wo menschliche Präsenz und psychologischer Komfort entscheidende Faktoren sind.