Technische Samenvatting: TRUST-UP

Probleemstelling

Het artikel adresseert de kritieke kloof tussen de hoge prestaties van Reinforcement Learning (RL) voor autonome luchtvaartuigen (UAV's) bij achtervolgingen en de strikte veiligheids- en transparantievereisten die nodig zijn voor luchtvaartcertificering, met name in stedelijke omgevingen op lage hoogte waar mensen aanwezig zijn.

Hoewel RL wendbare vluchtcontrole mogelijk maakt, belemmeren het "black-box"-karakter en het gebrek aan deterministische veiligheidsgaranties de luchtwaardigheidscertificering. Een specifiek geïdentificeerd probleem is het concept van "waargenomen veiligheid" of de "vertrouwensradius". In tegenstelling tot levenloze obstakels vereisen mensen uitgebreidere veiligheidsmarges op basis van psychologisch comfort en proxemica. Standaard RL-policies geven vaak prioriteit aan technische botsingsvermijding (bijv. net een voetganger missen met hoge snelheid), wat technisch gezien weliswaar aan de botsingsrestricties voldoet, maar het menselijk vertrouwen schendt door de persoonlijke ruimte te binnendringen. Bestaande veilige RL-methoden, zoals reward shaping of statische shielding, falen vaak in het bieden van de deterministische garanties die nodig zijn voor menselijk psychologisch vertrouwen, of worstelen met de haalbaarheid bij het afdwingen van complexe, mensgerichte restricties naast stuwkrachtlimieten en detectiebereiken.

Methodologie: Het TRUST-UP Framework

De auteurs stellen TRUST-UP voor (Trustworthy Reinforcement learning Using Safe Techniques for UAV Pursuit), een framework dat een model-vrije RL-policy integreert met een formele veiligheidsfilter gebaseerd op Control Barrier Functions (CBF's). Het systeem is ontworpen om onveilige RL-acties te transformeren naar bewijsbaar veilige vluchtcommando's, terwijl de operationele transparantie behouden blijft.

1. Systeemaugmentatie en Transformatie

Om de haalbaarheidsproblemen aan te pakken die gebruikelijk zijn bij systemen met beperkte stuwkracht, augmenteren de auteurs de UAV-dynamica door virtuele controle-inputs te introduceren. Deze transformatie zet het oorspronkelijke eerste-orde, stuwkrachtbeperkte probleem om in een tweede-orde, output-beperkt probleem. Deze transformatie incorporeert actuator-traagheid in de veiligheidsrestricties, wat overbelasting door abrupte inputwijzigingen in traditionele eerste-orde CBF's vermindert en de haalbaarheid van het resulterende Kwadratische Programma (QP) verbetert.

2. Constructie van de Adaptieve Veiligheidsfilter

De kern van TRUST-UP is een veiligheidsfilter geconstrueerd uit drie adaptieve CBF's, geformuleerd als een QP-probleem. Deze restricties waarborgen de voorwaartse invariantie van drie specifieke veiligheidssets:

• Inputrestrictie ($C_{u,i}$): Een tijdvariërende restrictie die de maximale stuwkracht toelage dynamisch aanpast op basis van de relatieve positie tussen de achtervolger en het doelwit. Dit staat versoepelde grenzen toe tijdens noodmanoeuvres, terwijl het erratische commando's tijdens de nominale vlucht strikt reguleert.
• Botsingsvermijding ($C_{c,i}$): Garandeert een minimale veilige afstand tussen de achtervolger en alle andere agenten (doelwitten, andere UAV's) en statische obstakels.
• Detectiebereik ($C_{s,i}$): Zorgt ervoor dat de achtervolger binnen een maximale afstand blijft om de sensordekking van het doelwit te behouden.

De filter houdt rekening met systeemonzekerheden (bijv. wind, sensorruis) door gebruik te maken van adaptieve wetten om onbekende parameters te schatten, wat robuustheid tegen verstoringen garandeert.

3. Transparante Schakelstrategie

Het framework maakt gebruik van een hybride controlewet met een schakelstrategie:

• Regio $R_1$: Als de nominale RL-actie ($\pi_i$) aan alle veiligheidsrestricties voldoet (d.w.z. binnen de toelaatbare set ligt), voert het systeem de RL-actie direct uit.
• Regie $R_2$: Als de RL-actie een restrictie schendt, wordt de veiligheidsfilter geactiveerd. Het systeem lost het CBF-QP op om de dichtstbijzijnde veilige controle-input ($v^*_i$) te vinden die de nominale actie benadert en aan alle restricties voldoet.

De auteurs bewijzen formeel dat deze schakelstrategie ervoor zorgt dat het QP-probleem voldoet aan de Karush-Kuhn-Tucker (KKT)-condities, wat de existentie van een unieke, Lipschitz-continue oplossing garandeert die de invariantie van de veiligheidsset handhaaft.

Belangrijkste Bijdragen

1. Stuwkrachtbeperkte CBF-ontwerp: Het artikel introduceert een methode om stuwkrachtrestricties af te handelen door het systeem te augmenteren met virtuele inputs. Deze aanpak dwingt de operationele vluchtgrenzen af, terwijl het de bovenste grenzen tijdens noodmanoeuvres adaptief versoepelt, waardoor een balans wordt gevonden tussen missieprestaties en verifieerbare veiligheid.
2. Adaptieve Veiligheidsfilter: Het ontwerp van twee positiegebaseerde CBF's (voor botsingsvermijding en detectiebereik), gecombineerd met de stuwkrachtbeperkte CBF, vormt een veiligheidsfilter met gegarandeerde haalbaarheid. De adaptieve aard van deze restricties stelt UAV's in staat om veilige operaties te handhaven, zelfs onder atmosferische verstoringen.
3. TRUST-UP Algoritme met Bewezen Haalbaarheid: De voorstel van een transparante schakelstrategie die de veiligheid van RL-outputs bepaalt. De auteurs leveren een formeel bewijs dat het algoritme voldoet aan de KKT-condities voor alle veiligheidsrestricties, wat naleving garandeert van de eisen voor luchtwaardigheidscertificering voor gecertificeerde inzet.

Simulatieresultaten

De auteurs hebben TRUST-UP gevalideerd via numerieke simulaties waarbij twee achtervolgende UAV's doelwitten volgden in omgevingen met statische obstakels en onbekende verstoringen. Twee scenario's werden getest:

1. Circulaire Manoeuvres: Doelwitten voerden grote circulaire manoeuvres uit.
2. Figuur-8 Manoeuvres: Doelwitten voerden complexe "figuur-8" trajecten uit met variërende kromming.

Vergelijkende Analyse:

• SAC-alleen vs. TRUST-UP: Het baseline Soft Actor-Critic (SAC) algoritme, getraind zonder de veiligheidsfilter, slaagde er niet in om veiligheid te garanderen. In simulaties botsten de SAC-alleen agenten met obstakels en verloren ze de detectie van hun doelwitten (overschrijding van de detectieradius).
• Veiligheidsgaranties: TRUST-UP slaagde erin om alle veiligheidsrestricties (botsingsvermijding, detectiebereik en inputlimieten) te handhaven in beide scenario's, zelfs wanneer doelwitten agressieve ontwijkende manoeuvres uitvoerden.
• Controle-stabiliteit: De controle-inputs gegenereerd door TRUST-UP bleven binnen de voorgeschreven grenzen zonder hoogfrequente oscillaties, terwijl de SAC-alleen benadering instabiel volggedrag vertoonde onder verstoringen.
• Computationele Efficiëntie: De TRUST-UP CBF-QP implementatie demonstreerde verbeterde online computationele efficiëntie, waarbij de gemiddelde QP-oplostijd met ongeveer 14,1% werd verminderd vergeleken met een standaard input-beperkte CBF-QP techniek.

Betekenis en Claims

Het artikel claimt dat TRUST-UP de fundamentele tekortkoming aanpakt bij het inzetten van autonome systemen in menselijke omgevingen: de discontinuïteit tussen technische veiligheid en waargenomen betrouwbaarheid. Door psychologische veiligheidszones (vertrouwensradii) om te zetten in deterministische, harde restricties binnen een transparante veiligheidsfilter, overbrugt het framework de kloof tussen AI-prestaties en luchtvaartcertificeringsnormen.

De auteurs benadrukken dat hun werk bijdraagt aan certificeerbare en verklaarbare AI-frameworks voor lage-hoogte luchtvaart. In tegenstelling tot methoden die vertrouwen op reward shaping (zachte straffen), biedt TRUST-UP deterministische garanties. De transparante schakelstrategie zorgt ervoor dat veiligheidsbeslissingen interpreteerbaar zijn, wat voldoet aan de eisen voor luchtwaardheidscertificering in veiligheidskritische luchtvaartoperaties. Het artikel concludeert dat deze aanpak een noodzakelijke stap is naar betrouwbare autonome vluchtsystemen voor toekomstige stedelijke luchtmobiliteit, vooral waar menselijke aanwezigheid en psychologisch comfort cruciaal zijn.