⚡ electrical engineering

Deep Reinforcement Learning for Reach-Avoid-Stay Problems

Dit artikel stelt een tweestaps deep reinforcement learning-framework voor dat gezamenlijk de maximale robuuste Reach-Avoid-Stay-verzameling en een bijbehorende schakelende regelstrategie leert, waarbij een superieure nauwkeurigheid en prestatie wordt aangetoond in het veilig laten bereiken en binnen doelverzamelingen blijven van systemen onder begrensde verstoringen vergeleken met bestaande methoden.

Oorspronkelijke auteurs: Gabriel Chenevert, Jingqi Li, Achyuta kannan, Sangjae Bae, Donggun Lee

Gepubliceerd 2026-09-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gabriel Chenevert, Jingqi Li, Achyuta kannan, Sangjae Bae, Donggun Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van robotica en autonome machines gaat veiligheid niet alleen over het vermijden van een botsing; het gaat erom precies te weten waar een machine naartoe kan gaan en, nog belangrijker, waar hij moet stoppen. Stel je een zelfrijdende auto of een bezorgdrone voor die door een drukke stad navigeert. Ingenieurs gebruiken wiskundige hulpmiddelen om "veilige zones" in kaart te brengen, waarbij ze ervoor zorgen dat als een machine vanuit een bepaalde plek vertrekt, hij zijn bestemming kan bereiken zonder iets te raken. Echter, een veelvoorkomend gebrek in deze veiligheidskaarten is dat ze een machine vaak wel vertellen hoe hij bij een doel moet aankomen, maar er niet in slagen hem te vertellen hoe hij daar moet blijven. Een voertuig kan een parkeerplaats hebben bereikt, maar door de wind of een plotselinge snelheid, kan het niet genoeg afremmen om geparkeerd te blijven, waardoor het uit de veilige zone en in gevaar drijft. Deze kloof tussen aankomen en blijven is lang een moeilijk probleem geweest voor informatici die machines echt betrouwbaar willen maken in onvoorspelbare omgevingen.

Om dit op te lossen, heeft een team onderzoekers van de North Carolina State University en de University of Texas at Austin een nieuwe manier ontwikkeld om machines te leren hoe ze een doel kunnen bereiken en hun positie kunnen behouden tegen elke verstoring. Ze richtten zich op een specifieke uitdaging genaamd het "reach-avoid-stay"-probleem (bereik-vermijd-blijf). In eenvoudige termen vraagt dit: vanaf welke startpunten kan een machine veilig een doel bereiken, obstakels vermijden en vervolgens voor altijd binnen dat doel blijven, zelfs als de wind waait of de weg glad wordt? Eerdere methoden hadden hier moeite mee omdat ze ofwel vertrouwden op complexe wiskundige ontwerpen die moeilijk te creëren waren voor ingewikkelde machines, ofwel onrealistische aannames deden, zoals de aanname dat een voertuig onmiddellijk kan stoppen. De onderzoekers stelden een tweestaps leerproces voor met behulp van een type kunstmatige intelligentie die bekend staat als deep reinforcement learning, waarbij een computer leert door middel van trial-and-error in een gesimuleerde wereld.

De aanpak van het team werkt als een reis in twee fasen. Eerst leert de computer een speciale binnenzone binnen het doelgebied te identificeren. Dit is een plek waar de machine voor altijd veilig kan blijven, ongeacht de verstoringen waarmee het te maken krijgt. De onderzoekers noemen dit de "robust viability kernel" (robuuste levensvatbaarheidskern). Om dit te vinden, leert de AI een beleid, of een set regels, die de machine in beweging houdt op een manier die er nooit voor zorgt dat hij uit deze veilige binnenkring drijft. Zodra de computer dit "blijf"-gedrag onder de knie heeft, gaat hij over naar de tweede stap. Hier leert het hoe het de machine van elk startpunt naar die veilige binnenzone kan krijgen zo snel mogelijk, terwijl het onderweg nog steeds alle obstakels vermijdt. De onderzoekers bewezen wiskundig dat als een machine deze binnenzone kan bereiken en daar vervolgens kan blijven, het de volledige taak succesvol heeft voltooid. Door deze twee geleerde gedragingen te combineren in één enkel schakelsysteem, weet de machine precies wanneer hij naar het doel moet rijden en wanneer hij moet overschakelen naar een modus die hem op zijn plaats houdt.

Het team testte deze methode op verschillende scenario's, variërend van een eenvoudige tweedimensionale kar op een baan tot complexe, hoogdimensionele simulaties van een verticaal opstijgende en landende taxi die door een stad vliegt en een tractor die gewassen lost van een bewegende combine harvester. In het geval van de eenvoudige kar vergeleken ze hun nieuwe methode met een oudere techniek die gebruikmaakt van complexe wiskundige functies. Hun nieuwe aanpak identificeerde een veilig startgebied dat bijna vijftien keer groter was dan het gebied dat door de oudere methode werd gevonden, wat betekent dat het de machine in staat stelde om vanuit veel meer posities te starten zonder het risico op een mislukking. In de complexere simulaties met de vliegende taxi en de tractor identificeerde de nieuwe methode de veilige startgebieden met meer dan samen 95 procent nauwkeurigheid, zelfs wanneer het leerproces kleine fouten bevatte die typerend zijn voor computertraining.

De resultaten lieten een scherp verschil zien tussen machines die getraind waren met de oude methoden en die getraind waren met dit nieuwe tweestaps-framework. Bij het testen op de vliegende taxi faalde de oudere "reach-and-avoid"-methode (bereik-en-vermijd), die alleen geeft om het bereiken van het doel, volledig bij de taak om daar te blijven, met een succespercentage van nul procent. In tegen afstelling slaagde de nieuwe methode 93 procent van de tijd. Op dezelfde manier slaagde de nieuwe methode in het tractor-scenario 99,3 procent van de tijd, terwijl de oudere methode slechts 73,5 procent van de tijd slaagde. De onderzoekers ontdekten dat de oudere methoden de machines vaak met volle snelheid het doelgebied in reden, waardoor ze geen manier hadden om af te remmen en op hun plek te blijven. De nieuwe methode leerde de machine echter vroegtijdig af te remmen, waardoor deze de veilige binnenzone binnenkwam op een snelheid waarbij hij onbepaald kon blijven.

Hoewel de simulaties zeer succesvol waren, merkten de onderzoekers op dat hun systeem ervan afhankelijk is van een nauwkeurig begrip van de omgeving en de fysica van de machine voordat de training begint. Als de echte wereld anders reageert dan het computermodel — bijvoorbeeld als de wind sterker is dan voorspeld of de grond gladder is — kan de getrainde machine de veiligheid niet garanderen. Het team suggereert dat toekomstig werk de noodzaak heeft om realtime sensordata te integreren om deze onbekenden aan te pakken. Voor nu biedt dit tweestaps-leerframework een significante stap voorwaarts, door een manier te bieden om machines niet alleen te leren hoe ze moeten aankomen, maar ook hoe ze moeten blijven, waardoor een theoretische veiligheidsgarantie wordt omgezet in een praktisch instrument voor complexe, real-world toepassingen.

Technische Samenvatting: Deep Reinforcement Learning voor Reach-Avoid-Stay Problemen

Probleemdefinitie

Het artikel behandelt het Reach-Avoid-Stay (RAS) probleem voor nietlineaire dynamische systemen onderhevig aan begrensde adversariële verstoringen. In tegenstelling tot standaard Reach-Avoid (RA) problemen, waarbij een systeem een doelset $T$ moet bereiken terwijl onveilige regio's worden vermeden, vereist het RAS-probleem dat het systeem niet alleen $T$ bereikt, maar ook er onbepaald in moet blijven ondanks alle begrensde verstoringen.

De kernuitdaging die wordt geïdentificeerd, is dat bestaande RA-methoden vaak falen om onderscheid te maken tussen de doelset $T$ en de robuuste viabiliteitskern (de maximale robuuste controle-invariante deelverzameling van $T$ ). Als een systeem $T$ bereikt maar niet de viabiliteitskern (bijvoorbeeld door met een te hoge snelheid binnen te komen), kan het niet in staat zijn om binnen $T$ te blijven onder verstoring, wat leidt tot veiligheidschendingen. Huidige benaderingen van RAS kampen met aanzienlijke beperkingen:

Control-Lyapunov-Barrier Function (CLBF) methoden zijn moeilijk te ontwerpen voor hoog-dimensionale of nietlineaire systemen.
Funnel-gebaseerde methoden rusten op de restrictieve aanname dat systemen direct kunnen stoppen.
Bestaande RL-benaderingen slagen er vaak niet in om de maximale robuuste RAS-verzameling te identificeren, wat resulteert in conservatieve beleidsregels of onnauwkeurige veiligheidsclassificaties.

Het doel is om de maximale robuuste RAS-verzameling te berekenen (de verzameling van alle initiële toestanden waaruit de RAS-taak uitvoerbaar is) en een bijbehorende controlebeleid dat taakvoltooiing garandeert onder alle begrensde verstoringen.

Methodologie

De auteurs stellen een tweestaps Deep Reinforcement Learning (RL) raamwerk voor dat gezamenlijk de maximale robuuste RAS-verzameling en het bijbehorende controlebeleid leert. Het raamwerk maakt gebruik van Deep Deterministic Policy Gradient (DDPG) voor hoog-dimensionale systemen.

Stap 1: Berekenen van de Robuuste Viabiliteitskern ( $A_S$ )

De eerste stap identificeert de robuuste viabiliteitskern $A_S$ binnen de doelset $T$ . Dit is de verzameling toestanden waaruit het systeem onbepaald in $T \cap C$ (doel- en beperkingsverzamelingen) kan blijven.

Een verdisconteerde waarde-functie $H(x)$ wordt gedefinieerd om $A_S$ te karakteriseren.
$H(x)$ is de unieke oplossing van een Bellman-vergelijking die een min-max operator bevat over controle- en verstoringsbeleidsregels.
De verzameling $A_S$ komt overeen met de nul-niveauverzameling van $H$ (waar $H(x)=0$ ).
Een beleid $\pi_H$ wordt afgeleid om het systeem binnen $A_S$ te houden zodra het er is.

Stap 2: Berekenen van de Maximale Robuste RAS-verzameling

De tweede stap formuleert het RAS-probleem als een RA-probleem waarbij de doelstelling de robuuste viabiliteitskern $A_S$ is in plaats van de oorspronkelijke set $T$ .

Waarde-functie Transformatie: Omdat $H(x)$ $H (x)$ nul is op $A_S$ $A_{S}$ , kan het niet dienen als beloning voor het bereiken van $A_S$ $A_{S}$ (omdat het geen stimulans biedt om de verzameling snel te bereiken). De auteurs introduceren een getransformeerde waarde-functie $H_g(x)$ $H_{g} (x)$ :
- $H_g(x) = H(x)$ als $H(x) < 0$ (buiten $A_S$ ).
- $H_g(x) = g(x)$ (positief) als $x \in A_S$ .
- Dit zorgt ervoor dat $H_g$ strikt positief is binnen $A_S$ en niet-positief elders.
RA Formulering: Een nieuwe waarde-functie $V(x)$ wordt gedefinieerd met $H_g$ als de doelbeloning. $V(x)$ karakteriseert de maximale robuuste RAS-verzameling.
Schakelend Beleid (Switching Policy): Een verenigd beleid $\pi_{RAS}$ $π_{R A S}$ wordt geconstrueerd door te schakelen tussen het "reach" beleid ( $\pi_V$ $π_{V}$ ) en het "stay" beleid ( $\pi_H$ $π_{H}$ ):
- Gebruik $\pi_V$ wanneer $H_g(x) \leq 0$ (buiten $A_S$ ) om het systeem naar $A_S$ te drijven.
- Schakel over naar $\pi_H$ wanneer $H_g(x) > 0$ (binnen $A_S$ ) om onbepaalde veiligheid te garanderen.

Belangrijkste Bijdragen

Theoretisch Bewijs van Maximaliteit: De auteurs bewijzen dat hun raamwerk, bij afwezigheid van trainingsfouten, de exacte maximale robuste RAS-verzameling identificeert. Ze demonstreren dat het resulterende schakelende beleid de RAS-taak garandeert voor alle toestanden in deze verzameling onder alle begrensde verstoringen. Dit wordt bereikt via de voorgestelde waarde-functie transformatie ( $H_g$ ), die de integratie van viabiliteitskern-analyse met RA-methoden mogelijk maakt.
Hoge Nauwkeurigheid in Leren met Deep RL: Het raamwerk wordt aangepast voor hoog-dimensionale systemen met behulp van DDPG. De auteurs tonen aan dat het raamwerk, zelfs met de inherente trainingsfouten van neurale netwerken, de maximale robuuste RAS-verzameling met hoge nauwkeurigheid (>95%) karakteriseert.
Praktische Toepasbaarheid: De methode handelt complexe omgevingen af waar CLBF-ontwerp onhandelbaar is en vertrouwt niet op de "instant stop" aanname die vereist is voor funnel-gebaseerde methoden.
Empirische Validatie: Simulaties op laag-dimensionale (Double Integrator) en hoog-dimensionale (VTOL Taxi, Nonlinear Harvester) systemen valideren de aanpak.

Resultaten

Identificatie van de Maximale Verzameling: In een 2D Double Integrator voorbeeld identificeerde het voorgestelde raamwerk een RAS-verzameling met een volume van 28,67, wat aanzienlijk groter is dan het volume van 1,98 dat door een CLBF-baseline werd geïdentificeerd. Dit geeft aan dat de voorgestelde methode minder conservatief is en meer haalbare toestanden identificeert.
Nauwkeurigheid: In hoog-dimensionale experimenten (VTOL en Harvester) bereikte het raamwerk een nauwkeurigheid van respectievelijk 95,8% en 99,4% bij het identificeren van de RAS-verzameling vergeleken met de grondwaarheid gegenereerd door de beleidsregel zelf.
Taaksuccespercentages: Het voorgestelde RAS-beleid presteerde aanzienlijk beter dan een baseline RA-methode bij het voltooien van de RAS-taak:
- VTOL: 93,0% succespercentage (RAS) versus 0% (RA baseline).
- Harvester: 99,3% succespercentage (RAS) versus 73,5% (RA baseline).
Falanalyse: Het artikel toont aan dat RA-beleidsregels falen voor de RAS-taak omdat ze de doelset $T$ bereiken met hoge snelheden zonder de robuuste viabiliteitskern $A_S$ binnen te gaan. Bijgevolg kunnen ze de toestand niet binnen $T$ houden onder verstoring. Het RAS-beleid vertraagt het systeem correct voordat het $T$ binnengaat om te garanderen dat het binnen $A_S$ landt.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het bieden van een theoretisch gefundeerd, datagedreven raamwerk dat het RAS-probleem oplost voor algemene nietlineaire systemen zonder restrictieve aannames.

Het overbrugt de kloof tussen bereikbaarheidsanalyse en deep RL, en bewijst dat de tweestapsbenadering de maximale robuuste verzameling oplevert.
Het pakt het "false negative" probleem van conservatieve methoden (zoals CLBF) en de "false positive" veiligheidsrisico's van standaard RA-methoden aan.
De auteurs erkennen dat het raamwerk steunt op voorkennis van systeemdynamica en omgevingsrestricties. Ze merken op dat hoewel huidige veiligheidskritische RL vaak een gebrek heeft aan rigoureuze theoretische garanties, dit werk dergelijke zekerheden biedt voor het RAS-probleem, mits het model accuraat is. Er wordt gesuggereerd dat toekomstig werk de integratie van real-world sensordata en het afhandelen van onbekende omgevingsinformatie kan bevatten.