Deep deterministic policy gradient with symmetric data augmentation for lateral attitude tracking control of a fixed-wing aircraft

Deze paper presenteert een Deep Deterministic Policy Gradient-methode met symmetrische data-augmentatie en een dual-critic-structuur om de sample-efficiëntie en convergentie van het controlebeleid voor zijdelingse houdingsvolging van een vliegtuig met vaste vleugels te verbeteren.

De kern

Stel je voor dat je een vliegtuig wilt leren vliegen, maar in plaats van een piloot te zijn die duizenden uren vliegt, geef je het vliegtuig een 'superhersenen' (een kunstmatige intelligentie) die het moet leren door te oefenen in een virtuele wereld.

Dit papier beschrijft een slimme manier om die 'superhersenen' veel sneller en efficiënter te laten leren, vooral als het vliegtuig moet kantelen (rollen) en draaien.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Grote, lege kamer"

Stel je voor dat je een kind leert een spelletje te spelen in een gigantische, lege kamer. Het kind moet rondlopen om te ontdekken waar de schatten liggen.

• Het probleem: Als het kind alleen maar naar voren loopt, leert het alleen maar de kant van de kamer waar het begon. Het leert niet hoe het zich moet gedragen als het naar links of rechts moet gaan, omdat het daar nog nooit is geweest.
• In de luchtvaart: Een vliegtuig heeft een enorm groot aantal mogelijke posities en snelheden (de "ruimte"). Als de AI alleen maar oefent met de data die ze zelf verzamelt, blijft ze "blind" voor de helft van de mogelijke situaties. Dit kost enorm veel tijd en rekenkracht.

2. De Oplossing: De "Spiegel" (Symmetrie)

Vliegtuigen zijn vaak symmetrisch gebouwd. Als je een vliegtuig in de lucht spiegelt (alsof je door een spiegelkloof kijkt), ziet het er bijna hetzelfde uit, maar dan andersom.

• De slimme truc: De auteurs zeggen: "Waarom moeten we het vliegtuig laten vliegen naar links én naar rechts om te leren? Als we weten hoe het vliegtuig reageert als het naar links kantelt, kunnen we wiskundig afleiden hoe het zou reageren als het naar rechts kantelt."
• De analogie: Stel je voor dat je een spiegel hebt. Als je in de spiegel kijkt en je beweegt je hand naar links, zie je in de spiegel je hand naar rechts bewegen. Je hoeft je hand niet écht naar rechts te bewegen om te weten hoe dat voelt; je kunt het gewoon "spiegelen" van je linkerbeweging.
• In dit papier: Ze nemen elke oefening die het vliegtuig doet, en maken er een "spiegelbeeld" van. Hierdoor verdubbelt het aantal oefeningen in één klap, zonder dat het vliegtuig écht hoeft te vliegen.

3. De Methode: Twee Oefenkrachten (DDPG-SCA)

Normaal gesproken leert de AI met één leraar (een "critic") die kijkt naar alle oefeningen. Maar als je de echte oefeningen en de gespiegelde oefeningen door elkaar gooit, kan de leraar verward raken of niet genoeg aandacht hebben voor de nieuwe, gespiegelde situaties.

De auteurs bedachten een slimme aanpak met twee leraren:

1. Leraar A kijkt alleen naar de échte, door het vliegtuig gemaakte oefeningen.
2. Leraar B kijkt alleen naar de gespiegelde, uit de lucht gegrepen oefeningen.
3. De "hoofdpersoon" (de piloot/AI) krijgt les van beide leraren.

• De analogie: Stel je voor dat je een sporter bent. Je hebt een trainer die kijkt naar je echte wedstrijden (Leraar A) en een tweede trainer die kijkt naar video's van je spiegelbeeld (Leraar B). Door beide trainers te volgen, leer je sneller hoe je je moet bewegen in elke situatie, zonder dat je dubbel zoveel wedstrijden hoeft te spelen.

4. Het Resultaat: Sneller en Veiliger

Door deze "spiegel-truc" en de twee leraren:

• Snelheid: De AI leert veel sneller. In de simulaties zag men dat de AI met deze methode veel sneller een goed vliegbewustzijn ontwikkelde dan de AI zonder spiegel.
• Veiligheid: Als de AI moet vliegen in situaties die ze nooit écht heeft geoefend (bijvoorbeeld een scherpe bocht naar links), kan ze zich dat "voorstellen" op basis van wat ze leerde over de bocht naar rechts. Ze raakt niet in paniek omdat ze het concept al kent.

Samenvatting in één zin

Dit papier vertelt hoe we vliegtuigen sneller kunnen leren vliegen door hun symmetrie te gebruiken als een spiegel, waardoor ze uit één oefening twee lessen kunnen trekken en zo veel minder tijd en energie hoeven te verspillen aan het "rondlopen in de lege kamer".

Technische samenvatting

Titel: Deep Deterministic Policy Gradient met Symmetrische Data Augmentatie voor Laterale Houdingsvolging van een Vaste-Vleugel Vliegtuig

1. Probleemstelling

Reinforcement Learning (RL) wordt steeds vaker toegepast voor de besturing van vliegtuigen, maar deze methoden kampen met een fundamenteel probleem: sample efficiency (efficiëntie van het gebruik van data).

• Exploratie vs. Exploitatie: Tijdens het trainen moet een agent de ruimte van toestanden en acties (state-action space) verkennen. Echter, naarmate het beleid (policy) convergeert, neemt de exploratie af, wat kan leiden tot onvoldoende dekking van de ruimte.
• Kostbare Experimenten: Het genereren van trainingsdata voor vliegtuigdynamica via simulatie of echte vluchten is kostbaar en tijdrovend.
• Generalisatie: Als de trainingsdata niet voldoende divers is (bijvoorbeeld door een onvolledige exploratie), faalt het geleerde neurale netwerk vaak bij het besturen van toestanden die niet in de trainingsset zaten (out-of-distribution), wat de veiligheid en prestaties in de praktijk beperkt.

Het artikel stelt dat de symmetrie in de mechanische structuur van vliegtuigen (spiegelsymmetrie) een oplossing biedt om deze data-efficiëntie te verbeteren zonder extra interactie met de omgeving.

2. Methodologie

De auteurs ontwikkelen een framework dat de symmetrie van het dynamische systeem benut om extra trainingsdata te genereren en dit te integreren in het Deep Deterministic Policy Gradient (DDPG) algoritme.

A. Theoretische Basis: Symmetrie in MDP's

• Het artikel definieert een Markov Decision Process (MDP) waarbij toestanden en acties symmetrisch zijn ten opzichte van een referentievlak (meestal de nul-toestand).
• Symmetrische Data Augmentatie: Als een sample $(x_t, a_t, x_{t+1})$ bestaat, kan er een gespiegeld sample $(x'_t, a'_t, x'_{t+1})$ worden gegenereerd waarbij de acties omgekeerd zijn ($a' = -a$) en de toestanden gespiegeld zijn ten opzichte van het referentiepunt.
• Theorema 1: Bewijst dat onder bepaalde voorwaarden (gelijkheid van de systeemmatrices $F$ en $G$ voor gespiegelde toestanden), de overgang naar de volgende staat ook symmetrisch is. Dit maakt het mogelijk om "verzonnen" (augmented) samples te creëren die wiskundig geldig zijn voor het model.

B. Algoritme-ontwikkeling
De auteurs introduceren twee verbeteringen op standaard DDPG:

1. DDPG-SDA (Symmetric Data Augmentation):

   • Een simpele aanpassing waarbij elke verzamelde sample wordt gespiegeld en aan dezelfde replay buffer wordt toegevoegd.
   • Dit vergroot de dataset en verbetert de dekking van de state-action ruimte.

2. DDPG-SCA (Symmetric Critic Augmentation) – De kerninnovatie:

   • De auteurs merken op dat het mengen van originele en gespiegelde samples in één mini-batch de effectiviteit kan verminderen.
   • Twee-Critic Structuur: Er worden twee aparte replay buffers ($D_1$ voor origineel, $D_2$ voor gespiegeld) en twee critic-netwerken gebruikt.
   • Twee-staps Benadering (Two-step Approximate Value Iteration):
     • Stap 1: Train de critic en actor op een mini-batch van originele samples ($D_1$).
     • Stap 2: Train de critic (de tweede) en update de zelfde actor opnieuw, maar nu op basis van de gespiegelde samples ($D_2$).
   • Dit zorgt ervoor dat de actor effectief twee keer per iteratie wordt geüpdatet (eenmaal op echte data, eenmaal op gespiegelde data), wat de leersnelheid verhoogt zonder de batchgrootte te vergroten.

C. Conditionering voor Actie-Gladheid (CAPS)
Om ruwe besturing te voorkomen, worden extra "smoothness losses" toegevoegd aan de doelstelling:

• Ruimtelijke gladheid: Straft grote veranderingen in actie bij kleine variaties in de invoer (ruisbestendigheid).
• Temporale gladheid: Straft abrupte veranderingen in actie tussen opeenvolgende tijdstappen.

3. Belangrijkste Bijdragen

1. Symmetrische Data Augmentatie Methode: Een methode om trainingsdata te genereren door de inherente symmetrie van vliegtuigdynamica te benutten, waardoor de dekking van de state-action ruimte toeneemt zonder extra simulaties.
2. Twee-staps Benadering met Dual Critic: Een nieuw algoritme (DDPG-SCA) dat twee critic-netwerken en een tweestaps-updateproces gebruikt om de efficiëntie van het gebruik van augmented data te maximaliseren.
3. Validatie op Vliegtuigmodel: Een gedetailleerde analyse van de symmetrie van een lineair lateraal vliegtuigmodel en de toepassing van deze inzichten op een RL-gebaseerde houdingsregelaar.

4. Resultaten

De methoden zijn getest in simulaties voor de laterale besturing (roll en gieren) van een vast-vleugel vliegtuig.

• Convergentie: Zowel DDPG-SDA als DDPG-SCA convergeren sneller dan standaard DDPG. DDPG-SCA toont de snelste convergentie, voornamelijk door de frequente updates van de actor.
• Data Dekking: De augmented samples vullen gaten in de ruimte die door de exploratie niet zijn bereikt. Dit is vooral waardevol wanneer de exploratie beperkt is (bijvoorbeeld door kleine ruis in de exploratie).
• Generalisatie (Belangrijkste bevinding):
  • Bij het testen met een referentietraject dat zowel positieve als negatieve rollhoeken bevatte, faalde de standaard DDPG-controller in het negatieve gebied (omdat deze tijdens training niet was gezien).
  • De symmetrische methoden (SDA/SCA) presteerden uitstekend in zowel positieve als negatieve gebieden. Ze konden het gedrag "imageren" op basis van de symmetrische data, wat de generalisatiecapaciteit drastisch verbeterde.
• Prestatiemetingen: De methoden meten een lagere Integral of Absolute Error Mean (IAEM) voor de roll-houding in vergelijking met standaard DDPG, wat aangeeft dat ze nauwkeuriger volgen.

5. Betekenis en Conclusie

Dit artikel demonstreert dat het benutten van fysieke symmetrie in dynamische systemen een krachtige manier is om de sample-efficiëntie van Reinforcement Learning te verbeteren.

• Kosteneffectiviteit: Het verminderen van de noodzaak voor uitgebreide exploratie betekent minder simulatietijd en minder risico bij het overbrengen naar echte systemen.
• Robuustheid: De methoden zorgen voor betere prestaties in onbekende gebieden van de state-space, wat cruciaal is voor de veiligheid van autonome vliegtuigen.
• Toepasbaarheid: Hoewel getest op een vliegtuig, is de methode breed toepasbaar op elk mechanisch systeem met spiegelsymmetrie (zoals robots of auto's).

De studie concludeert dat symmetrie-informatie RL-algoritmen niet alleen sneller laat leren, maar ook zorgt voor een robuustere controller die minder afhankelijk is van de specifieke dekking van de trainingsdata.