Continual uncertainty learning

Dit artikel introduceert een nieuw curriculum-gebaseerd framework voor continu leren dat door het sequentieel ontleden van meerdere onzekerheden en het combineren van modelgebaseerde regeling met diepe versterkingsturing, robuuste besturing van niet-lineaire mechanische systemen mogelijk maakt met succesvolle simulatie-naar-realiteit-overdracht, zoals gedemonstreerd bij actieve trillingsregeling voor auto-aandrijflijnen.

De kern

De Kunst van het Leren: Hoe een AI een trillende auto-stuurwiel temt

Stel je voor dat je een beginnende piloot bent die een vliegtuig moet leren besturen. Maar er is een probleem: de wind waait niet altijd even hard, het gewicht van de passagiers verandert per vlucht, en soms zit er een krasje op de vleugel die de aerodynamica verandert. Als je de piloot direct in deze chaotische situatie zou zetten, zou hij waarschijnlijk crashen.

Dit is precies het probleem dat de auteurs van dit paper (Heisei, Ansei en Itsuro) proberen op te lossen voor machines, zoals auto's met trillende motoren. Ze hebben een slimme nieuwe manier bedacht om kunstmatige intelligentie (AI) te trainen om met onzekerheid om te gaan. Ze noemen dit "Continu Onzekerheid Leren".

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. Het Probleem: Te veel tegelijk is te veel

Stel je voor dat je een kind leert fietsen.

• De oude methode (Domain Randomization): Je zet het kind direct op een fiets, op een helling, met een windstoot, op een gladde weg, en met een band die lek is. Het kind valt direct. De AI probeert dit ook: het ziet alle mogelijke problemen tegelijk en raakt in de war. Het leert een "veilige" maar trage manier van rijden, of het leert helemaal niets.
• Het doel: Je wilt een controller die niet alleen op een perfect wegje kan rijden, maar ook op een hobbelig pad, met een zware bagage en een klapband.

2. De Oplossing: De "Trappen" van Leren (Curriculum Learning)

De auteurs zeggen: "Laten we het stap voor stap doen, net als een schoolprogramma."

In plaats van alles tegelijk te gooien, bouwen ze een trap van moeilijkheidsgraden op:

• Stap 1: De AI leert fietsen op een perfect vlak wegje zonder wind.
• Stap 2: Nu voegen we een beetje wind toe. De AI moet dit leren, maar het wegje blijft vlak.
• Stap 3: Nu maken we de weg een beetje hobbelig, maar de wind blijft hetzelfde.
• Stap 4: Nu voegen we een zware passagier toe.

Elke stap bouwt voort op de vorige. De AI bouwt een stevige basis van kennis op voordat ze de volgende uitdaging aangaan. Dit voorkomt dat de AI alles vergeet wat ze al geleerd hebben (een fenomeen dat "catastrophic forgetting" heet, alsof je je verjaardag vergeet omdat je een nieuwe taal leert).

3. De Twee Slimme Trucs

Om dit systeem echt goed te laten werken, gebruiken ze twee creatieve hulpmiddelen:

A. De "Vaste Hand" (Model-Based Controller)

Stel je voor dat je een beginnende piloot hebt. Je geeft hem niet alleen een stuur, maar je koppelt het stuur ook aan een automatische piloot die de basisregels kent (bijvoorbeeld: "houd het vliegtuig recht").

• De automatische piloot (de Model-Based Controller) zorgt dat het vliegtuig niet neerstort. Hij doet het "saaie" werk: de basisstabiliteit.
• De beginner (de AI) hoeft dan niet te leren hoe je überhaupt vliegt. Hij hoeft alleen maar te leren hoe hij de automatische piloot bijstelt voor de rare situaties (zoals een plotselinge windvlaag of een zware passagier).
• Resultaat: De AI leert veel sneller omdat hij zich alleen hoeft te focussen op de "rest" van het probleem, niet op het hele probleem.

B. Het "Oefenboek" (Continual Learning met EWC)

Als je een nieuwe taal leert, vergeet je soms je vorige taal. Om dit te voorkomen, gebruiken de auteurs een techniek die ze EWC noemen.

• Denk aan een spier die je hebt getraind. Als je een nieuwe oefening doet, wil je die oude spierkracht niet verliezen.
• De AI "onthoudt" welke knoppen in haar hersenen belangrijk waren voor de vorige taken en zorgt dat die niet zomaar worden overschreven. Ze bouwt nieuwe kennis op de oude, in plaats van het oude te vervangen.

4. De Praktijk: De Trillende Auto

Om dit te testen, namen ze een auto-aandrijflijn (het systeem dat de motorkracht naar de wielen brengt). Dit systeem is berucht om zijn trillingen en onvoorspelbaarheid:

• De motor kan zwaarder of lichter zijn (door slijtage of productieverschillen).
• Er is "speling" in de tandwielen (alsof er een beetje ruimte is voordat ze grijpen), wat zorgt voor een haperend geluid.
• De wegcondities veranderen.

Ze lieten hun AI trainen op deze auto.

• Zonder hun methode: De auto bleef trillen of de AI werd te voorzichtig en reed traag.
• Met hun methode: De AI leerde stap voor stap. Eerst de basis, dan de gewichtsveranderingen, dan de haperende tandwielen.

Het resultaat? De AI kon de trillingen van de auto perfect onderdrukken, zelfs als de auto er anders uitzag dan in de simulatie. Het was alsof de piloot, die eerst alleen op een vlakke weg had geoefend, nu moeiteloos door een storm kon vliegen zonder te crashen.

Conclusie

Deze paper laat zien dat je slimme machines niet kunt "overloaden" met alle problemen tegelijk. Door ze stap voor stap te leren (een curriculum), hen een veilige basis te geven (de automatische piloot), en hen te helpen niet te vergeten wat ze al weten, kun je robots en auto's maken die echt robuust zijn. Ze kunnen omgaan met de chaotische, onvoorspelbare wereld van de echte mens, zonder in paniek te raken.

Kortom: Leer eerst lopen, dan rennen, en pas daarna dansen in de regen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Continual uncertainty learning" in het Nederlands.

Titel: Continual Uncertainty Learning (CUL) voor Robuuste Controle van Niet-lineaire Systemen

1. Probleemstelling

De robuuste controle van mechanische systemen met meerdere onzekerheden (zoals parameter-variaties, niet-lineariteiten en veranderende bedrijfsomstandigheden) blijft een fundamentele uitdaging. Traditionele modelgebaseerde methoden (zoals $H_\infty$) bereiken hun limieten wanneer systemen sterk niet-lineair zijn en complexe parameter-variaties vertonen. Deep Reinforcement Learning (DRL) biedt een alternatief, maar het direct trainen van DRL-agenten in simulaties met alle onzekerheden tegelijkertijd (via Domain Randomization) leidt vaak tot:

• Suboptimale beleidsregels: De agent wordt overweldigd door de complexiteit en leert een te conservatief beleid.
• Slechte leerefficiëntie: Het vereist enorme hoeveelheden data en tijd.
• Catastrofale vergetelheid: Wanneer een agent nieuwe taken leert, vergeet het vaak wat het eerder heeft geleerd (een bekend probleem in Continual Learning).

Het doel is een controlebeleid te ontwikkelen dat robuust is tegen een combinatie van structurele niet-lineariteiten (zoals speling/backlash) en dynamische variaties, en dat succesvol kan worden overgebracht van simulatie naar de realiteit (sim-to-real transfer).

2. Methodologie: Continual Uncertainty Learning (CUL)

De auteurs stellen een nieuw curriculum-based Continual Learning framework voor, genaamd Continual Uncertainty Learning (CUL). De kern van de methode is het ontleden van een complex controleprobleem met meerdere onzekerheden in een sequentie van oplopend moeilijke taken.

Belangrijkste componenten:

• Curriculum Learning met Progressieve Uitbreiding:
  In plaats van alle onzekerheden tegelijkertijd te introduceren, wordt de set van plantmodellen (de systemen die worden gecontroleerd) geleidelijk uitgebreid.

  • Stap 1: Trainen op een lineair nominaal model.
  • Stap 2: Voeg geleidelijk specifieke onzekerheden toe (bijv. eerst massavariaties, dan demping, dan niet-lineariteiten zoals speling).
  • Dit creëert een "curriculum" waarbij de agent stap voor stap complexiteit opbouwt, wat de leersnelheid verhoogt en stabiliteit garandeert.

• Integratie van Model-Based Control (MBC) en Residual RL:
  Om de leerefficiëntie te verbeteren en te voorkomen dat de agent vanaf nul moet leren, wordt een Model-Based Controller (MBC) gebruikt als basis.

  • De totale stuursignalen is de som van de MBC (die zorgt voor een gedeelde, stabiele basisprestatie) en het DRL-beleid (dat zich richt op het compenseren van de resterende fouten of "residuals").
  • Dit stelt de DRL-agent in staat om zich te focussen op het optimaliseren van specifieke onzekerheden in plaats van de basiscontrole te heruitvinden.

• Continual Learning met Online-EWC:
  Om te voorkomen dat de agent kennis van eerdere taken vergeet bij het leren van nieuwe taken, wordt Elastic Weight Consolidation (EWC) toegepast.

  • EWC straft grote wijzigingen in parameters die belangrijk waren voor eerdere taken.
  • Om het geheugenverbruik te beperken bij een groeiend aantal taken, gebruiken de auteurs Online-EWC in combinatie met DDPG (Deep Deterministic Policy Gradient). Hierbij wordt alleen de informatie van de meest recente taak bewaard en geüpdatet, in plaats van alle historische data.

• Latent Markov Decision Process (LMDP):
  Tijdens het trainen wordt Domain Randomization toegepast binnen elke taak, waarbij onzekerheidsparameters willekeurig worden bemonsterd uit een verdeling, waardoor de agent generaliseert binnen de specifieke taak.

3. Belangrijkste Bijdragen

1. Nieuw Framework (CUL): Een curriculum-based aanpak die controleproblemen met meerdere onzekerheden decomposeert in een sequentie van continual learning taken, waarbij de complexiteit van de plantmodellen progressief toeneemt.
2. Online-EWC + DDPG: Een efficiënte implementatie van continual learning voor continue actie-ruimtes die catastrofaal vergeten voorkomt zonder de opslagvereisten exponentieel te laten toenemen.
3. Hybride Controle (MBC + RRL): De integratie van een modelgebaseerde controller als "shared baseline" versnelt de convergentie van het DRL-agent aanzienlijk en verbetert de sample-efficiëntie.
4. Praktische Validatie: Toepassing op een actief trillingscontrole-systeem voor een auto-aandrijflijn (powertrain), wat de bruikbaarheid voor industriële toepassingen aantoont.

4. Resultaten en Validatie

De methode is getest op een niet-lineair model van een auto-aandrijflijn met variaties in massa, demping, referentiesignalen en mechanische speling (backlash).

• Vergelijking met Baselines:

  • CUL (Proponst): Toonde de snelste convergentie en de meest stabiele leercurve.
  • Zonder MBC: Vereiste veel meer episodes om te convergeren en vertoonde instabiliteit bij het wisselen van taken.
  • Volledige Randomization (Alle onzekerheden tegelijk): Resulteerde in een conservatief beleid met over-overschrijdingen en minder effectieve onderdrukking van trillingen.
  • Alleen MBC: Werkte goed voor het nominale model, maar faalde bij grote afwijkingen (sim-to-real gap).

• Robuustheid en Sim-to-Real:
  De CUL-methode presteerde superieur in Monte Carlo-simulaties (100 willekeurige plantvariaties). Het bereikte de laagste gemiddelde trackingfout en de kleinste standaardafwijking, wat aantoont dat het beleid zeer robuust is tegen variaties in het systeem.

  • De methode slaagde erin om trillingen effectief te onderdrukken zelfs bij extreme combinaties van parameter-variaties en niet-lineariteiten.
  • De resultaten bevestigen dat de combinatie van curriculum learning en residual learning essentieel is voor succesvolle sim-to-real overdracht.

5. Betekenis en Conclusie

De studie demonstreert dat het aanpakken van meerdere onzekerheden in één keer voor DRL vaak suboptimaal is. Door het probleem op te splitsen in een curriculum van toenemende moeilijkheidsgraad en een modelgebaseerde basis te gebruiken, kan een robuust controlebeleid worden geleerd dat zowel efficiënt is in training als extreem robuust in de praktijk.

Deze aanpak biedt een veelbelovende oplossing voor complexe industriële controleproblemen waar traditionele methoden tekortschieten en pure DRL-aanpakken te traag of onstabiel zijn. De auteurs plannen verdere experimenten op fysieke hardware om de resultaten in de echte wereld te valideren.