Technische Samenvatting: Robot SQUID Game (SQUID)

Probleemstelling

Vierpotige robots hebben aanzienlijk potentieel aangetoond in ongeordende buitenomgevingen, maar autonome doortocht door afgesloten 3D-omgevingen – zoals tunnels, grotten en ingestorte structuren – blijft een kritiek capability-gat. Bestaande navigatiestrategieën staan voor drie primaire beperkingen:

1. Vereenvoudigde Training: Veel methoden vertrouwen op statische of vereenvoudigde omgevingsmodellen die de geometrische diversiteit van afgesloten ruimten in de echte wereld niet vastleggen.
2. Over-Specialisatie: Hooggespecialiseerde beleidslijnen vereisen vaak aanzienlijke herkalibratie bij het tegenkomen van nieuwe tunnelvormen of geometrieën.
3. Sensitiviteit van Sensoren: Benaderingen zijn vaak gevoelig voor sensorruis, wat leidt tot prestatiedegradatie tijdens implementatie in de echte wereld.

Huidige methoden worstelen om lichaamshouding, ledemaatarticulatie en omgevingsbewustzijn gelijktijdig te coördineren om botsingen met het plafond en zijdelingse obstructies in 360° afgesloten ruimtes te voorkomen.

Methodologie: SQUID Framework

Het paper introduceert SQUID (Skill-fused Quadrupedal locomotion Using Imitation and Distillation), een Reinforcement Learning (RL) framework dat procedurale omgevingsgeneratie combineert met een leermeester-leerling beleidsdistillatie-paradigma. Het systeem werkt in drie fasen:

1. Procedurale Tunnelgeneratie

Om het gebrek aan geometrische diversiteit in training aan te pakken, ontwikkelden de auteurs een fysikabewuste procedurale generator die 3D-tunnelomgevingen creëert met geparametriseerde variaties. Het systeem definieert vier onderscheiden tunnelklassen, elk met instelbare moeilijkheidsparameters:

• Driehoek (△): Gelijkzijdige dwarsdoorsneden met scherpe hoeken die lichaamsrotatie vereisen.
• Cirkel (⃝): Uniform afgesloten structuren waarbij reductie van de straal de moeilijkheid verhoogt.
• Halve Cirkel (T): Halfronde bogen met gerandomiseerde Z-normaal-flips om omgekeerd terrein te simuleren.
• Kloof (⊢⊣): Centrale holtes met verhoogde zijplanken, die een stabiele voetplaatskeuze uitdagen.

Deze omgevingen zijn sequentieel verbonden met toenemende moeilijkheid, zodat de robot een brede verdeling van ruimtelijke beperkingen tegenkomt in plaats van vaste paden te memoriseren.

2. Privilege Leermeester Training

Vier gespecialiseerde "expert" leermeester-beleidslijnen worden onafhankelijk getraind met Proximal Policy Optimization (PPO) binnen het RL-framework.

• Privilege Informatie: Leermeesters maken gebruik van volledige staat-observatie, inclusief ground-truth omgevingsdetails (bijv. exacte terreinhoogtemaps, plafondbeperkingen) die niet beschikbaar zijn voor de uiteindelijk ingezette robot.
• Observatieruimte: Omvat proprioceptieve data (gewrichtsposities/snelheden, basislineaire/hoeksnelheden) en exteroceptieve terreinmetingen.
• Beloningsfunctie: Een gewogen som van termen die snelheidsvolging, stabiliteit (met boetes voor verticale/horizontale fluctuaties), soepele actuatie, botsingsvermijding en gestructureerde staptiming stimuleren.

3. Beleidsdistillatie naar Leerling

Een geünificeerd "leerling"-beleid wordt getraind via Dataset Aggregation (DAgger) om kennis te distilleren van de vier expert-leermeesters.

• Invoerbeperkingen: In tegenstelling tot de leermeesters, vertrouwt de leerling uitsluitend op aan boord aanwezige sensing: dieptefoto's (64×48 pixels) en historische proprioceptie.
• Tunnel-Geconditioneerde Distillatie: Tijdens training wordt de leerling begeleid door het specifieke expert-beleid dat overeenkomt met het label van de huidige tunnelklasse.
• Klasse-Gebalanceerde Aggregatie: Een replay-buffer zorgt voor gebalanceerde bemonstering over alle vier tunneltypen, waardoor bias ten opzichte van één enkele geometrie wordt voorkomen en gespecialiseerde gedragingen binnen één model behouden blijven.

Belangrijkste Bijdragen

Het paper schetst drie primaire bijdragen:

1. Tunnel Simulatie Pijplijn: Een procedurale generatiesysteem dat 3D-tunnelomgevingen creëert met geparametriseerde geometrische variaties (dwarsdoorsnede-asymmetrie, hellingovergangen) die de diversiteit van bestaande afgesloten 3D-trainingdatasets overstijgen.
2. Tunnel-Geconditioneerde Beleidsdistillatie: Een multi-expert leermeester-leerling schema dat klasse-gebalanceerde aggregatie gebruikt om locomotiegedragingen over heterogene tunnelgeometrieën binnen één inzetbaar beleid te behouden.
3. Wereldwijde Diepte-Gebaseerde Implementatie: Experimentele validatie die aantoont dat het gedistilleerde beleid succesvol wordt overgebracht naar echte hardware met uitsluitend dieptewaarnemingen en proprioceptieve invoer, zonder privilege simulatorinformatie.

Experimentele Resultaten

De auteurs evalueerden SQUID via simulatie en implementatie in de echte wereld op een Unitree Go2 vierpotige robot.

Simulatieprestaties

Vergeleken met een Vanilla RL (V-RL) baseline en een Hiërarchische Planner (HP), toonde SQUID superieure prestaties:

• Succespercentage: SQUID behaalde de hoogste succespercentages over alle tunnelklassen en moeilijkheidsniveaus, met name in uitdagende driehoekige en kloftunnels waar V-RL vaak faalde en HP worstelde met adaptieve beweging.
• Efficiëntie: SQUID behield snellere doortochttijden dan de overdreven voorzichtige HP en vertoonde lagere botsingsfrequenties dan de onvoorspelbare V-RL.
• Energie: De methode bereikte een betere energie-efficiëntie door soepelere gangovergangen te garanderen en onnodige corrigerende bewegingen te verminderen.

Ablatiestudies

De auteurs voerden ablatiestudies uit om de noodzaak van elke component te verifiëren:

• Multi-Expert vs. Enkele Leermeester: Een leerling getraind met slechts één leermeester (cirkelvormige tunnels) faalde in het generaliseren naar asymmetrische tunnels (driehoekig/kloof), wat de noodzaak van multi-expertkennis bevestigt.
• Procedurale Generatie: Training in vaste, niet-procedurale omgevingen resulteerde in stijve beleidslijnen die faalden bij onverwachte variaties.
• Hoogtemapping: Het gebruik van een twee-laags hoogtekaart (vloer + plafond) voor leermeesters veroorzaakte convergentieproblemen; hoogtekaarten alleen voor de grond bleken effectiever voor het leren van stabiele strategieën.
• Beloningsvorming: Het verwijderen van botsings- of verticale snelheidsboetes leidde tot onstabiel, riskant gedrag.

Implementatie in de Echte Wereld

In een gecontroleerde tunneltestopstelling met modulaire segmenten (cirkelvormig, driehoekig met 40° helling, en kloftunnels) behaalde het SQUID-beleid:

• 70% succespercentage in cirkelvormige tunnels.
• 80% succespercentage in kloftunnels.
• 60% succespercentage in de meest uitdagende hellende driehoekige tunnels.
  Deze resultaten bevestigen het vermogen van het beleid om over te gaan naar echte hardware ondanks dieptenruis en ontbrekende terugkaatsingen.

Betekenis en Claims

Het paper beweert dat SQUID effectief de kloof overbrugt tussen gestructureerde simulatietraining en onvoorspelbare, afgesloten 3D-ruimtes. Door perceptie-behandelstrategieën te ontkoppelen van kernlocomotie en gebruik te maken van een leermeester-leerling architectuur, elimineert de methode de noodzaak voor complexe beloningsvorming in end-to-end training en vermindert het de afhankelijkheid van beleids-herkalibratie voor nieuwe geometrieën.

De auteurs merken op dat hun evaluatie zich richt op gestructureerde tunnelachtige geometrieën en niet expliciet ongeordende rommel (bijv. puin, rotsen) of strakke bocht-knooppuntnetwerken modelleert. Zij identificeren het uitbreiden van de procedurale generator om dergelijke ongeordende afgesloten passages op te nemen als een richting voor toekomstig werk. Het werk toont aan dat robuuste vierpotige locomotie in afgesloten omgevingen haalbaar is door de synthese van diverse trainingsdata en de distillatie van gespecialiseerde expertvaardigheden in een generaliseerbaar, visiegebaseerd beleid.