Learning Visuomotor Policy for Multi-Robot Laser Tag Game

Probleemstelling

Het paper onderzoekt het probleem van multi-robot laser tag, een vereenvoudigde maar praktische versie van een schietspel waarbij robots met lasers op elkaar schieten. Traditionele aanpakken voor dergelijke taken volgen vaak een modulair ontwerp (detectie, schatting van de staat, planning en controle). Deze methoden stuiten op drie belangrijke beperkingen:

1. Beperkte observabiliteit: Het nauwkeurig schatten van de staat (positie, snelheid) van een vijand vanuit een monoculaire camera vereist specifieke bewegingspatronen. Als deze niet worden voldaan (bijv. door vijandelijk gedrag), worden de schattingen onbetrouwbaar, wat de schietnauwkeurigheid vermindert.
2. Afhankelijkheid van hardware en globalisatie: Veel methoden vertrouwen op globale lokalisatie (vaak onbeschikbaar in realistische omgevingen) of dieptebasisde mapping (LiDAR of dieptecamera's), wat de systeemcomplexiteit en hardwarekosten verhoogt.
3. Communicatie-afhankelijkheid: Bestaande multi-robot systemen vertrouwen vaak op inter-robot communicatie voor samenwerking, wat de schaalbaarheid beperkt.

De auteurs stellen dat robots, net als mensen bij First-Person Shooter (FPS) spellen, zouden moeten kunnen opereren zonder expliciete staatsschatting, globale lokalisatie of onderlinge communicatie, en uitsluitend moeten vertrouwen op visie en proprioceptie.

Methodologie

De auteurs presenteren een end-to-end visuomotor policy die beelden direct omzet in robotacties (snelheidscommando's). De aanpak gebruikt geprivilegieerd imitatie leren (Privileged Imitation Learning) in twee fasen:

1. Teacher Policy (Multi-Agent Reinforcement Learning - MARL)

Een "leraar" policy wordt getraind met MARL (specifiek MADDPG).

• Input: Deze policy heeft toegang tot "geprivilegieerde" toestandsinformatie (bijv. exacte relatieve posities van vijanden, teamgenoten en obstakels).
• Architectuur: Een permutatie-invariante feature extractor wordt gebruikt. Omdat de volgorde van naburige robots of obstakels dynamisch kan veranderen, wordt self-attention gecombineerd met gewogen sommatie-pooling toegepast. Dit zorgt ervoor dat de output niet afhankelijk is van de inputvolgorde, wat leidt tot stabielere en robuustere bewegingen.
• Beloning: Er zijn verschillende beloningsfuncties voor aanvallende (Team I) en verdedigende (Team II) robots, gericht op het raken van vijanden, vermijden van obstakels en het voorkomen van "friendly fire".

2. Student Policy (Vision-Based Imitation Learning)

Een "student" policy wordt getraind om het gedrag van de leraar na te bootsen, maar gebruikt alleen beelden als input.

• Input Verwerking:
  • Detectie: YOLOv5 detecteert vijanden en bondgenoten.
  • Heatmap: In plaats van ruwe bounding boxes, worden deze omgezet in Gaussische heatmaps. Dit benadrukt het centrum van het doelwit (het richtpunt voor de laser) en maakt de policy minder gevoelig voor randeffecten.
  • Diepte: De originele RGB-beelden worden verwerkt door Depth Anything v2 (DATv2) om dieptekaarten te genereren.
  • Input Tensor: De heatmap en de dieptekaart worden samengevoegd tot de input.
• Architectuur: Een CNN-encoder verwerkt de beelden, gevolgd door een LSTM (Long Short-Term Memory) module. De LSTM is cruciaal omdat de camera een beperkt gezichtsveld (FOV) heeft; deze module integreert temporale informatie om een beter beeld van de omgeving te vormen en inconsistente diepteschattingen te compenseren.
• Training: De student wordt getraind via DAgger (Dataset Aggregation) om de actie-output van de leraar te minimaliseren (MSE-verlies).

Belangrijkste Bijdragen

1. Decentralisatie en End-to-End: Een volledig gedecentraliseerde policy die werkt zonder expliciete staatsschatting, globale lokalisatie, draadloze communicatie of dieptebasisde mapping.
2. Prestatieverbetering: De methode elimineert fouten die voortkomen uit onnauwkeurige staatsschattingen, wat leidt tot een significante verbetering in schietnauwkeurigheid en botsingsvermijding.
3. Technische Innovaties:
   • Gebruik van een permutatie-invariante feature extractor (self-attention + pooling) voor stabiliteit in dynamische omgevingen.
   • Integratie van Gaussian heatmaps en monoculaire diepteschatting als input, wat robuuster is dan puur RGB of randdetectie.
4. Real-World Deploy: Succesvolle implementatie op een fysiek multi-robotsysteem met beperkte onboard rekenkracht (Nvidia Jetson Orin NX), zonder extra adaptatiemethoden (sim-to-real gap is inherent verkleind door de training).

Resultaten

De prestaties zijn getest in simulatie en in de echte wereld, vergeleken met klassieke modulaire methoden (zoals PD-regelaars, Visual Servoing en LSTM-policies gebaseerd op staatsschatting).

• Schietnauwkeurigheid: De student policy presteert 16,7% beter in het raken van doelen (Hit@15) dan de beste klassieke baseline (Bearing-Angle schatting + PD-regelaar).
• Botsingsvermijding: De collision rate is met 6% lager dan de klassieke methoden.
• Vergelijking Baselines:
  • De state-based teacher policy bereikt de hoogste nauwkeurigheid (48,6 Hit@15), maar vereist perfecte staatsschatting.
  • De vision-based student policy (38,4 Hit@15) overtreft alle andere methoden die werken met onboard sensoren (zoals monocular vision + schatting), die vaak kampen met hoge foutenmarges door onnauwkeurige schattingen.
  • Methodes die vertrouwen op globale lokalisatie of LiDAR zijn niet vergelijkbaar in dit specifieke, kostenefficiënte scenario.
• Efficiëntie: Het systeem draait met 20 Hz op de Jetson Orin NX. Zware modellen zoals DINOv2 zijn te traag (>100ms) voor real-time gebruik.

Significantie

Dit paper toont aan dat end-to-end visuomotor policies, getraind via geprivilegieerd imitatie leren, een superieur alternatief zijn voor traditionele modulaire pipelines in dynamische, competitieve multi-robot taken. Door te vertrouwen op visie en temporale context in plaats van complexe staatsschattingen, wordt het systeem robuuster, schaalbaarder en makkelijker te implementeren in real-world omgevingen waar globale lokalisatie of communicatie niet beschikbaar is. De succesvolle deploy op hardware met beperkte resources onderstreept de praktische toepasbaarheid voor toekomstige toepassingen zoals het onderscheppen van drones of autonome beveiliging.