AURA: Multimodal Shared Autonomy for Real-World Urban Navigation

1. Het Probleem

Navigatie van mobiele robots in complexe stedelijke omgevingen (zoals stoepen, parken en campussen) blijft een grote uitdaging voor volledig autonoom rijden. De omgevingen zijn dynamisch, onvoorspelbaar en bevatten diverse menselijke activiteiten.

• Huidige situatie: Veel bestaande systemen vertrouwen op een "human-in-the-loop" aanpak, waarbij een menselijke operator de robot volledig bedient of nauwlettend toezicht houdt. Dit leidt tot vermoeidheid, verminderde efficiëntie en veiligheidsrisico's.
• Beperkingen van bestaande gedeelde autonomie: Bestaande methoden voor gedeelde autonomie vereisen vaak dat de mens en de AI opereren in dezelfde lage-niveau actieruimte (bijv. direct besturen van wielen en pedalen). Dit creëert een hoge cognitieve last voor de mens, omdat ze met dezelfde frequentie als de AI moeten reageren, wat inefficiënt is voor lange trajecten.

2. Methodologie: AURA Framework

De auteurs introduceren AURA (Assistive Urban Robot Autonomy), een multimodaal framework dat de taak van stedelijke navigatie decomposeert in een hiërarchische structuur:

• Mens: Verantwoordelijk voor hoge-niveau instructies (strategische beslissingen, routekeuze, uitzonderingsgevallen).
• AI: Verantwoordelijk voor lage-niveau uitvoering (rijden in de rijbaan, obstakels vermijden, stabiliteit).

AURA is een Vision-Language-Action (VLA) model met een tweeledige architectuur:

A. Spatial-Aware Instruction Encoder (SIE)

Een kerncomponent die ambiguïteit in menselijke instructies oplost door deze te koppelen aan de visuele en ruimtelijke context. De SIE ondersteunt drie manieren van interactie:

1. Texting: Natuurlijke taal (bijv. "vertraag bij de stoep").
2. Drafting: Het tekenen van een ruwe pad op het beeldscherm.
3. Arrowing: Het aangeven van gewenste snelheid en richting via pijlen.

De SIE gebruikt een Vision Transformer (ViT) om visuele features te extraheren en voegt specifieke geometrische embeddings toe:

• Voor Drafting: Fourier-gebaseerde positiële encoding van geprojecteerde trajectpunten.
• Voor Arrowing: Rotatie-invariante encoding van snelheid en hoek.
  Deze features worden gefuseerd met tekstuele instructies via een vooraf getraind LLM (InternVL3-2B met LoRA-adapters) om contextfeatures te genereren die de actie-decoder sturen.

B. Diffusion Policy Executor

De actie-decoder is gebaseerd op een Diffusion Transformer (DiT). In plaats van te starten met Gaussisch ruis, initialiseert het proces met 64 traject-anchors (bewegingsprimitieven zoals "rechtuit", "draaien", "stop") die zijn geklusterd uit het dataset. De DiT decodeert deze anchors naar gedetailleerde, gedemende motoracties, gekonditioneerd op zowel robotobservaties als menselijke instructies.

C. Dataset: MM-CoS

Om dit model te trainen, hebben de auteurs een nieuw dataset gebouwd genaamd MM-CoS (Multimodal Co-Supervision):

• Omvang: 50 uur aan hoogwaardige teleoperatiegegevens van echte stoepen in diverse steden en weersomstandigheden.
• Auto-labeling: Een pipeline gebruikt VLM's om uit de grondwaarheid-rijbanen automatisch drie soorten labels te genereren: tekstuele commando's, visuele paden (drafting) en snelheidsrichting (arrowing).
• Diversiteit: De dataset bevat 3.040 trajecten en is verrijkt met data van andere open-source datasets.

3. Belangrijkste Bijdragen

1. Nieuw Framework: Een multimodaal gedeelde-autonomie framework dat menselijke instructievolging integreert met lage-niveau controle via een uniek VLM-encoder en een diffusiabeleid.
2. SIE Module: De introductie van de Spatial-Aware Instruction Encoder, specifiek ontworpen om menselijke instructies (tekst, tekeningen, pijlen) te koppelen aan de ruimtelijke geometrie van de omgeving, wat de robuustheid in real-world scenario's verbetert.
3. MM-CoS Dataset: Een schaalbaar dataset met multimodale instructies en experttrajecten, gefabriceerd via een geautomatiseerde labeling-pipeline.
4. Prestaties: Uitgebreide experimenten tonen aan dat AURA instructies nauwkeurig interpreteert, de menselijke operationele last met meer dan 70% reduceert en de frequentie van overnames (takeovers) met meer dan 44% verlaagt ten opzichte van bestaande methoden.

4. Resultaten

De auteurs evalueren AURA in simulatie en in echte wereldexperimenten:

• Instructievolging (Open-loop):

  • AURA presteert significant beter dan state-of-the-art baselines (zoals CityWalker, ViNT, NoMaD).
  • De variant met Arrowing-instructies behaalde de laagste L2-fout (0,150 op 1s, 0,473 op 2s), wat 39,8% beter is dan de beste concurrent.
  • Geometrische instructies (tekenen/pijlen) bleken effectiever voor precieze trajectgeneratie dan alleen tekst.

• Gedeelde Controle Efficiëntie:

  • In een pseudo-simulatie test reduceerde AURA de menselijke operationele frequentie met 44% (van 0,96 naar 0,498) en de menselijke operationele ratio met 19,2% ten opzichte van baselines.
  • Dit betekent dat menselijke operators minder vaak hoeven in te grijpen om de robot veilig te houden.

• Real-World Pilot:

  • In een test met 16 routes (totaal 2,8 km) op echte stoepen presteerde AURA het best op alle veiligheidsmetrieken.
  • Human Operation Ratio (HO): 1,73% (AURA) vs. 9,74% (NoMaD) en 14,56% (CityWalker).
  • Time Success Rate (TSR): 89,3% autonome succesvolle tijd.

5. Betekenis en Conclusie

AURA vertegenwoordigt een paradigmaverschuiving in robotnavigatie. In plaats van de mens te dwingen om op micro-niveau te besturen (zoals bij een joystick), stelt het de mens in staat om op strategisch niveau te sturen via intuïtieve multimodale interfaces.

• Veiligheid: Door lage-niveau controle over te laten aan de AI, wordt de reactiesnelheid op obstakels verbeterd en wordt menselijke vermoeidheid verminderd.
• Toepasbaarheid: Het systeem is hardware-onafhankelijk en kan naadloos worden geïntegreerd in bestaande leveringsrobots zonder hardware-aanpassingen.
• Toekomst: Dit werk legt de basis voor robuuste, mensgerichte autonome systemen die veilig kunnen opereren in drukke, dynamische stedelijke omgevingen, waarbij de mens de "baas" blijft op strategisch niveau terwijl de AI de zware, repetitieve taken uitvoert.