AutoTraces: Autoregressive Trajectory Forecasting via Multimodal Large Language Models

Het paper introduceert AutoTraces, een autoregressief vision-language-trajectmodel dat de redeneercapaciteiten van grote taalmodellen combineert met een innovatieve tokenisatie van trajecten en automatische chain-of-thought-generatie om nauwkeurige en generaliseerbare voorspellingen van menselijke bewegingen in complexe omgevingen te maken.

De kern

Stel je voor dat je een robot wilt die door een drukke supermarkt loopt, zonder tegen mensen aan te lopen of in de weg te staan. Dit is een enorme uitdaging voor kunstmatige intelligentie. De meeste robots kijken alleen naar de cijfers (waar is de persoon nu? waar moet hij heen?) en proberen een route te berekenen. Maar mensen zijn niet alleen cijfers; we gedragen ons op basis van sociale regels, we kijken om ons heen en we reageren op wat er gebeurt.

Deze paper introduceert AutoTraces, een slimme nieuwe manier om robots te leren hoe ze zich in een drukke wereld moeten gedragen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Robot als "Verteller" in plaats van "Rekenmachine"

Vroeger probeerden robots hun route te berekenen als een strakke wiskundige formule. AutoTraces doet het anders. Het gebruikt een Groot Taalmodel (LLM) – hetzelfde type "brein" dat gebruikt wordt voor chatbots zoals ChatGPT – maar dan getraind om niet alleen tekst, maar ook beweging te begrijpen.

• De Analogie: Stel je voor dat een oude robot een rekenmachine is die alleen "X=5, Y=3" kan zeggen. AutoTraces is als een ervaren verteller die een verhaal schrijft. In plaats van alleen getallen, "schrijft" de robot een verhaal over waar hij naartoe gaat, stap voor stap.

2. De Magische "Puntjes" (Tokenisatie)

Het grootste probleem met taalmodellen is dat ze niet goed zijn in het omzetten van getallen (coördinaten) in beweging. AutoTraces lost dit op met een slim trucje: Puntjes.

• Hoe het werkt: In plaats van de robot te laten zeggen "Ga 1,5 meter naar rechts", leert het model om een speciaal symbool te gebruiken: <punt>.
• De Creatieve Vergelijking: Denk aan een schatkaart. Vroeger moest je de exacte coördinaten (50.123, 12.456) opschrijven. AutoTraces plakt een sticker met een puntje op de kaart. Het model "weet" dat dit puntje staat voor een specifieke locatie, net zoals het woord "hond" staat voor een dier. Het model leert dan niet alleen waar het puntje is, maar ook hoe je er komt. Dit maakt het veel sneller en accurater dan het uitspellen van getallen.

3. De "Denk-stap" (Chain-of-Thought)

Een robot die alleen naar een video kijkt, ziet misschien alleen beelden. AutoTraces leert de robot om te denken voordat hij beweegt.

• De Analogie: Stel je voor dat je door een drukke kruising loopt. Je denkt niet alleen "links, rechts", maar je denkt: "Oh, die persoon loopt snel, ik moet wachten. Die groep staat in de weg, ik ga eromheen."
• De Innovatie: AutoTraces gebruikt een andere AI om automatisch dit soort gedachten te genereren. De robot leert dus niet alleen wat hij moet doen, maar ook waarom. Hij analyseert de video, ziet obstakels en bedenkt een plan: "Eerst rechts om die persoon te vermijden, dan rechtdoor." Dit gebeurt zonder dat mensen handmatig moeten uitleggen wat de robot moet denken.

4. Het "Vloeiend Schrijven" van Routes (Autoregressief)

Veel andere systemen proberen de hele route in één keer te voorspellen (als een foto van de hele route). AutoTraces schrijft de route letterlijk één lettertje (of puntje) per keer.

• De Vergelijking:
  • Oude methode: Je probeert een heel gedicht in één keer te onthouden en op te schrijven. Als je één woord verkeerd zet, is het hele gedicht fout.
  • AutoTraces: Je schrijft het gedicht regel voor regel. Als je een regel hebt geschreven, kijk je terug en beslis je wat de volgende regel moet zijn. Als je merkt dat er plotseling een persoon in je weg loopt, pas je de volgende regel direct aan.
  • Dit maakt de robot veel flexibeler. Hij kan een route van 5 seconden of 50 seconden voorspellen, afhankelijk van wat er gevraagd wordt, en past zich direct aan aan veranderingen.

5. Waarom is dit zo goed?

De tests tonen aan dat AutoTraces veel beter presteert dan de huidige beste methoden, vooral in twee situaties:

1. Op lange termijn: Hij kan veel verder in de toekomst kijken zonder de draad kwijt te raken.
2. In nieuwe omgevingen: Als je de robot meeneemt van een binnenplein naar een buitenpark, hoeft hij niet opnieuw te leren. Omdat hij "redeneert" in plaats van alleen cijfers te onthouden, begrijpt hij de logica van de situatie en past hij zich direct aan.

Kort samengevat:
AutoTraces is als het geven van een verstandig, redenerend brein aan een robot. In plaats van een strakke rekenmachine te zijn, wordt de robot een sociale verteller die de wereld om hem heen observeert, denkt over wat hij moet doen, en zijn route stap voor stap "schrijft" alsof hij een verhaal bedenkt. Hierdoor loopt hij veiliger en natuurlijker door onze drukke, menselijke wereld.

Technische samenvatting

Titel: AutoTraces: Autoregressieve Trajectvoorspelling via Multimodale Grootte Taalmodellen

1. Het Probleem

Het voorspellen van sociaal conform gedrag (trajecten) in omgevingen met mensen is een fundamentele uitdaging voor autonome systemen en mobiele robots. Bestaande methoden hebben verschillende beperkingen:

• Deep Reinforcement Learning (DRL): Is afhankelijk van trial-and-error leren, wat praktische beperkingen heeft voor de implementatie in de echte wereld.
• Imitatie Learning (Transformer-decoders): Methoden zoals ViNT, NoMad en CityWalker voorspellen vaak trajecten van een vaste lengte en hebben moeite met generalisatie in open wereldscenario's. Ze missen vaak menselijke redeneerprocessen.
• Bestaande LLM-benaderingen: Recentere methoden die Large Language Models (LLMs) gebruiken, vertalen coördinaten vaak naar tekst (bijv. "7.133"). Dit leidt tot token-inefficiëntie en beperkte ruimtelijk-temporele modellering. Daarnaast genereren veel bestaande spatiotemporele modellen volledige sequenties in één keer (niet-autoregressief), wat de modellering van dynamische interacties over de tijd beperkt.

Het doel is een model te creëren dat complexe menselijke interacties begrijpt, sociaal acceptabele trajecten voorspelt, flexibel is in lengte en goed generaliseert naar nieuwe omgevingen.

2. Methodologie: AutoTraces

AutoTraces is een autoregressief vision-language-trajectmodel gebaseerd op een multimodaal LLM (specifiek LLaVa-Video). De kern van de methode ligt in drie innovaties:

A. Nieuwe Traject-Tokenisatie (Point Tokens)
In plaats van coördinaten als tekst te behandelen, introduceert AutoTraces een uniek tokenisatieschema:

• Tokens: Elke waypoint (historisch of toekomstig) wordt gemarkeerd met een speciaal <point> token.
• Point Embeddings: De numerieke waarden van de coördinaten worden niet als tekst geëncodeerd, maar via een Point Encoder (een lichtgewicht encoder-decoder architectuur) omgezet in embeddings die direct in de latent space van het LLM passen.
• Voordeel: Dit behoudt het native autoregressieve generatiemechanisme van het LLM maar breidt het uit naar fysieke coördinatenruimtes. Het model kan hierdoor trajecten van willekeurige lengte genereren.

B. Geautomatiseerde Chain-of-Thought (CoT) Redenering
Om het begrip van complexe sociale interacties te verbeteren zonder handmatige annotatie:

• Een auxiliary multimodaal LLM (Qwen-VL-Max) genereert automatisch CoT-inhoud.
• Dit proces analyseert visuele observaties en trajectdata, inclusief kromme-analyse (curvature) en obstakelherkenning.
• Het resultaat is een gestructureerde redenering (bijv. "Om een voetganger te vermijden, buigt de robot rechtsaf...") die als context dient voor het voorspellende model.

C. Twee-staps Trainingsstrategie

1. Fase 1 (Pre-training): Het model leert interpreteerbare redeneerpatronen (CoT) op basis van video-tekstparen. Hierbij worden alleen de LoRA-lagen en de tekst-head geoptimaliseerd.
2. Fase 2 (Fine-tuning): Het model wordt gespecialiseerd in trajectvoorspelling door de <point> modus te integreren. De loss functie combineert cross-entropy (voor sequentiestructuur) met een directe regressie-loss ($L_{point}$) voor de nauwkeurigheid van de coördinaten.

3. Belangrijkste Bijdragen

1. Novel Tokenization Scheme: Een hybride aanpak waarbij <point> tokens dienen als categorische markers en numerieke waarden als embeddings. Dit mogelijk maakt autoregeneratieve generatie van trajecten met verbeterde ruimtelijk-temporele modellering.
2. Automatische CoT: Integratie van automatisch gegenereerde Chain-of-Thought redenering via multimodale LLMs, wat het begrip van sociaal gedrag verbetert en de noodzaak voor handmatige annotatie elimineert.
3. Superieure Prestaties: Het model toont superioriteit in langetermijnvoorspelling (long-horizon) en cross-scene generalisatie, terwijl het flexibel is in de lengte van de voorspelling.

4. Resultaten

Het model is getest op de SCAND-dataset (sociale navigatie) en getransfereerd naar ongezette datasets (GoStanford voor binnen, RECON voor buiten).

• State-of-the-Art (SOTA) Nauwkeurigheid: AutoTraces overtreft bestaande methoden (GNM, ViNT, NoMad, CityWalker) en de basis LLaVa-Video op alle metrieken (L1 en L2 fouten).
  • Bij korte voorspellingen (T=5): L2-fout van 0.674m (vs. 0.855m bij de beste concurrent).
  • Bij lange voorspellingen (T=10): L2-fout van 1.089m (vs. 1.407m bij CityWalker).
• Cross-Scene Generalisatie: Het model presteert aanzienlijk beter dan niet-autoregressieve baselines op ongezette datasets (binnen en buiten), wat aantoont dat autoregressieve besluitvorming beter in staat is om temporale afhankelijkheden te vangen.
• Efficiëntie en Flexibiliteit:
  • Instruction Following: AutoTraces bereikt 99.92% nauwkeurigheid in het volgen van instructies voor de lengte van het traject, vergeleken met 40.34% bij LLaVa-Video.
  • Token-efficiëntie: Door één token per waypoint te gebruiken in plaats van meerdere tokens voor tekstuele coördinaten, daalt het aantal tokens per antwoord (TPR) drastisch van ~375 naar 25.
  • Lage Fine-tuning Kosten: Het model generaliseert goed met slechts een klein deel van de data en korte fine-tuning, dankzij het gebruik van de pre-trained kennis van het basis-LLM.

5. Betekenis en Conclusie

AutoTraces markeert een belangrijke stap in de integratie van Large Language Models in robotica voor bewegingsplanning. Door de kloof tussen taalredenering en fysieke coördinaten te overbruggen via een nieuw tokenisatieschema, slaagt het model erin om:

• Sociale normen beter te begrijpen en toe te passen.
• Langetermijnvoorspellingen te doen met hoge nauwkeurigheid.
• Flexibel te zijn in verschillende scenario's zonder dat het hele model opnieuw getraind hoeft te worden.

De studie bewijst dat autoregressieve generatie, gekoppeld aan visueel redeneren en gestructureerde coördinaten-embeddings, een superieure aanpak is voor sociale robotnavigatie in dynamische menselijke omgevingen.