Context-free Self-Conditioned GAN for Trajectory Forecasting

Deze paper presenteert een contextloze, ongesuperviseerde methode op basis van een zelf-geconditioneerde GAN die verschillende bewegingspatronen uit 2D-trajecten leert en daarmee betere voorspellingen oplevert dan eerdere contextloze methoden op zowel menselijke beweging als verkeersdeelnemers.

De kern

Het Probleem: De "Gemiddelde" Voorspelling

Stel je voor dat je op een drukke hoek staat en probeert te voorspellen waar mensen over 5 seconden zullen zijn.

• De ene persoon loopt rustig naar de bus.
• De andere rent haastig naar de overkant.
• Een derde stopt plotseling om zijn schoenen te strikken.

De meeste bestaande computersystemen (AI) zijn als een slimme, maar saaie voorspeller. Ze kijken naar wat ze hebben gezien en zeggen: "Oké, de meeste mensen lopen hier rustig, dus ik ga voorspellen dat iedereen rustig loopt." Dit werkt goed voor de meeste mensen, maar faalt volledig voor de rennende persoon of degene die stopt. In de technische wereld noemen ze dit het probleem van de "dominante modus": het systeem leert alleen het meest voorkomende gedrag en negeert de uitzonderingen.

De Oplossing: Een AI die "Groepen" herkent zonder instructies

De auteurs van dit paper (Tiago, Eduardo en Oscar) hebben een slimme truc bedacht. Ze willen een systeem bouwen dat alle mogelijke gedragingen begrijpt, zelfs die zeldzame, zonder dat iemand het systeem eerst moet uitleggen wat een "rennende persoon" of een "stopte persoon" is.

Ze gebruiken een techniek die een Self-Conditioned GAN heet. Dat klinkt ingewikkeld, maar stel je het voor als een twee-koppig dansduo:

1. De Generator (De Danser): Deze probeert nieuwe danspassen (trajecten) te bedenken die eruitzien als echte mensen.
2. De Discriminator (De Kritische Dansmeester): Deze kijkt naar de danspas en zegt: "Is dit echt of nep?"

De slimme twist:
Normaal gesproken leert de dansmeester alleen "echt vs. nep". Maar in dit onderzoek laat de dansmeester ook een geheime lijst achter. Terwijl hij kijkt naar de danspas, groepeert hij ze automatisch in "hoeken" op basis van hoe ze eruitzien.

• Hoek A: Mensen die rechtdoor lopen.
• Hoek B: Mensen die bochten maken.
• Hoek C: Mensen die stilstaan.

De AI heeft niemand verteld dat deze hoeken bestaan; hij heeft ze zelf ontdekt door naar de data te kijken. Dit noemen ze "zelf-geconditioneerd".

De Drie Trainingsmanieren (De "Soft Assumptions")

Nu ze deze groepen hebben gevonden, willen ze de danser (de Generator) beter maken. Ze gebruiken drie slimme manieren om te trainen:

1. De "Zware Oefening" (Weighted Loss): Stel je voor dat de dansmeester zegt: "Jij bent goed in rechtdoor lopen, maar je faalt bij de bochten. Dus, we gaan 10 keer meer oefenen op die moeilijke bochten." Het systeem krijgt extra strafpunten als het de zeldzame, moeilijke bewegingen niet goed voorspelt.
2. De "Zeldzame Gasten" (Weighted Batch Sampler): Normaal gesproken krijgt de danser veel voorbeelden van de saaie, rechte lijnen. Nu zorgt het systeem ervoor dat hij ook vaak voorbeelden krijgt van de zeldzame, gekke bewegingen, zodat hij die ook leert.
3. De "Combinatie": Een mix van beide bovenstaande methoden.

Wat hebben ze getest?

Ze hebben hun systeem getest op twee soorten data:

1. Mensen in een fabriek (THÖR): Mensen die dozen dragen, inspecteren of rondlopen.
2. Auto's en voetgangers op de weg (Argoverse): Een drukke verkeerssituatie.

De Resultaten: Waarom is dit belangrijk?

Het mooie resultaat is dit:

• Voor de "normale" mensen: Het systeem werkt net zo goed als de beste systemen die er nu zijn.
• Voor de "moeilijke" mensen: Dit is de echte winst. Waar andere systemen faalden bij de zeldzame gedragingen (bijvoorbeeld een voetganger die plotseling de weg oversteekt, of een inspecteur die stopt), was hun systeem veel beter.

Ze hebben bewezen dat je door de AI te laten ontdekken dat er "verschillende soorten bewegingen" zijn, je een veel robuustere voorspeller krijgt.

Samenvattend in één zin

Stel je voor dat je een voorspeller bouwt die niet alleen leert hoe de meeste mensen lopen, maar die ook zelf ontdekt dat er "renners", "stoppers" en "sluimers" zijn, en zich daar speciaal op traint om die uitzonderingen ook perfect te voorspellen. Dat is wat deze paper doet: het maakt de AI slimmer door haar te laten groeperen in plaats van haar alleen het gemiddelde te laten leren.

Technische samenvatting

Probleemstelling

Het voorspellen van trajecten in de 2D-ruimte is een complex probleem, vooral omdat agenten (zoals mensen of voertuigen) onder vergelijkbare omstandigheden verschillende gedragspatronen kunnen vertonen. Bestaande state-of-the-art methoden zijn vaak contextbewust (ze gebruiken sociale interacties of visuele omgeving), maar dit paper richt zich op contextvrije methoden die uitsluitend gebaseerd zijn op de waargenomen beweging van de agent zelf.

Het centrale probleem met bestaande generatieve modellen (zoals GANs) in dit domein is het mode-collapse fenomeen. Wanneer de trainingsdata een sterke bias vertoont naar dominante gedragspatronen, leert de generator vaak alleen die dominante patronen en faalt hij in het modelleren van zeldzamere, maar cruciale, gedragsmodi. Dit leidt tot voorspellingen die gemiddeld goed zijn, maar falen bij de minst vertegenwoordigde (en vaak meest uitdagende) scenario's.

Methodologie

De auteurs stellen een tweestapsbenadering voor die een Self-Conditioned GAN combineert met aangepaste trainingsstrategieën om de diversiteit van trajecten te verbeteren zonder externe contextinformatie.

1. Self-Conditioned GAN voor Modus-herkenning:

   • Het systeem gebruikt een standaard GAN-architectuur met een Generator (G) en een Discriminator (D).
   • De Discriminator bevat een encoder (LSTM of MLP) die features extrahert uit zowel echte als gegenereerde trajecten.
   • In plaats van vooraf gedefinieerde labels te gebruiken, worden deze features geclusterd (bijv. met K-Means). Deze clusters vertegenwoordigen verschillende "modi" of gedragspatronen in de data.
   • Het doel is om te leren welke clusters welke gedragspatronen vertegenwoordigen, inclusief de zeldzamere en moeilijkere trajecten.

2. Trainingsinstellingen (Soft Assumptions):
   Op basis van de geclusterde informatie worden drie trainingsinstellingen voor een "Vanilla GAN" ontwikkeld om de voorspelling te verbeteren:

   • Gewogen Verlies (wL2): Het verlies van de generator wordt gewogen op basis van de prestaties van de clusters. Trajecten in clusters die moeilijk te voorspellen zijn (hoge fouten in de eerste fase) krijgen een hogere weging. Dit dwingt de generator om meer aandacht te besteden aan deze uitdagende subruimtes.
   • Gewogen Batch Sampler (wB): De batches tijdens het trainen worden samengesteld via een multinomiale verdeling waarbij zeldzame of moeilijke clusters vaker worden geselecteerd.
   • Combinatie (wL2 + wB): Een combinatie van beide bovenstaande methoden.

De input voor het systeem is uitsluitend de waargenomen baan (X), en het doel is het genereren van de toekomstige baan (Y).

Kernbijdragen

• Contextvrije Unsupervised Aanpak: Het is een van de eerste werken dat een self-conditioned GAN herontwerpt voor 2D-trajectvoorspelling zonder gebruik te maken van sociale of omgevingscontext.
• Modus-gebaseerd Leren: Het introduceren van een mechanisme om gedragsmodi te extraheren uit de feature-ruimte van de Discriminator en deze te gebruiken om de trainingsdynamiek te sturen.
• Verbetering van Zeldzame Klassen: De methode is specifiek ontworpen om de prestaties te verbeteren voor de minst vertegenwoordigde gedragspatronen, waardoor het mode-collapse-probleem wordt verzacht.
• Tooling: De auteurs hebben een pre-processing tool (pythor-tools) ontwikkeld en openbaar gemaakt voor het THÖR dataset.

Resultaten

De methode is getest op twee datasets: THÖR (menselijke beweging in een industriële omgeving) en Argoverse (weggebruikers zoals voertuigen en voetgangers).

• Prestaties op Zeldzame Klassen: De voorgestelde methoden (vooral Vanilla GAN + wB en Vanilla GAN + wL2 + wB) presteerden significant beter dan bestaande contextvrije baselines (zoals LSTM en standaard GAN) op de minst vertegenwoordigde labels (bijv. "inspecteurs" in THÖR en "andere weggebruikers" in Argoverse).
• Algemene Prestaties:
  • Bij menselijke beweging (THÖR) presteerde de methode over het algemeen beter dan bestaande methoden.
  • Bij weggebruikers (Argoverse) waren de resultaten goed, hoewel de gemiddelde scores soms niet verbeterden door de extreme onbalans in de dataset, maar de prestaties op de moeilijke klassen wel aanzienlijk verbeterden.
• Kwalitatieve Analyse: Visuele inspectie toont aan dat de methode complexere trajecten (die vaak in kleine, niet-dominante clusters vallen) nauwkeuriger voorspelt dan baselines. De geclusterde labels bleken betekenisvolle gedragspatronen te onderscheiden (bijv. richting van beweging of lengte van het traject).

Betekenis en Conclusie

Dit paper demonstreert dat het mogelijk is om een breed scala aan bewegingspatronen te leren zonder externe contextinformatie, mits het model in staat is om de interne diversiteit van de data te identificeren en te benutten.

De belangrijkste implicatie is dat clustering van discriminator-features een krachtige, onbewuste (unsupervised) methode is om de "mode collapse" in GANs voor bewegingsvoorspelling tegen te gaan. Door trainingsstrategieën af te stemmen op deze geïdentificeerde modi, kunnen systemen robuuster worden in het voorspellen van zeldzame maar kritieke situaties, wat essentieel is voor toepassingen zoals autonoom rijden en mens-robot interactie. De aanpak biedt een nieuwe richting voor contextvrije forecasting waarbij de focus ligt op het begrijpen van de onderliggende gedragsdistributie in plaats van alleen het minimaliseren van de gemiddelde fout.