Robust Human Trajectory Prediction via Self-Supervised Skeleton Representation Learning

Deze paper introduceert een robuuste methode voor het voorspellen van menselijke trajecten die gebruikmaakt van een zelftoezichtend, op masker gebaseerd autoencoder-model om de gevolgen van ontbrekende gewrichten door occlusies te minimaliseren en zo de voorspellingsnauwkeurigheid te behouden.

De kern

Het Probleem: De "Gaten" in de Zichtlijn

Stel je voor dat je probeert te voorspellen waar een wandelaar over een paar seconden zal zijn. Je kijkt naar zijn voetafdrukken op de grond (de traject). Dat helpt, maar het vertelt je niet waarom hij loopt. Zie hij een bus? Zie hij een vriend? Is hij van plan om te draaien?

Om dat te weten, kijken onderzoekers ook naar het skelet van de persoon (de houding van armen, benen en hoofd). Een gebogen rug of een schouder die naar voren wijst, geeft veel meer informatie dan alleen een stip op de grond.

Maar hier zit de hak: In de echte wereld is het vaak druk. Bomen, andere mensen of slechte camera's zorgen ervoor dat delen van het skelet verdwijnen (verdwijnen door "occlusie").

• Het is alsof je probeert een danser te imiteren, maar je ziet alleen zijn benen; zijn armen en hoofd zijn verborgen achter een muur.
• Als je huidige computersystemen proberen te raden waar de persoon naartoe gaat met deze "gebroken" informatie, maken ze grote fouten. Ze raken in de war, net als jij als je probeert een danspas te onthouden terwijl je een deel van de danser niet ziet.

De Oplossing: Een "Super-Geheugen" voor Skeletten

De onderzoekers van deze paper hebben een slimme truc bedacht. Ze bouwen geen systeem dat direct probeert te raden waar mensen gaan, maar ze trainen eerst een AI-systeem om een "super-geheugen" voor skeletten te ontwikkelen.

Ze gebruiken een techniek die we zelf-supervised learning noemen. Hier is hoe het werkt, met een analogie:

1. De Oefening: Het "Puzzel-spel"

Stel je voor dat je een kind leert een puzzel te maken.

• De oude manier: Je geeft het kind een puzzel met gaten en zegt: "Probeer maar te raden wat er ontbreekt, en doe dan je uiterste best om de rest van de puzzel te maken." Het kind raakt in de war en maakt veel fouten.
• De nieuwe manier (deze paper): Je geeft het kind een puzzel, maar je verbergt bewust stukjes (je "maskert" ze). Dan vraag je het kind: "Kijk naar de stukjes die je WEL ziet, en probeer te raden hoe de verborgen stukjes eruit moeten zien."

Het kind (het AI-model) moet nu echt begrijpen hoe een menselijk lichaam in elkaar zit. Als het ziet dat de linkerarm omhoog gaat, moet het weten dat de schouder en de nek ook een bepaalde houding hebben, zelfs als die niet zichtbaar zijn.

2. Het Resultaat: Een Robuust Geheugen

Na duizenden van deze "puzzel-oefeningen" heeft het model een intern gevoel ontwikkeld voor hoe mensen bewegen. Het heeft geleerd: "Zelfs als ik de linkerarm niet zie, weet ik dat hij waarschijnlijk hier zit, gebaseerd op de rest van het lichaam."

Dit noemen ze een robuste representatie. Het model is niet meer afhankelijk van perfecte beelden; het kan de "geest" van de beweging begrijpen, zelfs als het beeld kapot is.

3. De Toepassing: De Voorspeller

Nu nemen ze dit getrainde "super-geheugen" en koppelen het aan de voorspeller voor de wandelaars.

• Als de camera weer een gebroken beeld geeft (bijvoorbeeld: "ik zie de benen, maar de armen zijn weg"), gebruikt het systeem zijn super-geheugen om de ontbrekende informatie te "invullen" op een slimme manier, zonder dat het de voorspelling verpest.
• Het is alsof je een ervaren dansleraar hebt die, zelfs als hij maar een deel van de danser ziet, precies weet welke stap er als volgende komt.

Waarom is dit zo goed?

Vroeger was er een dilemma:

• Als je het systeem traint om perfect te zijn met volledige beelden, faalt het als er gaten zijn.
• Als je het traint om te werken met gebroken beelden, wordt het minder slim als de beelden wel perfect zijn.

Deze nieuwe methode lost dat op. Het leert het systeem om slimmer te worden door de gaten te simuleren tijdens de training.

• Bij perfecte beelden: Het is net zo goed als de beste systemen (soms zelfs beter, omdat het de beweging beter begrijpt).
• Bij gebroken beelden: Het blijft stabiel en maakt veel minder fouten dan de oude systemen.

Samenvatting in één zin

In plaats van een computer te leren om te hopen dat het beeld perfect is, hebben de onderzoekers de computer eerst laten oefenen met "blindvliegen" (puzzels oplossen), zodat het nu zelfs in de donkerste, meest rommelige situaties precies weet waar een wandelaar naartoe gaat.

Technische samenvatting

1. Probleemstelling

Het voorspellen van menselijke trajecten (de toekomstige paden van voetgangers) is cruciaal voor toepassingen zoals autonoom rijden en videobewaking. Bestaande methoden gebruiken vaak alleen eerdere posities (trajecten) om intenties te voorspellen, maar dit is onvoldoende om complexe bewegingspatronen te begrijpen.

Recente benaderingen proberen skeletdata (samenstelling van gewrichten) te integreren om deze ontbrekende intentie-informatie aan te vullen. Echter, in realistische omgevingen is skeletdata vaak onvolledig door:

• Occlusies (verduistering door andere objecten of mensen).
• Detectiefouten.
• Veranderingen in lichaamsoriëntatie.

De huidige methoden lijden onder een fundamenteel trade-off:

1. Als je modellen traint op schone data, presteren ze goed bij volledige data, maar falen ze dramatisch bij ontbrekende gewrichten.
2. Als je modellen traint op beschadigde data (om robuustheid te krijgen), daalt de nauwkeurigheid bij schone data omdat het model minder effectief gebruik maakt van de nuttige skeletinformatie.

Het doel van dit onderzoek is een methode te ontwikkelen die robust is tegen ontbrekende gewrichten zonder in te boeten op de voorspellingsnauwkeurigheid bij schone data.

2. Methodologie

De auteurs stellen een tweestapskader voor dat zelftoezichthoudend (self-supervised) leren van skeletrepresentaties scheidt van de downstream taak van trajectvoorspelling.

Stap 1: Zelftoezichthoudend Leren van Skeletrepresentaties

In deze fase wordt een encoder getraind om robuuste latenterepresentaties te leren, ongeacht welke gewrichten ontbreken.

• Architectuur: Een asymmetrische Encoder-Decoder structuur. De encoder is een ruimtetijdbewust Graph Convolutional Network (ST-GCN). De decoder is een lichtgewicht MLP.
• Maskeringstrategie: Tijdens het pre-trainen worden willekeurige subsets van gewrichten gemaskeerd (vervangen door nullen). Er worden drie maskeringstypen gebruikt om verschillende realistische scenario's na te bootsen:
  • Temporally Consistent: Dezelfde gewrichten ontbreken gedurende de hele sequentie (lange occlusie).
  • Random: Gewrichten ontbreken willekeurig per frame (sporadische fouten).
  • Body-Part: Hele lichaamsdelen (bijv. linkerarm) zijn tegelijkertijd gemaskeerd.
• Doel: De decoder probeert de gemaskeerde coördinaten te reconstrueren op basis van de zichtbare gewrichten en de ruimtetijdcontext.
• Resultaat: De encoder leert stabiele, informatieve representaties die invariant zijn voor ontbrekende data.

Stap 2: Integratie in Trajectvoorspelling

De vooraf getrainde encoder wordt geïntegreerd in een bestaand voorspellingsmodel (Social-TransMotion).

• Vervanging: De lineaire embedding van het skelet in het originele model wordt vervangen door de output van de vooraf getrainde encoder.
• Frozing: Tijdens het trainen van de trajectvoorspeller blijft de skeletencoder bevroren (frozen). Alleen de voorspellingsmodules worden geoptimaliseerd.
• Fusie: De robuuste skeletrepresentaties worden gecombineerd met trajectinformatie via een Cross-Modality Transformer om de intentie van de voetganger te voorspellen.

Het kernidee is dat robuustheid wordt bereikt op het representatieniveau (tijdens pre-training) in plaats van dat de voorspeller zelf moet leren omgaan met corrupte data.

3. Belangrijkste Bijdragen

1. Tweestapskader voor Robuuste Voorspelling: Een geïntegreerd framework dat reconstructie-gebaseerd leren scheidt van voorspelling, waardoor tolerantie voor ontbrekende data wordt verbeterd zonder de prestaties bij schone data te verstoren.
2. Robuustheid op Representatieniveau: Het tonen van dat mask-based self-supervised learning (via reconstructie) leidt tot representaties die informatief blijven onder diverse ontbrekende patronen. Dit positioneert maskering niet alleen als een reconstructietask, maar als een principieel mechanisme voor robuustheid.
3. Analyse van Skelet-Afhankelijkheid: Het paper toont aan dat de verbeteringen niet komen door een verzwakking van het gebruik van skeletdata, maar door het behoud van de bruikbaarheid van skeletfeatures onder gedeeltelijke waarneming.

4. Resultaten

De experimenten zijn uitgevoerd op het JTA-dataset (een groot synthetisch dataset met veel occlusies).

• Reconstructie: De encoder levert hoge nauwkeurigheid bij het reconstrueren van gemaskeerde gewrichten en behoudt consistente features (gemeten via cosine similarity) tussen schone en gemaskeerde inputs.
• Voorspellingsnauwkeurigheid (ADE/FDE):
  • De voorgestelde methode presteert consistent beter dan baselines bij schone tot matig ontbrekende data (0.0 tot 0.4 maskering).
  • Bij zware ontbrekende data (>0.6) blijft de methode concurrerend, hoewel andere methoden die specifiek op corruptie zijn getraind soms iets beter presteren in extreme gevallen.
• Trade-off Oplossing: In tegenstelling tot baselines die ofwel gevoelig zijn voor ontbrekende data (Standard) ofwel slecht presteren bij schone data (Corruption-trained), slaagt de voorgestelde methode erin beide doelen te bereiken: hoge nauwkeurigheid bij schone data én robuustheid bij ontbrekende data.
• Kwalitatieve Analyse: Bij kromme trajecten (waar skeletoriëntatie cruciaal is) behoudt de methode de bocht-tendens ook bij gemaskeerde input, terwijl baselines vaak terugvallen naar rechte voorspellingen.

5. Betekenis en Conclusie

Dit onderzoek biedt een oplossing voor een langdurig probleem in de menselijke trajectvoorspelling: de afweging tussen nauwkeurigheid en robuustheid.

• Praktische Impact: Voor autonome systemen in drukke stadsomgevingen is het essentieel dat voorspellers niet falen wanneer camera's of sensoren tijdelijk geen volledig beeld van een persoon hebben. Deze methode zorgt ervoor dat systemen betrouwbaar blijven zonder dat ze "veilig" moeten worden gemaakt ten koste van precisie.
• Innovatie: Het benadrukken van representatie-leren boven directe reconstructie of corruptie-training is een belangrijke inzichten. Het toont aan dat het leren van stabiele latenterepresentaties via self-supervised learning een superieure strategie is om omgang met onzekerheid in sensorische data.

Samenvattend bewijst dit werk dat door zelftoezichthoudend leren van skeletrepresentaties, men systemen kan bouwen die zowel extreem nauwkeurig als uiterst robuust zijn tegen de realiteit van imperfecte sensorische data.