Technische Samenvatting: Social-Mamba

Probleemstelling

Het voorspellen van menselijke trajecten is cruciaal voor veilige navigatie in drukke omgevingen, zoals bij autonome robotica en sportanalyses. De kernuitdaging ligt in het vinden van een balans tussen voorspellende nauwkeurigheid en computerefficiëntie. Hoewel recente state-of-the-art methoden vertrouwen op Transformer-gebaseerde attention-mechanismen om complexe sociale interacties te vangen, leiden deze benaderingen tot kwadratische rekenkosten die slecht schalen met het aantal agenten. Omgekeerd bieden Geselecteerde Ruimte-Tijdsmodellen (SSM's), specifiek Mamba, lineaire tijdscomplexiteit en zijn ze effectief voor lange-afstand afhankelijkheden. Het rechtstreeks toepassen van SSM's op sociale interacties presenteert echter twee fundamentele conflicten:

1. Structureel Mismatch: SSM's zijn ontworpen voor geordende, een-dimensionale sequenties, terwijl sociale interacties plaatsvinden in ongestructureerde 2D- of 3D-ruimtes. Het forceren van agenten in willekeurige sequenties riskeert het vernietigen van ruimtelijke informatie.
2. Mismatch in Informatiestroom: Standaard SSM's verwerken informatie unidirectioneel. Sociale interacties zijn echter vaak holistisch en bidirectioneel; de intentie van een vroege actie wordt vaak verduidelijkt door latere gebeurtenissen, een context die puur voorwaarts werkende modellen niet kunnen vangen.

Eerdere pogingen om Mamba te gebruiken voor trajectvoorspelling hebben het model grotendeels beperkt tot alleen temporele geschiedenis of de kernmechaniek aangepast om op attention te lijken, waardoor het native voordeel van SSM's voor sociaal redeneren niet ten volle werd benut.

Methodologie

De auteurs stellen Social-Mamba voor, een voorspellingsarchitectuur die sociale interacties herformuleert als gestructureerde sequentiële processen om af te stemmen op het native ontwerp van SSM's. Het kader bestaat uit drie primaire componenten:

1. Cycle Mamba (CM) Blok

Om de bidirectionele aard van sociaal redeneren aan te pakken, introduceren de auteurs het Cycle Mamba-blok. In tegenstelling tot conventionele bidirectionele modellen die voorwaartse en achterwaartse passes onafhankelijk verwerken en deze pas aan het einde samenvoegen, creëert het CM-blok een continue stroom van toestanden.

• Mechanisme: Het construeert een cyclussequentie door de omgekeerde inputsequentie te concateneren met de originele voorwaartse sequentie ($S_{cycle} = [S_{bwd}; S_{fwd}]$).
• Staatpropagatie: Een enkel Mamba-model verwerkt deze geünificeerde sequentie. Cruciaal wordt de voorwaartse pass geïnitieerd met de laatste verborgen staat van de achterwaartse pass. Dit zorgt ervoor dat de voorwaartse verwerking van de geschiedenis van een agent expliciet wordt gekonditioneerd op een gecomprimeerde representatie van de toekomstige context, wat naadloze, geïntegreerde bidirectionele fusie mogelijk maakt met minder parameters.

2. Sociale Triplet Factorisatie

Om het structurele mismatch tussen 1D SSM's en 2D sociale scènes op te lossen, organiseren de auteurs agenten op een ego-gecentreerd sociaal rooster en ontleden ze interacties in drie parallelle sequentiële scans:

• Temporele Interactie: Verwerkt individuele agentgeschiedenissen onafhankelijk om bewegingsdynamiek te vangen.
• Ego-gecentreerde Interactie: Voegt de huidige staatstoken van de ego-agent toe aan de sequentie van elke buur. Dit stelt het model in staat te scannen hoe buren de huidige staat van de ego beïnvloeden.
• Doel-gecentreerde Interactie: Voegt de doeltoken van de ego-agent toe aan buursequenties om te modelleren hoe buren het pad van de ego naar zijn bestemming beïnvloeden.

Zowel bij ego-gecentreerde als doel-gecentreerde scans worden de staat- of doeltokens van de ego toegevoegd aan buursequenties voordat de Cycle Mamba-scan plaatsvindt, waardoor verschillende interactie-aspecten op een temporele manier kunnen worden verwerkt.

3. Sociale Fusie en Decoding

De output van de drie interactiestromen ($Z^T, Z^E, Z^G$) worden gefuseerd met behulp van een leerbare sociale poort. Een gating-netwerk berekent dynamische gewichten voor elk interactietype, waardoor het model contexten adaptief kan benadrukken (bijvoorbeeld het verlagen van sociale invloed wanneer de ego-agent onafhankelijk beweegt). Tot slot wordt een globale scan uitgevoerd langs de as van de agenten om informatie te aggregeren, gevolgd door een decoder (een bidirectionele Mamba en MLP-koppen) om $K$ toekomstige trajecten te voorspellen.

Belangrijkste Bijdragen

1. Eerste Native SSM voor Sociaal Redeneren: Social-Mamba is de eerste trajectvoorspellingsarchitectuur die volledig is gebouwd op het Mamba-kader en sociale interacties direct aanpakt, in plaats van SSM's te beperken tot alleen temporele modellering.
2. Cycle Mamba Blok: Een nieuw module dat continue bidirectionele informatiestroom mogelijk maakt, wat het contextuele begrip verbetert en het aantal parameters met de helft reduceert ten opzichte van standaard bidirectionele ontwerpen.
3. Gestructureerd Sociaal Scannen: De introductie van ego-gecentreerde roosters en sociale triplet-factorisatie slaagt erin ongestructureerde 2D sociale dynamiek af te beelden op de 1D sequentiële verwerking van SSM's zonder ruimtelijke informatie te verliezen.
4. Efficiëntie en Schaalbaarheid: De architectuur bereikt lineaire tijdscomplexiteit en biedt superieure computerefficiëntie in vergelijking met kwadratische kosten van attention-mechanismen.

Experimentele Resultaten

De auteurs hebben Social-Mamba geëvalueerd op vijf benchmarkdatasets: NBA (Full, Scoring en Rebounding splits), Stanford Drone Dataset (SDD) en JRDB.

• Nauwkeurigheid: Social-Mamba behaalde state-of-the-art prestaties op alle benchmarks. Op de NBA-Full dataset verlaagde het de Average Displacement Error (ADE) tot 0,72m en de Final Displacement Error (FDE) tot 0,92m, en presteerde het beter dan sterke baselines zoals Multi-Transmotion en OmniTraj.
• Efficiëntie: Het model toonde aanzienlijke winst in parameter-efficiëntie en rekenkosten. In vergelijking met eerdere state-of-the-art methoden reduceerde Social-Mamba het aantal parameters met 75% en de GFLOPs met 54%.
• Flexibiliteit: Wanneer geïntegreerd als drop-in vervanging voor de Transformer-encoder in een flow-matching kader, verbeterde Social-Mamba de nauwkeurigheid terwijl het een encoder gebruikte die 2,3× kleiner was dan het Transformer-gebaseerde tegenhanger.
• Kwalitatieve Analyse: Visualisaties bevestigden het vermogen van het model om abrupte bochten, niet-lineair gedrag en dichte menigten te hanteren, waarbij diverse en plausibele multimodale trajecten werden gegenereerd.

Betekenis en Claims

Het artikel beweert dat Social-Mamba een nieuwe basis legt voor trajectvoorspelling door de kloof succesvol te overbruggen tussen de efficiëntie van Ruimte-Tijdsmodellen en de complexiteit van ongestructureerde sociale interacties. Door aan te tonen dat SSM's kunnen worden aangepast om sociale dynamiek te modelleren zonder terug te grijpen naar attention-achtige mechanismen of bidirectioneel redeneren op te offeren, positioneren de auteurs Social-Mamba als een flexibel, robuust en uiterst efficiënt alternatief voor Transformer-gebaseerde paradigma's. Het werk suggereert dat de inherente lineaire schaalbaarheid van SSM's hen bijzonder geschikt maakt voor real-time toepassingen in drukke, multi-agent omgevingen waar rekenkracht beperkt is.