Technische Samenvatting: Cambrian-P: Pose-Grounded Video Understanding

Probleemstelling

Huidige Multimodale Grootte Taalmodellen (MLLMs) blinken uit in semantisch video-begrip—zoals actieherkenning en narratieve samenvatting—maar hebben consequent moeite met taken die visuele ruimtelijke intelligentie vereisen. De kernbeperking die is geïdentificeerd, is dat standaard MLLMs videoframes verwerken als geïsoleerde 2D-snapshotten, losgekoppeld van de persistente 3D-ruimtelijke structuur van het tafereel. Zonder expliciete verankering in 3D-geometrie falen modellen om te redeneren over ruimtelijke relaties, camerabeweging en globale scène-coherentie. Hoewel camerapose (positie en oriëntatie) al lang een hoeksteen is van 3D-vision en robotica (bijvoorbeeld Structure from Motion, SLAM), blijft deze grotendeels afwezig in de trainingssignalen van video-MLLMs.

Methodologie: Cambrian-P

De auteurs introduceren Cambrian-P, een video-MLLM verrijkt met native camerapose-predictiecapaciteiten. De aanpak is ontworpen om lichtgewicht te zijn, waarbij minimale architecturale wijzigingen aan bestaande MLLMs nodig zijn, terwijl er een nieuw trainingsparadigma wordt geïntroduceerd.

1. Architectuur

• Basismodel: Gebaseerd op de Cambrian-S architectuur, die een SigLIP2-SO400m visuele encoder koppelt aan een Qwen2.5 LLM via een MLP-projector.
• Camerapose-tokens: Om pose-schatting mogelijk te maken binnen de feature-ruimte van de LLM, voegt het model een kleine set leerbare camerapose-tokens toe aan de visuele tokens van elk frame voordat deze de LLM binnenkomen.
  • Er worden twee verschillende leerbare queries gebruikt: $c_{first}$ voor het eerste frame en $c_{rest}$ voor alle daaropvolgende frames. Dit stelt het model in staat het eerste frame te onderscheiden en alle poses weer te geven ten opzichte van het coördinatenstelsel van de eerste camera.
  • Deze tokens worden geplaatst na de visuele tokens maar voor de tekst-embeddings om het causale attentiemechanisme te respecteren.
• Pose-head: Een lichtgewicht projector mapt de verborgen staat van de pose-token van de LLM naar een pose-feature-dimensie. Een dedicated camera-head (geïnspireerd door VGGT), bestaande uit vier zelf-attentielagen gevolgd door een lineaire laag, regresseert de uiteindelijke cameraparameters.

2. Trainingsdoel

De totale verliesfunctie combineert standaard Next-Token Prediction (NTP) voor VQA met een camerapose-schattingsverlies:
$$\mathcal{L} = \mathcal{L}_{NTP} + \lambda_{pose} \cdot \mathcal{L}_{pose}$$

• Pose-verlies ($\mathcal{L}_{pose}$): Superviseert de voorspelde pose-encoding (translatie $t$, rotatie-quaternion $q$, en beeldveld $f$) tegen de ground truth met een gewogen L1-verlies.
  • Schaalnormalisatie: Om om te gaan met datasets met variërende fysieke schalen (metrisch versus niet-metrisch), wordt het translatieverlies genormaliseerd door de trajectlengte. Voor niet-metrische data wordt een gesloten-formule kleinste-kwadraten schalingsfactor berekend om de voorspelde trajectvorm af te stemmen op de ground truth zonder de schaal te laten instorten.
• Verweven Trainingsstrategie: De auteurs identificeren een conflict tussen de trainingsdynamiek van VQA en pose-schatting:
  • VQA gebruikt doorgaans uniforme framesampling en vermijdt zware augmentatie om feitelijke juistheid te behouden.
  • Pose-schatting vereist willekeurige temporele sampling, dynamische intervallen en zware augmentatie (bijvoorbeeld kleurjitter, onscherpte) om robuuste geometrische features te leren.
  • Oplossing: Een verweven trainingschema mixt drie soorten batches:
    1. Alleen VQA: Standaard uniforme sampling met NTP-verlies.
    2. Alleen Pose: Samples met dynamische/willekeurige sampling en zware augmentatie, uitsluitend gesuperviseerd door het pose-verlies (weglaten van VQA-verlies om hallucinaties bij onvolledige context te voorkomen).
    3. Gecombineerd: Samples met beide verliezen.
• Willekeurige Jitter: Om te voorkomen dat het model vaste frame-pose-correspondenties in uniforme sampling memoriseert, wordt tijdens VQA-training een willekeurige jitter toegepast op frame-indices.

3. Data Scaling

• Ground Truth: Training maakt gebruik van pose-geannoteerde data uit VSI-590K (ScanNet, ScanNet++, ARKitScenes) en MapAnything.
• Pseudo-annotatie: Om te schalen buiten de beperkte GT-data, gebruiken de auteurs VIPE (een feed-forward streaming videopose-engine) om pseudo-pose-annotaties te genereren voor video's uit het algemene domein (bijvoorbeeld uit het Cambrian-S-3M corpus). Deze pseudo-labels worden gefilterd op kwaliteit en gebruikt in het verweven trainingsrecept.

Belangrijkste Bijdragen

1. Pose-Grounded MLLM: Demonstreert dat het introduceren van camerapose als een lichtgewicht supervisie-signaal de ruimtelijke redeneercapaciteiten van MLLMs aanzienlijk verbetert.
2. Architecturale Efficiëntie: Bereikt state-of-the-art resultaten met minimale overhead (slechts leerbare tokens en een kleine head), waardoor zware dual-encoder ontwerpen of gespecialiseerde 3D-backbones worden vermeden.
3. Trainingsdynamiek: Stelt een verweven trainingsstrategie en willekeurige jitter-sampling voor om de conflicterende eisen van VQA en pose-schatting te verzoenen.
4. Dubbele Capaciteit: Het model bereikt concurrerende streaming camerapose-schatting (presteert beter dan specialistmodellen zoals StreamVGGT en CUT3R op ScanNet) terwijl het tegelijkertijd de Video QA-prestaties verbetert.
5. Generalisatie: Toont aan dat pose-supervisie algemene video-QA-benchmarks verbetert (bijvoorbeeld MVBench, EgoSchema), zelfs wanneer getraind op ruimtelijk specifieke data, wat suggereert dat pose een fundamenteel signaal is voor het begrijpen van de fysieke wereld.

Resultaten

Ruimtelijk Redeneren (VQA)

• VSI-Bench: Cambrian-P bereikt 73,7% nauwkeurigheid, wat een verbetering is van 4,5% ten opzichte van zijn tegenhanger zonder pose (Cambrian-S) en beter presteert dan andere ruimtelijke specialistmodellen.
• VSTemporalI-Bench: Toont een 20% verbetering op de subtaak voor camerabewegingsrichting ten opzichte van de baseline zonder pose.
• Out-of-Distribution (OOD): Verbeteringen worden waargenomen over acht benchmarks (inclusief MindCube, MVBench, EgoSchema), ondanks training voornamelijk op VSI-590K.
• Pseudo-Pose Scaling: Het toevoegen van pseudo-geannoteerde pose-data uit algemene video's verbetert de prestaties op algemene VQA-benchmarks verder, terwijl de winsten op ruimtelijke taken behouden blijven.

Camerapose-schatting

• ScanNet (Streaming): Bereikt een state-of-the-art Absolute Trajectory Error (ATE) van 0,078 onder streamingmodellen, beter dan StreamVGGT (0,127) en CUT3R (0,096).
• Efficiëntie: Ondanks 8,2 miljard parameters (groter dan specialistmodellen), bereikt Cambrian-P een lagere latentie (0,02s per frame in offline modus) dankzij de compacte SigLIP-encoder en causale transformer-architectuur.

Scaling Laws

• Modelgrootte: De prestaties op zowel VQA als pose-schatting verbeteren consequent naarmate de modelgrootte schaalt van 0,5B naar 7B.
• Data-grootte: Het verhogen van het aandeel pose-geannoteerde data leidt tot monotoon verbeteringen in zowel VSI-Bench-nauwkeurigheid als pose-schatting-fout.
• Trainingsiteraties: Het verhogen van pose-specifieke trainingsiteraties verbetert de pose-nauwkeurigheid zonder de VQA-prestaties te degraderen.

Betekenis en Claims

Het artikel stelt dat camerapose een fundamenteel signaal is voor videomodellen die redeneren over de fysieke wereld. Door pixels te verankeren in een gedeeld 3D-coördinatenstelsel, verbetert pose-supervisie:

1. Globale Consistentie: Het verbindt geïsoleerde frames tot een coherente 3D-scène, waardoor het model camerabeweging kan ontkoppelen van scenedynamiek.
2. Ruimtelijk Redeneren: Het stelt MLLMs in staat globaler te redeneren, wat blijkt uit significante prestatiewinsten op vragen die ruimtelijk verre objecten en routeplanning betreffen.
3. Synergie: Er is een wederzijdse winst; betere video-taaluitlijning (via VQA-pretraining) verbetert pose-schatting, en pose-supervisie verbetert VQA.

De auteurs concluderen dat Cambrian-P MLLMs naar voren brengt richting real-world grounded video understanding, waarbij camerapose niet slechts als een aanvullende aanwijzing wordt gepositioneerd, maar als een fundamentele inductieve bias voor de volgende generatie videomodellen.