Technische Samenvatting: OneCanvas: 3D Scènebegrip via Panoramische Reprojectie

Probleemstelling

Bestaande Vision-Language Models (VLM's) hebben moeite met 3D-scènebegrip, met name bij taken die betrekking hebben op gesitueerd redeneren (bijv. "Hoe ver is de stoel van de deur?" of "Wat is zichtbaar vanuit dit gezichtspunt?"). Huidige benaderingen vallen doorgaans uiteen in twee categorieën, die beide aanzienlijke kosten met zich meebrengen:

1. Architecturale Complexiteit: Het uitbreiden van vooraf getrainde 2D VLM's met specifieke geometrische encoders (bijv. puntwolk-tokenizers, diepte-geconditioneerde encoders) of complexe fusiemodules. Deze vereisen gezamenlijke training op grote schaal om nieuwe geometrische componenten af te stemmen op de taalbackbone.
2. Data Schalen: Het vertrouwen op enorme, gecureerde datasets van ruimtelijke vraag-antwoordparen om geometrisch redeneren aan te leren door middel van pure blootstelling.

Recente audits suggereren dat zelfs met deze aanpassingen, veel modellen er niet in slagen echt over geometrische inputs te redeneren, maar in plaats daarvan vertrouwen op statistische regelmatigheden van vraagtemplates en klasse-identiteiten. Bovendien verwerken deze methoden scènes vaak stuksgewijs over frames heen zonder een verenigd ruimtelijk coördinatenstelsel, wat het moeilijk maakt om vanuit specifieke gezichtspunten gesitueerd te redeneren.

Methodologie: OneCanvas

OneCanvas herformuleert 3D-scènebegrip als 2D ruimtelijk redeneren op een enkele panoramische canvas. Het vermijdt het wijzigen van de VLM-architectuur of het toevoegen van hulptermen voor verlies (loss terms). In plaats daarvan transformeert het multi-view RGB-D data naar een representatie die een vooraf getrainde VLM kan consumeren als een standaard afbeelding.

1. Feature Extractie en 3D Lifting

Gegeven een set van $K$ geposteerde RGB-afbeeldingen $\{I_k\}$ met metrieke dieptekaarten $\{D_k\}$ en cameraintrinsics:

• Een bevroren vision encoder (Qwen3-VL) extraheert patch-niveau features $F_k$ van elk aanzicht.
• Elke patch $(u, v)$ wordt "gelift" naar een 3D-wereldcoördinaat $p_{world}$ met behulp van de diepte $z$, cameraintrinsics en de camera-naar-wereld pose $T_k$.
• Dit resulteert in een set gelifte patches $P = \{(p_i, f_i, t_i)\}$, waarbij $p_i$ de 3D-wereldcoördinaat is, $f_i$ de feature is, en $t_i$ de temporele index van de bronframe is.

2. Panoramische Reprojectie

De gelifte patches worden geaggregeerd op een enkele equirectangulaire panoramische canvas gedefinieerd door een gekozen oorsprong $c$ en oriëntatie $R$.

• Continue Positionering: In tegenstelling tot rasterisatiemethoden die overlappende patches middelen of selecteren, plaatst OneCanvas elke patch op zijn continue angulaire positie (lengtegraad $\theta$ en breedtegraad $\phi$) op de canvas. Co-gelokaliseerde patches blijven onderscheidbare tokens.
• Position Encoding: De native 3D Rotary Position Embedding (3D-RoPE) van de VLM wordt gebruikt, waarbij de ruimtelijke dimensies overeenkomen met de continue lengtegraad en breedtegraad, en de temporele dimensie overeenkomt met de bronframe index.
• 3D Position Embedding: Om de verloren gegane metrieke diepte te herstellen die optreedt bij het reduceren van 3D-coördinaten naar angulaire canvasposities, wordt een 3D position embedding toegevoegd aan de feature van elke patch. Deze embedding codeert de metrieke offset $(q_x, q_y, q_z)$ in het canvasframe met behulp van sinusvormige encodings voor assen, radiale primitieven en unit-ray richtingen. Dit stelt de VLM in staat om toegang te krijgen tot metrieke schaalinformatie via zijn standaard aandachtsmecanisme.

3. Tweestaps Training

De methode maakt gebruik van een tweestaps trainingspipeline om de moeilijkheid te overwinnen van het leren van geometrie uit enkel downstream QA:

• Fase 1: Ruimtelijk Pretraining Curriculum: Het model wordt getraind op een procedureel gegenereerd curriculum waarbij objectfeatures (afkomstig van echte afbeeldingen) op specifieke 3D-coördinaten op een verder lege canvas worden geplaatst. Taken omvatten metrieke meting, egocentrische richting, navigatie, observeerbaarheid, tellen en bounding-box uitlezing. Deze fase dwingt het model om geometrisch te redeneren zonder te vertrouwen op scène-specifieke priors of klasse-identiteit shortcuts.
• Fase 2: Target Adaptatie: De gewichten uit Fase 1 worden samengevoegd met de basismodel. Een nieuwe, lower-rank LoRA adapter wordt getraind op downstream ruimtelijke QA-datasets (SQA3D, VSI-Bench, ViCA) om de geometrische redeneervaardigheden aan te passen aan real-world scène-distributies.

Belangrijkste Bijdragen

1. Panoramische Feature Reprojectie: Een mechanisme dat patch-features van alle aanzichten aggregeert op een enkele equirectangulaire canvas. Dit komt overeen met het inputformaat van vooraf getrainde VLM's, vereist geen architecturale wijzigingen en ondersteunt flexibele canvas-oorsprongen voor gesitueerd redeneren.
2. Ruimtelijk Pretraining Curriculum: Een nieuwe trainingsstrategie die mogelijk wordt gemaakt door de panoramische representatie. Door patch-features procedureel op een lege canvas te plaatsen, genereert het systeem on-the-fly supervisie voor diverse ruimtelijke taken met gecontroleerde antwoorddistributies, wat effectief de dataset-statistische shortcuts onderdrukt.

Resultaten

OneCanvas bereikt state-of-the-art prestaties op belangrijke 3D ruimtelijke redeneerbenchmarks, terwijl het aanzienlijk minder trainingscompute gebruikt dan concurrerende methoden:

• SQA3D: Behaalt 65.3 EM@1 (2.3 punten boven de vorige beste), met significante winsten in "Welke" en "Kan" vraagtypen die gesitueerd redeneren testen.
• VSI-Bench: Behaalt een gemiddelde nauwkeurigheid van 70.1, leidend in routeplanning en kamergrootte schatting.
• SPBench: Behaalt 72.1 zero-shot algemene nauwkeurigheid (4.8 punten boven de volgende beste), wat sterke generalisatie naar out-of-distribution data demonstreert.
• Efficiëntie: De methode gebruikt een orde van grootte minder trainingscompute (ongeveer 290 A100-equivalent GPU-uren) vergeleken met de sterkste concurrerende methoden (bijv. SenseNova-SI met ~27.648 A100-equivalent GPU-uren).

Ablatie studies bevestigen dat zowel de panoramische reprojectie als het ruimtelijke pretraining curriculum cruciaal zijn, met name voor taken die metriek redeneren en multi-step navigatie vereisen.

Betekenis en Beperkingen

Het artikel beweert dat OneCanvas aantoont dat hoogwaardig 3D-scènebegrip kan worden bereikt zonder complexe geometrische encoders of massale gecureerde datasets, mits de inputrepresentatie gestructureerd is om aan te sluiten bij de vooraf getrainde capaciteiten van de VLM. Door multi-view data te verenigen in een enkel ruimtelijk coördinatenstelsel en expliciet metrieke position embeddings te injecteren, stelt de methode de VLM in staat om over 3D-ruimte te redeneren met behulp van zijn natuurlijke aandachtsmecanismen.

Beperkingen:

• Afhankelijkheid van Diepte en Pose: De methode vereist metrieke diepte en cameraposes, waar pure RGB-methoden dit vermijden. Hoewel feed-forward reconstructie deze kan schatten, kunnen fouten de canvas degraderen.
• Global Panorama Trade-off: Het representeren van de scène als een enkele globale panorama ruilt fijne ruimtelijke precisie in voor compactheid, wat de prestaties op zeer grote of buitenlocaties potentieel kan beperken.
• Curriculum Design: Het pretraining curriculum is handmatig geschreven; het introduceren van kwalitatief nieuwe ruimtelijke vaardigheden vereist het schrijven van nieuwe taakgeneratoren in plaats van simpelweg meer data te verzamelen.
• Backbone Vereisten: De methode gaat uit van een backbone met ten minste 2D position encoding (bijv. multi-axis RoPE) om lengtegraad en breedtegraad te dragen, wat mogelijk niet geldt voor 1D-position modellen.