💻 computer science

Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding

Qwen-3D is een nieuw geometrie-bewust groot multimodaal model dat gebruikmaakt van 3D Rotary Positional Embeddings en een op queries gebaseerde segmentatiedecoder om ruimtelijk redeneren, referentiële gronding en instantiesegmentatie over afbeeldingen en video's heen te verenigen, waardoor de kloof tussen taal en dichte 3D-geometrische voorspellingen effectief wordt overbrugd terwijl het bestaande gespecialiseerde en propriëtaire modellen overtreft.

Oorspronkelijke auteurs: Lucy Lin, Ayush Jain, Yifan Liu, Katerina Fragkiadaki

Gepubliceerd 2026-08-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lucy Lin, Ayush Jain, Yifan Liu, Katerina Fragkiadaki

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij de wereld ziet. Lange tijd waren deze robots als toeristen met een camera: ze konden een foto van een kamer maken en je vertellen: "Dat is een stoel," of "Er zijn drie mensen." Dit werkt prima voor platte foto's of korte videoclips. Maar als je de robot vraagt om door een heel huis te lopen, dezelfde stoel te bekijken vanuit de keuken, de gang en de slaapkamer, en je vervolgens precies te vertellen waar de stoel zich in de 3D-ruimte bevindt, loopt het een {rommeltje}. De robot raakt in de war omdat hij probeert duizenden afzonderlijke 2D-plaatjes aan elkaar te naaien, wat is alsof je een huis probeert te bouwen door duizenden platte ansichtkaarten aan elkaar te lijmen. Het is traag, het kost veel hersencapaciteit en de robot verliest vaak de controle over waar dingen zich daadwerkelijk in de echte wereld bevinden.

Dit is de uitdaging van "3D Vision-Language Models". Wetenschappers willen AI bouwen die niet alleen objecten herkent, maar ook hun vorm, locatie en relatie tot alles in een 3D-omgeving begrijpt, terwijl het tegelijkertijd naar menselijke instructies luistert. De grote vraag is: hoe maken we een AI die een kamer vanuit elke hoek kan bekijken, de indeling kan onthouden en naar het juiste object kan wijzen zonder te verdwalen in een zee van data? Als we dit kunnen oplossen, kunnen robots eindelijk door onze huizen navigeren, ons helpen bij het zoeken naar verloren sleutels, of zelfs assisteren bij complexe constructietaken, waardoor ze verder gaan dan alleen "zien" naar echt het "begrijpen" van de ruimte om hen heen.

Maak kennis met Qwen-3D, een nieuw soort AI ontwikkeld door onderzoekers van Carnegie Mellon University dat fungeert als een meesterarchitect voor deze digitale werelden. In plaats van elke videoframe als een afzonderlijk, plat plaatje te behandelen, doet Qwen-3D iets slims: het neemt al die verschillende aanzichten en "smelt" ze samen tot één enkele, persistente 3D-kaart. Stel je voor dat je een verzameling foto's van een beeldhouwwerk vanuit verschillende hoeken neemt en deze direct versmelt tot een solide, draaiend standbeeld in je geest. Dat is wat dit model doet met visuele data. Het gebruikt de diepte-informatie (hoe ver weg dingen zijn) en camerastandpunten om een lange, kronkelende videostroom te comprimeren tot een compacte, 3D-representatie. Dit stelt de AI in staat om over de scène als geheel te redeneren, in plaats van vast te lopen op het kijken naar één frame tegelijk.

Het paper betoogt dat eerdere pogingen om AI 3D-vaardigheden te leren een grote flessenhals hadden. Oudere modellen probeerden 3D-locaties te beschrijven door ze als tekst uit te schrijven (zoals "de stoel bevindt zich op coördinaten 1.2, 0.8, 0.9") of door te kiezen uit een vooraf gemaakte lijst van mogelijke objecten. De auteurs suggereren dat deze methoden zijn alsof je een complex schilderij probeert te beschrijven met slechts een beperkte set emoji's, of door te raden welke vooraf gedrukte sticker het beste past. Het is een onhandige en inefficiënte manier van communiceren. Qwen-3D lost dit op door het "brein" van de AI (zijn taalredenering) direct te verbinden met een "hand" (een segmentatie-decoder) die naar specifieke delen van de 3D-scène kan wijzen. In plaats van coördinaten te raden, leert het de exacte vorm van het object te markeren waar de gebruiker het over heeft, of het nu gaat om een kussen op een bed of een verkeerslicht in een straatscène.

De resultaten zijn zeer indrukwekkend. Bij het testen op een verscheidenheid aan benchmarks presteerde Qwen-3D beter dan bestaande 3D-AI-modellen en versloeg het zelfs verschillende grote, propriëtaire 2D-modellen in het begrijpen van 3D-ruimtes. Specifiek ontdekten de onderzoekers dat Qwen-3D de 3D visual grounding (het vinden van objecten op basis van beschrijvingen) met 4% verbeterde en de 3D instance segmentation (het scheiden van individuele objecten van een scène) met 13% verhoogde ten opzichte van de beste voorgaande methoden. Opmerkelijk genoeg deed het dit alles zonder het vermogen te verliezen om standaard 2D-afbeeldingen en video's te begrijpen, wat bewijst dat je een model kunt leren om in 3D te zien zonder dat het vergeet hoe het in 2D moet zien.

De auteurs merken echter voorzichtig op dat dit nog geen wondermiddel is voor elke situatie. Het model gaat er momenteel van uit dat de wereld grotendeels statisch is; het heeft moeite met dynamische omgevingen waar objecten snel bewegen of van vorm veranderen, zoals een drukke straat met voorbijrazende auto's. Het vertrouwt ook op externe hulpmiddelen om diepte en camerastandpunten te schatten, wat betekent dat als die initiële metingen fout zijn, het begrip van de AI er ook een beetje naast kan zitten. Hoewel het een belangrijke stap voorwaarts is in het overbruggen van de kloof tussen taal en 3D-perceptie, suggereren de onderzoekers dat toekomstig werk zich moet richten op het aanpakken van deze bewegende doelwitten en misschien zelfs zelf geometrie moet leren schatten. Voor nu is Qwen-3D een krachtig nieuw instrument dat suggereert dat de sleutel tot betere 3D-AI niet alleen betere data is, maar een slimmere manier om te verbinden wat de AI ziet met hoe de AI spreekt.

Technische Samenvatting: Qwen-3D

1. Probleemstelling

Huidige Large Multimodal Models (LMM's) blinken uit in het verwerken van afbeeldingen en korte videoclips, maar hebben moeite met lange, multi-view videostreams. Deze beperking komt voort uit de kwadratische computationele kosten van attention-mechanismen op frame-centrische tokenisatie en beperkte contextvensters, wat langetermijn redeneren over spatio-temporele relaties belemmert. Hoewel 3D-geometrie (diepte en camerapozen) een natuurlijk mechanisme biedt om visuele stromen te comprimeren tot persistente, op de wereld afgestemde representaties, slagen bestaande 3D LMM's er niet in om gespecialiseerde 3D-perceptiesystemen te evenaren bij grounding- en segmentatietaken.

De auteurs identificeren een fundamentele bottleneck in bestaande benaderingen: geometrie-bewuste decodering. Huidige methoden communiceren 3D-voorspellingen doorgaans via taaltokens (autoregressieve generatie), voorstelselectie (proposal selection) of lichtgewicht grounding-queries. Deze interfaces creëren een ernstige informatiebottleneck tussen de hoogwaardige visuele representaties van de backbone en de dichte geometrische voorspellingen die vereist zijn voor precieze 3D-grounding. Bijgevolg blijven bestaande modellen, hoewel ze de hoogwaardige ruimtelijke redenering verbeteren, aanzienlijk zwakker dan specialistische systemen op kernperceptietaken zoals objectdetectie en segmentatie.

2. Methodologie

Qwen-3D is een geometrie-bewust 3D Vision-Language Model gebouwd op de Qwen2.5-VL backbone. Het pakt de geïdentificeerde bottlenecks aan via drie primaire architecturale innovaties:

A. Geometrie-bewuste Scène-representatie

In plaats van frame-niveau tokens te verwerken, projecteert Qwen-3D multi-view visuele kenmerken naar een gedeeld 3D-wereldcoördinatensysteem.

Proces: Met behulp van de Qwen2.5-VL vision encoder worden beeldkenmerken geëxtraheerd en ongeprojecteerd naar wereldcoördinaten $(x, y, z)$ met behulp van camera-intrinsieken en poses.
Compressie: Om redundantie over verschillende views aan te pakken, past het model voxel-gebaseerde token-merging toe (5cm voxelgrootte). Kenmerken en coördinaten binnen bezette voxels worden middengemiddeld (mean-pooled), wat resulteert in een compacte, ongeordende set geometrie-afgestemde tokens. Dit maakt efficiënt redeneren over lange multi-view sequenties mogelijk terwijl de ruimtelijke consistentie behouden blijft.

B. Geometrie-bewuste Visuele-Taal Attention

Qwen-3D wijzigt het attention-mechanisme zodat het direct in de 3D-wereldruimte opereert in plaats van op 2D-afbeeldingsvlakken.

3D Rotary Positional Embeddings (3D RoPE): Het model past de Qwen Multimodal RoPE aan om 3D ruimtelijke coördinaten $(x, y, z)$ samen met temporele posities te coderen. Dit stelt het attention-mechanisme in staat om over ruimtelijke relaties te redeneren over verschillende views en tijdstappen binnen een verenigd coördinatensysteem.
Attention Masking: In tegen tegen de standaard autoregressieve causale masking die wordt gebruikt voor tekst, gebruikt het model full attention over visuele tokens (omdat puntenwolken permutatie-invariant zijn), wat de 3D-prestaties verbetert zonder de oorspronkelijke capaciteiten van de backbone te verslechteren.

C. Geometrie-bewuste Decodering

Om de informatiebottleneck van tekst-gebaseerde of query-gebaseerde decodering te elimineren, introduceert Qwen-3D een unificatie-architectuur waarbij het taalmodel en de grounding-decoder gedeelde dichte visuele representaties gebruiken.

Architectuur: De gecontextualiseerde visuele-taal tokens van de backbone worden direct ingevoerd in een Mask2Former-stijl segmentatie-decoder.
Mechanisme: Leerbare object-queries voeren cross-attention uit met zowel visuele als taal-tokens. Dit stelt queries in staat om gezamenlijk te redeneren over scène-geometrie en linguïstische context, terwijl ze toegang behouden tot de volledige visuele representatie.
Outputs: De decoder voorspelt segmentatie-masks (voor 2D/3D grounding) en taal-grounding scores simultaan. Voor vraag en antwoord (VQA) voert de oorspronkelijke taal-head de next-token voorspelling uit op de gecontextualiseerde scène-taal representatie.

D. Gezamenlijke 2D-3D Training

Het model wordt gezamenlijk getraind op 2D- en 3D-datasets om de algemene multimodale capaciteiten te behouden terwijl 3D-redeneren wordt geleerd.

Strategie: 2D-data wordt incidenteel naar 3D 'gelift' met behulp van reconstructiemodellen (bijv. MoGE) om de uitlijning te verbeteren.
Loss-functies: Het trainingsdoel combineert drie losses: (1) Mask loss (BCE + Dice) voor segmentatie, (2) Text-span grounding loss voor referentiële grounding, en (3) Text generation loss voor VQA en beschrijvingen (captioning).

3. Belangrijkste Bijdragen

Een Geometrie-bewuste VLM Backbone: Integreert multi-view structuur met 3D Rotary Positional Embeddings en geometrie-gebaseerde token-compressie om efficiënt redeneren over lange horizonten mogelijk te maken.
Unificatie 3D Grounding Architectuur: Introduceert een query-gebaseerde segmentatie-decoder die taal direct in de wereldruimte grondt, waarbij de volledige visuele token-representaties worden gedeeld met de backbone om de "special token" bottleneck te omzeilen.
Algemeen Bruikbaar Trainingsframework: Een gezamenlijke 2D-3D trainingsstrategie die sterke 2D visuele-taal capaciteiten behoudt terwijl de 3D ruimtelijke redenering en grounding aanzienlijk wordt verbeterd.
State-of-the-Art Prestaties: Demonstreert superieure prestaties over diverse 3D-benchmarks terwijl sterke 2D multimodale prestaties behouden blijven.

4. Experimentele Resultaten

Qwen-3D werd geëvalueerd op een diverse set benchmarks, inclusief 3D referentiële grounding, instantie-segmentatie en visuele vraag en antwoord (VQA).

3D Referentiële Grounding (ScanRefer): Qwen-3D (7B) bereikt 62.8% Acc@25, waarmee het de vorige single-stage LMM state-of-the-art (LLaVA-3D) met 12% en de two-stage Video-3D-LLM met 4% overtreft. Het komt nauw overeen met de prestaties van specialistische expertmodellen zoals UniVLG.
Out-of-Domain Generalisatie (Locate-3D/ScanNet++): Op de out-of-domain Locate-3D benchmark presteert Qwen-3D aanzienlijk beter dan zowel UniVLG als Video-3D-LLM, met een score van 55.7% Acc@25 vergeleken met 33.2% voor Video-3D-LLM.
3D Instantie-segmentatie (ScanNet200): Het model verbetert de 3D instantie-segmentatie nauwkeurigheid met 13 mAP ten opzichte van de vorige beste single-stage LMM (Grounded-3D-LLM), en nadert de prestaties van taal-geprompte specialistische modellen.
3D Visuele Vraag en Antwoord (VQA): De 7B variant presteert beter dan alle baselines op ScanQA en SQA3D, terwijl de 3B variant de specialistische UniVLG model overtreft.
Behoud van 2D Capaciteiten: Ondanks de 3D fine-tuning behoudt Qwen-3D sterke prestaties op 2D grounding benchmarks (RefCOCO familie) en RealWorldQA, wat aantoont dat geometrie-bewuste redenering kan worden toegevoegd zonder de algemene multimodale capaciteiten op te offeren.

5. Betekenis en Claims

Het artikel claimt dat Qwen-3D een nieuwe state-of-the-art vestigt voor algemene 3D LMM's, en daarmee effectief de prestatiekloof tussen algemene modellen en specialistische 3D-perceptiesystemen verkleint.

De auteurs stellen dat de primaire beperking van eerdere 3D LMM's niet het gebrek aan 3D-bewustzijn in de backbone was, maar de decoderingsinterface. Door af te stappen van tekstgeneratie- of voorstelselectie-decodering en in plaats daarvan de dichte visuele representaties van de backbone direct te koppelen aan een segmentatie-decoder, maakt Qwen-3D hoogwaardige 2D en 3D grounding mogelijk.

Het artikel concludeert dat hoewel geometrie-bewuste representaties noodzakelijk zijn, zij alleen onvoldoende zijn; even sterke geometrie-bewuste decoderingsmechanismen zijn vereist om de kloof tussen taalredenering en dichte geometrische voorspelling te dichten. Deze aanpak vormt een fundament voor toekomstige multimodale modellen die naadloos kunnen redeneren over afbeeldingen, video's en 3D-omgevingen.

Door de auteurs genoemde beperkingen:

Het huidige model gaat uit van een grotendeels statisch coördinatensysteem en heeft moeite met dynamische omgevingen die niet-rigide bewegingen of topologische veranderingen bevatten.
Het vertrouwt op extern geschatte dieptekaarten en camerapozen; fouten in de geometrische reconstructie beperken uiteindelijk de downstream grounding-prestaties.
De meeste taken omvatten een enkele grounding-stap, terwijl complexe embodied toepassingen mogelijk compositorisch redeneren over meerdere entiteiten vereisen.