Scalable Object Relation Encoding for Better 3D Spatial Reasoning in Large Language Models

Probleemstelling

Ruimtelijk redeneren (het lokaliseren van objecten op basis van hun relaties in een 3D-scène) is cruciaal voor intelligente embodied agents en 3D Vision-Language (VL) taken zoals 3D Visual Grounding en 3D Visual Question Answering. Het trainen van modellen met sterke redeneervermogens vanaf nul is echter moeilijk door het gebrek aan gekoppelde 3D-scène- en taaldata. Bestaande benaderingen die Large Language Models (LLMs) gebruiken, lopen tegen twee fundamentele beperkingen aan:

1. Absolute positie-encoding: Methoden die absolute 3D-coördinaten als features injecteren, hebben moeite om relatieve ruimtelijke relaties te extraheren. Omdat de oorsprong en oriëntatie in 3D-scènes willekeurig zijn, hebben absolute coördinaten weinig intrinsieke betekenis. Bovendien wordt de feature-fusie vaak te vroeg uitgevoerd, waardoor het LLM moeite heeft om posities te scheiden en paarsgewijze relaties te berekenen.
2. Schaalbaarheid van expliciete relaties: Methoden die alle paarsgewijze relaties tussen objecten expliciet als input-tokens coderen, leiden tot een kwadratische toename van de inputlengte ($O(n^2)$) ten opzichte van het aantal objecten ($n$). Dit overschrijdt vaak de inputlimieten van LLMs. Strategieën om tokens te pruningen (bijv. alleen nabije objecten houden) riskeren het verliezen van cruciale relaties, aangezien ruimtelijke nabijheid niet altijd relevantie garandeert.

Daarnaast is er een uitdaging bij het combineren van bestaande taal-RoPE (Rotary Positional Embedding) met nieuwe 3D-encoding: beide rotaties op query- en key-vectoren kunnen interfereren, wat de oorspronkelijke taalvaardigheden van het LLM ondermijnt.

Methodologie

De auteurs stellen QuatRoPE voor, een nieuwe positieve embedding-methode, gecombineerd met IGRE (Isolated Gated RoPE Extension).

1. QuatRoPE (Quaternion Rotary Positional Embedding)

QuatRoPE lost het schaalbaarheidsprobleem op door de inputlengte lineair te houden ($O(n)$) terwijl alle paarsgewijze relaties ($O(n^2)$) behouden blijven via het attentiemechanisme.

• Holistische Vector-encoding: In plaats van coördinaten per as (x, y, z) onafhankelijk te coderen, worden 3D-coördinaten als één geïntegreerde vector behandeld. Dit voorkomt dat kleine verschillen op één as ten onrechte hoge attentiescores opleveren voor objecten die verder weg liggen.
• Quaternion Rotatie: De methode gebruikt quaternions om absolute coördinaten te coderen. Voor elk object-token worden de query- en key-vectoren in de attention-layers geroteerd op basis van de 3D-coördinaten van het object.
• Relatieve Positie via Dot Product: Door wiskundige eigenschappen van quaternions, hangt het dot-product (de attentiescore) tussen twee geroteerde vectoren uitsluitend af van hun relatieve positie ($\vec{m} - \vec{n}$) in de 3D-ruimte. Hierdoor leert het model automatisch de ruimtelijke relaties zonder expliciete relatietokens toe te voegen.
• Maximale Betekenis: De attentiescores nemen toe voor objecten die werkelijk dicht bij elkaar liggen in de 3D-ruimte, wat overeenkomt met het linguïstische principe van de "Maxim of Relation" (mensen verwijzen meestal naar het dichtstbijzijnde relevante object).

2. IGRE (Isolated Gated RoPE Extension)

Om interferentie met de bestaande taal-RoPE te voorkomen en het LLM niet van nul te hoeven trainen, introduceren de auteurs IGRE:

• Isolatie: QuatRoPE wordt toegepast op specifieke dimensies die zijn toegevoegd aan object-gerelateerde tokens. Voor niet-object tokens (zoals instructies of vragen) worden deze dimensies met nullen opgevuld (zero-padded).
• Gating: Omdat de niet-object tokens nullen hebben in de QuatRoPE-dimensies, hebben ze geen invloed op de rotatie of de attentiescores wanneer ze interageren met object-tokens. Dit zorgt ervoor dat QuatRoPE alleen de relaties tussen objecten beïnvloedt en de oorspronkelijke taalvaardigheden van het LLM intact laat.

3. ASR Benchmark (Attribute-free Spatial Reasoning)

Om de prestaties puur op ruimtelijk redeneren te meten (zonder dat modellen kunnen "cheaten" door objecteigenschappen zoals kleur of vorm te herkennen), stellen de auteurs een nieuwe diagnostische benchmark op: ASR.

• Deze benchmark selecteert vragen uit ScanQA waarbij het antwoord uniek is, filtert alle attributen van het doelobject weg, en converteert de taak naar een 3D Visual Grounding-formaat (meervoudige keuze). Hierdoor moet het model uitsluitend vertrouwen op ruimtelijke relaties.

Kernbijdragen

1. QuatRoPE: Een nieuwe positieve embedding die absolute 3D-posities omzet in paarsgewijze relatieve posities via quaternion-rotaties in de attention-layer, met lineaire schaalbaarheid.
2. IGRE: Een mechanisme om QuatRoPE en taal-RoPE te combineren zonder interferentie, waardoor bestaande LLMs kunnen worden uitgebreid zonder volledige hertraining.
3. ASR Benchmark: Een nieuwe, strenge evaluatiemethode die ruimtelijk redeneren isoleert van semantische of visuele hints.
4. Holistische Encoding: Het bewijs dat het coderen van coördinaten als geïntegreerde vectoren (in plaats van per as) essentieel is voor nauwkeurige ruimtelijke voorstelling.

Resultaten

Uitgebreide experimenten tonen aan dat de methode consistent presteert:

• Benchmark Prestaties: Op bestaande benchmarks (ScanRefer, Multi3DRef, SQA3D) overtreft het model met QuatRoPE sterke baselines (zoals Chat-Scene en 3DGraphLLM) op alle metrics. Bijvoorbeeld, op ScanRefer (Acc@0.5) steeg de score van 55.8% naar 58.2% voor het 7B-model.
• ASR Benchmark: Op de nieuwe ASR-benchmark werden significante winsten geboekt (bijv. +19.48% voor het 1B-model), wat direct bewijst dat de verbetering voortkomt uit beter ruimtelijk redeneren en niet uit betere taalgeneratie.
• Ablatie Studies:
  • IGRE presteert beter dan traditionele additieve methoden, wat de noodzaak van isolatie bevestigt.
  • QuatRoPE overtreft andere RoPE-methoden (zoals M-RoPE) en het toevoegen van ruwe coördinaten, vooral bij modellen die sterk afhankelijk zijn van input-tokens.
  • De voordelen van QuatRoPE nemen toe bij scenario's waar objecten op één as dicht bij elkaar liggen maar in de 3D-ruimte ver uit elkaar (het "valse nabijheid"-probleem), wat de superioriteit van de holistische encoding aantoont.

Betekenis

Dit paper biedt een schaalbare en effectieve oplossing voor het integreren van 3D-ruimtelijk redeneren in Large Language Models. Door het probleem van de kwadratische complexiteit van relaties op te lossen en interferentie met taalverwerking te minimaliseren, maakt QuatRoPE het mogelijk om robuuste 3D-VL-agenten te bouwen die complexe ruimtelijke instructies kunnen begrijpen. De introductie van de ASR-benchmark stelt de gemeenschap bovendien in staat om ruimtelijk redeneren nauwkeuriger te evalueren, wat essentieel is voor de ontwikkeling van echt intelligente robots en interactieve systemen.