SeGPruner: Semantic-Geometric Visual Token Pruner for 3D Question Answering

Probleemstelling

Vision-Language Models (VLM's) worden steeds vaker gebruikt voor 3D-vraagbeantwoording (3D QA). In standaard pipelines worden visuele tokens, geëxtraheerd uit meerdere viewpoints (beeldhoeken), samengevoegd met taaltokens en verwerkt door een Large Language Model (LLM). Dit proces leidt echter tot ernstige redundantie:

1. Overmatige token-aantallen: Het samenvoegen van meerdere weergaven creëert een enorm aantal visuele tokens, wat de inferentie-efficiëntie beperkt onder strikte token-budgetten.
2. Beperkingen van bestaande methoden: Bestaande token-pruning methoden zijn vaak ontworpen voor 2D-inputs of vertrouwen op indirecte geometrische aanwijzingen. Ze missen vaak het vermogen om expliciet semantisch kritieke objecten te behouden én tegelijkertijd voldoende ruimtelijke dekking (spatial coverage) te garanderen voor robuust 3D-redeneren. Dit kan leiden tot het verlies van cruciale informatie of een gebrek aan dekking van belangrijke gebieden in de 3D-scène.

Methodologie: SeGPruner

De auteurs stellen SeGPruner voor, een trainingsvrij framework voor tokenreductie dat semantische bewustzijn en geometrische geleiding combineert. Het proces verloopt in twee coöperatieve fasen:

1. 3D-bewuste Feature Constructie

Voordat tokens worden geselecteerd, worden 2D-visual features uit meerdere beelden geprojecteerd naar een uniforme 3D-coördinatenruimte.

• Er worden patch-level 3D-coördinaten toegewezen aan visuele tokens door gebruik te maken van dieptekaarten en camera-extrinsieke parameters (back-projection).
• Dit creëert een representatie waarin tokens van verschillende viewpoints in één wereldcoördinatenstelsel kunnen worden vergeleken.

2. Semantisch Bewuste Token Selectie (Saliency-aware Token Selector)

Om te voorkomen dat belangrijke objecten verloren gaan tijdens de reductie, worden eerst de meest semantisch relevante tokens behouden.

• Mechanisme: Er wordt gebruikgemaakt van de attentie-scores (attention scores) uit de visuele encoder. Tokens die meer aandacht ontvangen van andere tokens (gebaseerd op de self-attention matrix) worden geacht semantisch belangrijker te zijn.
• Actie: De top-$k$ tokens met de hoogste attentie-scores worden geselecteerd als "belangrijke tokens" (important tokens).

3. Geometrisch Geleide Diverse Token Selectie (Geometry-aware Token Diversifier)

Om de scène volledig te dekken en te voorkomen dat het model zich alleen op lokale gebieden concentreert, worden er daarna aanvullende tokens geselecteerd die ruimtelijk divers zijn.

• Mechanisme: Dit module gebruikt een gecombineerde metriek die semantische gelijkenis en 3D-afstand combineert.
  • Geometrische afstand: De Euclidische afstand tussen de 3D-coördinaten van tokens.
  • Semantische gelijkenis: De cosinus-afstand tussen de feature-vectoren.
• Selectie-strategie: Gebaseerd op een aangepaste Farthest Point Sampling (FPS) strategie. Er wordt iteratief de token geselecteerd die de grootste "fusion distance" heeft ten opzichte van de reeds geselecteerde set. Dit zorgt ervoor dat de geselecteerde tokens niet alleen ver uit elkaar liggen in de 3D-ruimte, maar ook complementair zijn in visuele inhoud.
• Balans: Een parameter $\lambda$ balanceert de weging tussen ruimtelijke afstand en semantische relevantie.

Belangrijkste Bijdragen

1. SeGPruner Framework: Een nieuw framework dat multi-view redundantie reduceert door zowel saliente tokens te behouden als deze aan te vullen met ruimtelijk diverse tokens.
2. Saliency-aware Token Selector: Een module die object-gerichte redenering mogelijk maakt door tokens van semantisch kritieke objecten (gebaseerd op attentie) te behouden.
3. Geometry-aware Token Diversifier: Een module die zorgt voor brede ruimtelijke dekking door 3D-afstand en semantische gelijkenis te combineren, zelfs onder agressieve reductie.
4. State-of-the-Art Prestaties: Demonstratie dat het framework de inferentie-efficiëntie drastisch verbetert zonder in te leveren op de nauwkeurigheid van 3D-redenering.

Resultaten

De methode is geëvalueerd op twee belangrijke benchmarks: ScanQA en OpenEQA.

• Efficiëntie:

  • SeGPruner verlaagt het budget voor visuele tokens met 91% (behoudt slechts 9% van de oorspronkelijke tokens).
  • De inferentie-latentie wordt met 86% gereduceerd.
  • Bij een behoud van slechts 23% van de tokens op ScanQA, presteert het model zelfs beter dan het basismodel met alle tokens (EM@1 van 28.0 vs 27.6).

• Nauwkeurigheid:

  • ScanQA: SeGPruner behoudt 95,3% van de oorspronkelijke prestaties zelfs bij een extreem lage behoudsratio van 9%. Het presteert consistent beter dan bestaande methoden zoals DTC (gebaseerd op 3D-cues) en VisPruner (2D-pruning).
  • OpenEQA: Ook hier toont SeGPruner superioriteit, vooral bij lage token-ratio's, waar 2D-methoden (zoals VisPruner) sterk in prestatie dalen door het gebrek aan ruimtelijk bewustzijn.

• Kwalitatieve Analyse:

  • Visualisaties tonen aan dat SeGPruner een meer uniforme verdeling van tokens in de 3D-ruimte behoudt, waardoor objectstructuren completer zijn en minder "gaten" vertonen vergeleken met 2D-pruning methoden die vaak achtergronden of grote vlakke oppervlakten onnodig veel tokens toekennen.

Betekenis

Dit paper is significant omdat het een oplossing biedt voor het fundamentele probleem van schaalbaarheid en efficiëntie bij het toepassen van VLM's op 3D-taken.

• Efficiëntie vs. Prestatie: Het bewijst dat agressieve tokenreductie mogelijk is zonder de kwaliteit van 3D-redenering te schaden, zolang er rekening wordt gehouden met zowel semantiek als geometrie.
• Toepasbaarheid: De methode is "plug-and-play" en vereist geen hertraining van het onderliggende LLM of VLM, wat het zeer waardevol maakt voor bestaande systemen.
• Toekomstige Richting: Het onderstreept de noodzaak van 3D-bewuste strategieën in multimodale modellen, aangezien puur 2D-methoden ontoereikend blijken voor complexe ruimtelijke redeneringstaken.