Efficient Encoder-Free Fourier-based 3D Large Multimodal Model

Titel: Efficient Encoder-Free Fourier-based 3D Large Multimodal Model

Auteurs: Guofeng Mei, Wei Lin, Luigi Riz, et al. (Fondazione Bruno Kessler, JKU Linz, CSIRO)

---

1. Het Probleem

Bestaande 3D Large Multimodal Models (LMM's) die point clouds verwerken, vertrouwen doorgaans op zware, vooraf getrainde visuele encoders (zoals CLIP of Sparse 3D U-Net) om geometrische features te extraheren voordat deze worden afgestemd op een taalkundig model (LLM).

• Nadelen: Deze encoders veroorzaken aanzienlijke rekenkundige overhead, beperken de schaalbaarheid en maken het model minder flexibel voor verschillende invoerformaten.
• Uitdaging voor 3D: Hoewel er recent vooruitgang is geboekt met "encoder-free" architecturen voor 2D-beelden, is dit moeilijk over te brengen naar 3D. Point clouds zijn ongesorteerd, irregulier en kunnen extreem groot zijn. Het ontbreken van een gestructureerd raster (zoals pixels) vereist speciale operatoren die permutatie-invariant zijn, wat vaak leidt tot inefficiënte serialisatie of zware grafische berekeningen.
• De kernvraag: Hoe kan men een 3D LMM ontwerpen dat direct op point clouds werkt zonder een zware encoder, maar toch effectief, schaalbaar en computatie-efficiënt is?

2. Methodologie: Fase3D

Fase3D is het eerste scene-level 3D LMM dat geen dedicated 3D-encoder gebruikt. Het model transformeert ruwe point clouds direct naar tokens voor een decoder-only LLM door gebruik te maken van een innovatieve, Fourier-gebaseerde tokenizer. De pipeline bestaat uit de volgende stappen:

A. Superpoint Token Initialisatie

Om de enorme hoeveelheid punten te reduceren, wordt de point cloud eerst opgesplitst in superpoints via geometrische clustering.

• Punten binnen een cluster worden gemiddeld (average pooling) tot één token.
• Dit reduceert het aantal tokens met een orde van grootte en behoudt lokale semantische coherentie.

B. Fourier-gebaseerde Context Enhancer

Om globale context toe te voegen (wat lokale superpoints missen), gebruikt Fase3D de Fast Fourier Transform (FFT).

• Serialisatie: De 3D superpoints worden omgezet in een 1D-sequentie met behulp van Space-Filling Curves (SFCs) (zoals Hilbert- en Z-order curves). Dit behoudt de ruimtelijke nabijheid in de 1D-sequentie.
• Spectrale Mix: De FFT wordt toegepast op deze sequentie om globale context te modelleren. In plaats van een dure zelf-attention (self-attention) mechanisme, benadert de FFT de globale interacties met een complexiteit van $O(M \log M)$.
• Multi-curve: Om bias door één specifieke volgorde te voorkomen, worden meerdere SFC-varianten gebruikt en gefuseerd.

C. Grafische Token Merging

Om het token-aantal verder te verlagen (van $M$ naar $T$, waarbij $T < M$), wordt een grafiek-gebaseerde token merging strategie gebruikt.

• Een sparce grafiek wordt geconstrueerd tussen superpoints op basis van hun ruimtelijke relaties, bepaald door een "window-voting" schema langs de SFC-sequenties.
• Tokens worden samengevoegd via een lichtgewicht pooling-module die zowel de globale context (uit de FFT) als de lokale connectiviteit (uit de grafiek) benut.
• Dit elimineert de noodzaak voor externe detectiemodules (zoals Mask3D) voor objectproposals.

D. Fourier-augmented LoRA Adapters

In de LLM-backbone worden LoRA (Low-Rank Adaptation) layers gebruikt voor fine-tuning.

• Fase3D introduceert een Global Filter Module (GFM) die werkt in het frequentiedomein.
• Voordat de tokens de LoRA-lagen bereiken, worden ze gefilterd via een FFT-bewerking met een leerbare frequentiegate. Dit injecteert globale, frequentie-bewuste interacties in het model met verwaarloosbare extra kosten.

3. Belangrijkste Bijdragen

1. Eerste Encoder-Free 3D LMM: Fase3D is het eerste model dat scene-level point clouds verwerkt zonder zware visuele encoders, in plaats daarvan gebruikmakend van superpoint tokenisatie en FFT.
2. FFT Context Enhancer: Een nieuwe module die ruimte-vullende curves combineert met FFT om efficiënte globale context-modellering en compacte token-merging mogelijk te maken.
3. Efficiënte Grafiek Constructie: Een methode voor het bouwen van sparce superpoint-grafieken via curve-gebaseerd window-voting, wat een gestructureerde maar lichtgewicht representatie biedt.
4. Fourier-augmented LoRA: Een strategie om globale context toe te voegen aan de LLM-lagen via frequentiedomein-filtering, wat de prestaties verbetert zonder de monolithische filosofie te doorbreken of de rekentijd significant te verhogen.

4. Resultaten

Fase3D werd geëvalueerd op taken zoals 3D-vraagbeantwoording (ScanQA, SQA3D) en 3D-dichte captioning (ScanRefer, Nr3D).

• Prestaties: Fase3D bereikt prestaties die vergelijkbaar zijn met of zelfs beter zijn dan state-of-the-art encoder-based modellen (zoals LL3DA, PerLA en 3D-LLaVA).
  • Op ScanQA (met Qwen2.5-3B) behaalde het een CIDEr-score van 90.11, vergeleken met 78.13 voor PerLA en 76.79 voor LL3DA.
• Efficiëntie: Het model is aanzienlijk efficiënter:
  • Parameters: Fase3D activeert slechts ~10.5M tot 12.1M parameters voor de visuele tokenisatie, vergeleken met ~119M voor LL3DA/PerLA en ~58M voor 3D-LLaVA.
  • FLOPs: De rekenkosten voor encoding/tokenisatie zijn drastisch lager (~2.04 GFLOPs vs. 40-163 GFLOPs voor concurrenten).
• Kwaliteit: Qualitatieve analyses tonen aan dat Fase3D beter in staat is om fijne details (zoals objectattributen en ruimtelijke relaties) te begrijpen dan de baselines, ondanks het ontbreken van een zware encoder.

5. Betekenis en Conclusie

Fase3D bewijst dat het mogelijk is om krachtige 3D Large Multimodal Models te bouwen zonder afhankelijk te zijn van zware, vooraf getrainde visuele encoders. Door de unieke combinatie van superpoint clustering, space-filling curves en Fast Fourier Transforms, slaagt het erin om de uitdagingen van ongesorteerde 3D-data op te lossen met een architectuur die zowel schaalbaar als computatie-efficiënt is.

Dit werk opent de deur voor meer toegankelijke en snelle 3D-VLM-toepassingen, waarbij de focus verschuift van het extraheren van features via zware netwerken naar het direct en efficiënt tokeniseren van ruwe geometrie. De methode is bijzonder relevant voor toepassingen waar rekenkracht beperkt is of waar real-time verwerking van grote 3D-scenes vereist is.