FlashVGGT: Efficient and Scalable Visual Geometry Transformers with Compressed Descriptor Attention

Probleemstelling

Het herconstrueren van 3D-geometrie uit meerdere beelden (multi-view) is een fundamentele uitdaging in computer vision. Traditionele methoden (zoals Structure-from-Motion) zijn vaak traag en kwetsbaar. Recent zijn "feed-forward" methoden, zoals de Visual Geometry Grounding Transformer (VGGT), opgedoken die 3D-structuren direct voorspellen via neurale netwerken.

Echter, de huidige state-of-the-art modellen zoals VGGT hebben een kritieke beperking:

• Schaalbaarheid: Ze gebruiken een dichte zelf-attention (self-attention) over alle image tokens (tokenen die elk beeld vertegenwoordigen).
• Complexiteit: Dit leidt tot een kwadratische complexiteit ($O(N^2)$) ten opzichte van het aantal tokens. Bij lange sequenties (bijv. 1.000+ beelden) explodeert de rekenkosten en het geheugengebruik, waardoor inferentie onpraktisch wordt.
• Efficiëntie: Analyse toont aan dat de meeste attention-scores dicht bij nul liggen, wat betekent dat de meeste berekeningen nutteloos zijn (sparsiteit), maar toch worden uitgevoerd.

Methodologie: FlashVGGT

FlashVGGT introduceert een efficiënt alternatief dat de kwadratische complexiteit doorbreekt zonder de reconstructiekwaliteit significant te verliezen. De kern van de methode bestaat uit drie innovaties:

1. Gecomprimeerde Descriptor Attention

In plaats van zelf-attention toe te passen op alle tokens, vervangt FlashVGGT de globale attention-blokken door een cross-attention mechanisme gebaseerd op gecomprimeerde descriptors:

• Ruimtelijke compressie: De ruimtelijke informatie van elk frame wordt gecomprimeerd tot een compacte set van "descriptor tokens" via bilineaire interpolatie (spatial resampling).
• Cross-Attention: De volledige set image tokens fungeert als queries, terwijl de gecomprimeerde descriptor tokens dienen als keys en values.
• Complexiteitsreductie: Dit verlaagt de complexiteit van $O(N^2)$ naar $O(N^2/r^2)$, waarbij $r$ de compressiefactor is (in het paper $r=4$, wat een 16-voudige reductie betekent).
• Hulp-tokens: Om geometrische consistentie te behouden, worden extra tokens toegevoegd: camera-tokens, tokens van het eerste frame (wereldcoördinatenstelsel) en sleutelframes (geselecteerd via k-means clustering). Dit voorkomt verlies van cruciale details tijdens compressie.

2. Chunk-Recursive Inferentie (Online Modus)

Om inferentie op zeer lange sequenties (bijv. >3.000 beelden) mogelijk te maken binnen het geheugenlimiet van een GPU:

• Chunking: De input wordt opgedeeld in opeenvolgende chunks.
• Caching: Voor elke chunk worden de descriptor tokens gegenereerd en opgeslagen in een "memory" buffer.
• Recursie: Bij het verwerken van een nieuwe chunk, worden de descriptors van de huidige chunk gecombineerd met de opgeslagen descriptors van vorige chunks.
• Geheugenbeheer: Om het geheugen beheersbaar te houden, worden niet alle historische descriptors bewaard, maar alleen een subset (bijv. elke $p$-de frame). Dit zorgt voor een sublineaire groei van het geheugengebruik, in tegenstelling tot methoden die volledige tokens cacheën.

3. Trainingsstrategie

Het model wordt getraind in twee fasen:

1. Eerst op willekeurige korte sequenties (2-24 beelden) om de basis te leren.
2. Vervolgens gefinetuned op geordende sequenties met een causale masker om de chunk-recursive inferentie te ondersteunen.

Belangrijkste Bijdragen

1. FlashVGGT Architectuur: Een nieuw framework dat de kwadratische complexiteit van globale attention in VGGT oplost door gebruik te maken van gecomprimeerde descriptor attention.
2. Chunk-Recursive Mechanisme: Een schaalbare inferentie-methode die online reconstructie van zeer lange sequenties mogelijk maakt door gebruik te maken van cache-descriptors, wat het geheugengebruik drastisch verlaagt.
3. Prestaties: Het bewijzen dat FlashVGGT concurrerende nauwkeurigheid behoudt ten opzichte van VGGT, terwijl de inferentietijd voor 1.000 beelden wordt gereduceerd tot slechts 9,3% van de originele tijd (een snelheidswinst van >90%).

Resultaten

De experimenten zijn uitgevoerd op diverse datasets (CO3Dv2, RealEstate10K, ScanNet, N-RGBD) en vergelijken FlashVGGT met state-of-the-art methoden zoals VGGT, FastVGGT, Fast3R en StreamVGGT.

• Schaalbaarheid: FlashVGGT kan succesvol sequenties van >3.000 beelden verwerken, terwijl VGGT en FastVGGT vaak vastlopen bij geheugenfouten (OOM) bij ongeveer 1.000 beelden.
• Snelheid:
  • Bij 1.000 beelden is FlashVGGT >10x sneller dan VGGT (35s vs 372s).
  • Bij 500 beelden is het >8x sneller.
• Nauwkeurigheid:
  • De reconstructiekwaliteit (diepte, point cloud, camera pose) blijft vergelijkbaar met VGGT.
  • FlashVGGT presteert aanzienlijk beter dan andere efficiënte methoden (zoals FastVGGT en CUT3R) in termen van nauwkeurigheid en snelheid.
• Geheugen: Het gebruik van gecomprimeerde descriptors en memory dropping resulteert in een 16% lagere piekgeheugengebruik dan FastVGGT en maakt het mogelijk om sequenties te verwerken die voor andere methoden te groot zijn.
• Online Inferentie: In online settings (chunk size 10) is FlashVGGT 3,3x sneller dan de snelste concurrent (CUT3R) en levert het betere geometrische resultaten op.

Betekenis en Impact

FlashVGGT is een doorbraak in het veld van 3D-reconstructie omdat het de praktische toepasbaarheid van feed-forward transformer-modellen voor lange beeldsequenties mogelijk maakt.

• Real-world Toepassingen: Het maakt snelle, geheugenefficiënte 3D-reconstructie mogelijk voor toepassingen zoals autonome voertuigen, AR/VR en robotica, waar duizenden beelden in real-time verwerkt moeten worden.
• Efficiëntie vs. Kwaliteit: Het paper toont aan dat volledige zelf-attention niet noodzakelijk is voor globale redenering; een slimme compressie naar descriptors volstaat om de lange-afstand afhankelijkheden te modelleren zonder de kwadratische kosten.
• Toekomstgericht: De methode biedt een nieuwe richting voor het ontwerpen van efficiënte Vision Transformers voor 3D-taken, waarbij de balans tussen snelheid, geheugen en nauwkeurigheid optimaal wordt benut.