SeGPruner: Semantic-Geometric Visual Token Pruner for 3D Question Answering

Titolo: SeGPruner: Pruner di Token Visivi Semantico-Geometrico per il Risposta a Domande in 3D (3D QA)

1. Il Problema

I modelli visione-linguaggio (VLM) sono sempre più utilizzati per il 3D Question Answering (3D QA), dove un sistema deve rispondere a domande basate su scene 3D. Le pipeline tipiche concatenano i token visivi estratti da molteplici punti di vista (multi-view) con i token linguistici e li elaborano tramite un Large Language Model (LLM).
Tuttavia, questo approccio presenta due criticità principali:

• Ridondanza Estrema: L'aggregazione di osservazioni da più viste introduce una massiccia ridondanza visiva, generando sequenze di token eccessivamente lunghe che compromettono l'efficienza dell'inferenza, specialmente sotto vincoli di budget di token.
• Limitazioni dei Metodi Esistenti: Le tecniche di token pruning (potatura dei token) attuali sono spesso progettate per input 2D o si basano su indizi geometrici indiretti. Questi metodi non riescono a preservare esplicitamente gli oggetti semanticamente critici né a garantire una copertura spaziale sufficiente per un ragionamento 3D robusto. Di conseguenza, tendono a perdere informazioni cruciali sugli oggetti o a coprire male la scena 3D.

2. Metodologia: SeGPruner

Gli autori propongono SeGPruner, un framework di riduzione dei token che combina consapevolezza semantica e guida geometrica. L'obiettivo è bilanciare la conservazione delle prove visive a livello di oggetto con una copertura globale della scena. Il processo si articola in tre fasi principali:

A. Costruzione di Caratteristiche Consapevoli del 3D (3D-Aware Feature Construction)
Prima della selezione, le caratteristiche visive 2D estratte dal codificatore visivo vengono proiettate in uno spazio 3D unificato utilizzando le mappe di profondità e i parametri della camera (esterna). Ogni "patch" di token visivo viene associata a coordinate 3D, creando una rappresentazione della scena che permette il confronto spaziale tra diverse viste.

B. Selezione dei Token Salienti (Saliency-aware Token Selector - STS)
Questa fase mira a preservare le informazioni semantiche critiche.

• Meccanismo: Utilizza i punteggi di attenzione (attention scores) generati dal codificatore visivo come misura di importanza.
• Funzionamento: Calcola l'importanza media di ogni token basandosi sulla distribuzione dell'attenzione. Seleziona e conserva i token con i punteggi di attenzione più alti, garantendo che gli oggetti principali e le evidenze visive cruciali per la risposta non vengano persi.

C. Selezione di Token Diversi (Geometry-aware Token Diversifier - GTD)
Questa fase mira a garantire una copertura spaziale ampia e a ridurre la ridondanza tra le viste.

• Meccanismo: Ispirato al Farthest Point Sampling (FPS) per le nuvole di punti, ma adattato ai token visivi.
• Metrica Ibrida: Definisce una distanza "semantico-spaziale" che combina:
  1. Distanza Geometrica: La distanza euclidea 3D tra i token.
  2. Similarità Semantica: La similarità delle caratteristiche visive (feature similarity).
• Funzionamento: Dopo aver selezionato i token salienti, il modulo seleziona iterativamente i token rimanenti che sono massimamente distanti (sia nello spazio 3D che semanticamente) dai token già scelti. Questo assicura che i token selezionati coprano diverse regioni della scena e non siano ridondanti.

D. Inferenza
I token "importanti" (dalla fase STS) e i token "diversi" (dalla fase GTD) vengono concatenati e mantenuti nell'ordine originale, poi inviati all'LLM per il ragionamento.

3. Contributi Chiave

1. Framework Ibrido: Introduzione di SeGPruner, un metodo di riduzione dei token che integra esplicitamente la semantica (importanza dell'oggetto) e la geometria 3D (copertura spaziale).
2. Modulo STS: Sviluppo di un selettore basato sull'attenzione che preserva i token relativi agli oggetti semanticamente critici, essenziale per il ragionamento centrato sugli oggetti.
3. Modulo GTD: Progettazione di un selettore guidato dalla geometria che utilizza una metrica congiunta (distanza 3D + similarità semantica) per garantire una diversità spaziale anche sotto riduzioni aggressive dei token.
4. Efficienza senza Addestramento: Il metodo è training-free (non richiede ri-addestramento del modello base) e può essere applicato come modulo plug-and-play tra il codificatore visivo e l'LLM.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui benchmark ScanQA e OpenEQA, utilizzando come base il modello LLaVA-OneVision-7B.

• Efficienza: SeGPruner riduce il budget dei token visivi del 91% (mantenendo solo il 9% dei token originali) e riduce la latenza di inferenza dell'86%.
• Performance:
  • Su ScanQA, SeGPruner mantiene il 95.3% delle prestazioni del modello completo anche con una riduzione drastica (9% di token), superando spesso il modello base a pieno token.
  • Su OpenEQA, il metodo dimostra una robustezza superiore rispetto ai metodi 2D (come VisPruner) e ai metodi 3D esistenti (come DTC), mantenendo alte prestazioni anche a bassi tassi di ritenzione (es. 8%).
• Confronto: Rispetto ai metodi puramente 2D, SeGPruner evita la perdita di informazioni spaziali critiche. Rispetto ai metodi 3D esistenti, offre una migliore copertura degli oggetti e della scena grazie alla combinazione di salienza e diversità.

5. Significato e Impatto

Il lavoro di SeGPruner è significativo perché risolve il collo di bottiglia computazionale nell'applicazione dei VLM al 3D QA senza sacrificare l'accuratezza.

• Scalabilità: Permette di utilizzare modelli VLM pre-addestrati su grandi dataset 2D per compiti 3D complessi in modo efficiente, rendendo fattibile l'uso su dispositivi con risorse limitate.
• Robustezza Spaziale: Dimostra che la semplice riduzione dei token basata sulla semantica non è sufficiente per il 3D; la diversità spaziale è fondamentale per mantenere la comprensione globale della scena.
• Applicabilità: Il metodo apre la strada a sistemi di intelligenza artificiale incarnata (embodied AI) e robotica che devono ragionare su ambienti 3D in tempo reale, dove l'efficienza dell'inferenza è critica.

In sintesi, SeGPruner rappresenta un avanzamento cruciale nel bilanciamento tra efficienza computazionale e capacità di ragionamento spaziale nei modelli visione-linguaggio per il 3D.