DEGround: An Effective Baseline for Ego-centric 3D Visual Grounding with a Homogeneous Framework

1. Enunciato del Problema

Visual Grounding 3D Ego-centrico (3D VG) è un compito fondamentale nell'intelligenza incarnata, che richiede a un agente di localizzare un oggetto specifico in una scena 3D basandosi su un'istruzione in linguaggio naturale, utilizzando esclusivamente osservazioni RGB-D multi-vista sparse e in prima persona.

Limitazioni Attuali:
I metodi esistenti impiegano tipicamente una pipeline eterogenea a due stadi:

1. Stadio 1: Addestramento di un rilevatore di oggetti 3D (spesso basato su convoluzioni o su anchor).
2. Stadio 2: Trasferimento dei pesi del backbone a un modello di grounding separato (spesso basato su Transformer/stile DETR) per eseguire il compito di grounding.

Problemi Chiave delle Pipeline Eterogenee:

• Trasferimento Incompleto della Conoscenza: Sebbene i pesi del backbone siano condivisi, il decoder e le testine delle bounding box sono architecturalmente diversi. Di conseguenza, le priori a livello di oggetto (rappresentazioni degli oggetti apprese e ragionamento geometrico) non vengono trasferite, costringendo il modello di grounding a riacquisire queste caratteristiche.
• Ottimizzazione Ridondante: Il modello di grounding deve ri-ottimizzare il decoding degli oggetti e la regressione delle box sugli stessi dati, portando a una convergenza lenta, a un alto costo computazionale e a un'accuratezza subottimale.
• Mancanza di Allineamento Fine-Granulare: I metodi esistenti faticano con i "distrattori della stessa classe" (oggetti della stessa categoria che non corrispondono alla descrizione) e non riescono a integrare efficacemente l'intento linguistico nelle rappresentazioni iniziali delle query.

2. Metodologia: DEGround

Gli autori propongono DEGround, un framework omogeneo che unifica il rilevamento 3D e il grounding in un'unica architettura.

A. Architettura Core: Framework Omogeneo

• Rappresentazione degli Oggetti Condivisa: Invece di utilizzare decoder distinti, DEGround impiega un singolo insieme di query di oggetti come rappresentazione comune sia per il rilevamento che per il grounding.
• Decoder e Testine Condivisi: Entrambi i compiti utilizzano lo stesso decoder basato su Transformer e una testina delle bounding box condivisa.
  • Meccanismo: Una testina di scoring leggera seleziona i primi $K$ centri di voxel basandosi sulle caratteristiche visive per formare gli embedding iniziali delle query ($Q$).
  • Vantaggio: Questo allineamento permette al compito di grounding di ereditare direttamente priori robuste di localizzazione e categorizzazione dal compito di rilevamento, eliminando l'apprendimento ridondante e accelerando la convergenza.

B. Estrazione e Fusione delle Caratteristiche

• Input: Immagini RGB-D multi-vista.
• Rappresentazione 3D: Le mappe di profondità sono proiettate sulle coordinate del mondo per creare una pseudo-nuvola di punti, che viene voxelizzata e codificata ($F_{3d}$).
• Rappresentazione 2D: Caratteristiche multi-scala vengono estratte dalle immagini RGB ($F_{2d}$).
• Fusione: Le caratteristiche 2D vengono campionate sui punti 3D tramite interpolazione bilineare e concatenate con le caratteristiche geometriche 3D per creare una rappresentazione visiva unificata ($F_{visual}$).

C. Moduli Plug-in Specifici per il Compito

Per migliorare il grounding delle istruzioni a granularità fine, vengono introdotti due moduli:

1. Regional Activation Grounding (RAG):

   • Obiettivo: Affrontare i "distrattori della stessa classe" evidenziando le regioni coerenti con il testo.
   • Meccanismo: Utilizza un'attenzione guidata dal testo per fondere $F_{visual}$ con gli embedding testuali ($F_{text}$), generando una mappa di caratteristiche potenziata dal testo ($F'_{region}$).
   • Supervisione: Introduce una Loss di Rilevanza Spaziale ($L_{spatial}$) che supervisiona le previsioni a livello di punto, costringendo il modello ad assegnare punteggi di rilevanza elevati ai punti all'interno della bounding box ground-truth e punteggi bassi agli altri.

2. Query-wise Modulation (QIM):

   • Obiettivo: Iniettare direttamente la semantica globale a livello di frase nelle query iniziali degli oggetti per renderle "consapevoli dell'istruzione".
   • Meccanismo: Applica una trasformazione affine specifica per le caratteristiche alle query visive ($Q_{vis}$) utilizzando vettori di modulazione ($\beta, \gamma$) generati dall'embedding della frase.
   • Formula: $Q_{mod} = \beta \odot Q_{vis} + \gamma \odot \mathbf{1}S$. Questo adatta lo spazio delle query per integrare meglio l'evidenza visiva con l'intento linguistico fin dall'inizio del decoding.

3. Contributi Chiave

1. Framework Omogeneo: Proposta di DEGround, il primo framework a unificare rilevamento e grounding tramite la condivisione delle query, abilitando un vero trasferimento di conoscenza a livello di oggetto ed eliminando l'ottimizzazione ridondante.
2. Regional Activation Grounding (RAG): Un modulo innovativo che utilizza la supervisione punto-per-punto e l'attenzione guidata dal testo per risolvere la confusione dovuta ai distrattori della stessa classe.
3. Query-wise Modulation (QIM): Un meccanismo che modula dinamicamente le query del decoder in base alla semantica globale della frase, migliorando la discriminabilità delle query.
4. Prestazioni State-of-the-Art: Stabilimento di un nuovo baseline sul benchmark EmbodiedScan, superando significativamente i metodi esistenti.

4. Risultati Sperimentali

Il modello è stato valutato sul benchmark EmbodiedScan (aggregando ScanNet, 3RScan e Matterport3D), che presenta osservazioni realistiche, sparse e in prima persona.

• Visual Grounding 3D (Mini Validation Set):

  • DEGround ha raggiunto una Precisione Complessiva (AP@25) del 61,28%.
  • Questo rappresenta un miglioramento del 15,49% rispetto al precedente SOTA (BIP3D, 45,79%).
  • Ha superato il baseline ResNet-50 (DenseGrounding) del 17,77%.
  • Convergenza: DEGround ha raggiunto il 59,90% di mAP in sole 3 epoche, mentre il baseline richiedeva 12 epoche per raggiungere il 35,84%.

• Visual Grounding 3D (Full Validation Set):

  • Ha raggiunto una Precisione Complessiva del 62,18%.
  • Ha superato BIP3D (backbone Swin-T) del 7,52%, nonostante l'uso di un backbone ResNet-50 più leggero.

• Official Test Set:

  • Ha raggiunto un AP@50 del 42,04%, stabilendo un nuovo SOTA e superando il concorrente più vicino (BIP3D) del 2,35%.

• Rilevamento di Oggetti 3D:

  • Ha raggiunto un AP@25 del 24,68% sul benchmark di rilevamento, superando BIP3D del 3,77%.

5. Significato

• Cambiamento di Paradigma: DEGround sfida il paradigma eterogeneo a due stadi predominante nel 3D VG, dimostrando che un'architettura unificata e omogenea è superiore per il trasferimento delle priori a livello di oggetto.
• Efficienza: Condividendo il decoder e la testina delle box, il metodo riduce significativamente il tempo di addestramento e i requisiti di dati, migliorando al contempo l'accuratezza.
• Robustezza: L'introduzione di RAG e QIM affronta specificamente le sfide della percezione ego-centrica (viste sparse, distrattori), rendendo il modello più adatto per agenti incarnati nel mondo reale che non possono fare affidamento su priori di scena pre-costruite.
• Benchmarking: I risultati su EmbodiedScan stabiliscono un nuovo standard per il visual grounding 3D, dimostrando che una semplice ed elegante unificazione architetturale può superare pipeline complesse e multi-stadio.