Not Your Stereo-Typical Estimator: Combining Vision and Language for Volume Perception

1. Il Problema

La stima accurata del volume degli oggetti a partire da dati visivi rappresenta una sfida storica nella computer vision, con applicazioni critiche in robotica, logistica e sanità (es. analisi nutrizionale).

• Limitazioni attuali: I metodi tradizionali si basano spesso su ricostruzioni 3D complesse (come NeRF o Gaussian Splatting) che richiedono molteplici immagini o hardware specializzato. I metodi monococulari, pur essendo più accessibili, affrontano un problema mal posto (ill-posed) poiché devono inferire la terza dimensione da segnali 2D ambigui, portando spesso a errori significativi.
• Il gap: Anche i recenti modelli fondazionali multimodali (come GPT-5) mancano di un ancoraggio geometrico esplicito necessario per stime quantitative precise.

2. Metodologia

Gli autori propongono un approccio multimodale ispirato al sistema cognitivo umano, che combina la percezione visiva stereoscopica (profondità) con la conoscenza pregressa (semantica) per stimare il volume. Il framework è composto da tre moduli principali:

A. Modulo Stereo (Estrazione Geometrica)

• Utilizza una coppia di immagini stereo (sinistra e destra) per catturare informazioni geometriche implicite tramite la disparità.
• Le immagini vengono elaborate da un encoder visivo pre-addestrato (basato su ViT-L/14 di CLIP) con pesi condivisi per estrarre feature ad alta dimensionalità ($F_L$ e $F_R$).
• Le feature vengono concatenate ($F_{stereo} = [F_L; F_R]$) per preservare le informazioni da entrambi i punti di vista, permettendo alla rete di apprendere la geometria epipolare implicita senza bisogno di calibrazione della camera esplicita o mappe di profondità calcolate manualmente.
• Un classificatore basato su queste feature determina la classe dell'oggetto ($\hat{y}$).

B. Modulo Testuale (Iniezione di Priors Semantici)

• Sfrutta la conoscenza "di senso comune" per vincolare la stima. Viene costruita una tabella di ricerca (lookup table) contenente i volumi medi per categoria, derivata da dataset 3D su larga scala.
• Viene generato un prompt testuale strutturato che combina la classe dell'oggetto e il suo volume medio approssimativo (es.: "Queste sono coppie di immagini stereo di [classe] il cui volume approssimativo è [volume] mL").
• Questo prompt viene codificato da un encoder testuale pre-addestrato (basato su BERT/MPNet) per ottenere un vettore di feature semantiche ($F_{text}$).

C. Fusione Cross-Modale e Regressione

• Le feature stereo e quelle testuali vengono concatenate e proiettate in uno spazio latente condiviso tramite un layer di proiezione MLP (ispirato alle architetture dei Vision-Language Models - VLM).
• Questo processo crea una rappresentazione ibrida che unisce "ciò che l'oggetto sembra" (geometria stereo) con "ciò che l'oggetto dovrebbe essere" (priori semantici).
• Un capo di regressione (MLP) mappa questa rappresentazione unificata al volume stimato finale ($\hat{V}_{est}$).
• Il modello è addestrato end-to-end minimizzando una funzione di perdita combinata: errore quadratico medio (MSE) per la regressione del volume e Cross-Entropy per la classificazione della classe.

3. Contributi Chiave

1. Primo approccio multimodale Stereo-Linguaggio: È il primo lavoro che combina esplicitamente la visione stereoscopica con prior linguistiche per la stima del volume.
2. Architettura Ibrida: Introduce un layer di proiezione efficace che fonde feature geometriche stereo e contesto testuale, superando i limiti dei metodi puramente visivi.
3. Eliminazione della Calibrazione Esplicita: Il modello apprende la geometria stereo implicitamente dai dati, rendendolo più pratico rispetto ai metodi stereo tradizionali che richiedono calibrazione rigorosa.
4. Prestazioni Superiori: Dimostra sperimentalmente che anche prior testuali semplici guidano efficacemente il compito di stima, superando significativamente i baselines esistenti.

4. Risultati Sperimentali

Il metodo è stato valutato su due dataset pubblici: MetaFood3D (cibo) e OmniObject3D (oggetti generici), confrontandosi con baselines monococulari, stereo, NeRF e modelli LLM (GPT-5).

• Metriche Principali: MAE (Errore Assoluto Medio), MAPE (Errore Percentuale Assoluto Medio), Coefficiente di Correlazione di Pearson ($r$) e $R^2$.
• Prestazioni:
  • Su MetaFood3D, il metodo proposto ha raggiunto un MAE di 47.95 mL e un MAPE del 22.54%, superando il miglior baseline (GPT-5 con contesto) che aveva un MAPE del 53.86%.
  • Su OmniObject3D, ha ottenuto un MAE di 44.92 mL e un MAPE del 29.74%.
  • Il modello ha mostrato un miglioramento del ~58% nel MAPE rispetto al miglior baseline su MetaFood3D e ha ottenuto i punteggi più alti in tutte le metriche di correlazione ($r=0.88$, $R^2=0.75$).
• Ablation Study:
  • L'uso combinato di Stereo + Testo riduce drasticamente l'errore rispetto all'uso di singoli moduli (es. solo testo o solo stereo).
  • L'uso di 2 immagini (stereo) offre il miglior compromesso tra accuratezza e costo computazionale rispetto all'uso di più immagini.
  • L'encoder ViT-L/14@336px (CLIP) si è rivelato il backbone più efficace.

5. Significato e Applicazioni

• Validazione dell'Ipnosi Cognitiva: Il lavoro dimostra che integrare la conoscenza semantica (testo) con i dati geometrici (stereo) è fondamentale per compiti di regressione metrica 3D, simulando il modo in cui gli umani stimano le dimensioni degli oggetti.
• Applicazione Pratica: Viene mostrata un'applicazione nell'analisi dietetica, dove la stima precisa del volume permette di calcolare con maggiore accuratezza i valori nutrizionali (calorie, proteine, ecc.) basandosi su immagini di cibo, superando i metodi esistenti.
• Impatto Futuro: Sebbene l'addestramento richieda risorse computazionali, l'approccio apre la strada a sistemi di misurazione visiva più consapevoli del contesto, utilizzabili in scenari reali dove i sensori di profondità dedicati non sono disponibili ma sono presenti dispositivi stereo (es. occhiali AR, smartphone).

In sintesi, il paper propone un cambio di paradigma: invece di cercare di ricostruire l'intera scena 3D, si utilizza il linguaggio come "ancora" semantica per guidare la rete neurale verso una stima geometrica precisa partendo da una semplice coppia di immagini stereo.