ProCap: Projection-Aware Captioning for Spatial Augmented Reality

Il paper introduce ProCap, un nuovo framework che risolve l'ambiguità semantica tra contenuti virtuali e scena fisica nella Realtà Aumentata Spaziale attraverso un processo di decoupling visivo e un nuovo dataset di benchmark chiamato RGBP.

L'essenziale

Immagina di avere una stanza piena di oggetti reali: un tavolo di legno, un vaso blu, una sedia. Ora, immagina di proiettare con un proiettore delle immagini magiche direttamente sopra questi oggetti. Forse proietti un'onda del mare che sembra scorrere sul tavolo, o un'auto che guida sulla sedia.

Questo è il mondo della Realtà Aumentata Spaziale (SAR): unire il mondo fisico a quello digitale senza bisogno di occhiali speciali, usando solo la luce.

Il problema? Se chiedi a un'intelligenza artificiale (un "cervello digitale" chiamato VLM) di descrivere cosa vede, spesso si confonde terribilmente.

Il Problema: L'AI che vede "fusione"

Pensa a un bambino che guarda un'immagine proiettata su un muro. Se il bambino non capisce che è una proiezione, potrebbe dire: "C'è un vero squalo che nuota sul muro!".
Nella realtà aumentata, le intelligenze artificiali attuali fanno lo stesso errore:

1. Confondono il reale con il virtuale: Pensano che l'immagine proiettata sia un oggetto fisico stampato sul tavolo.
2. Si perdono per le distorsioni: La luce proiettata su una superficie curva o sporca si deforma. L'AI, vedendo un'immagine "rotta" o sfocata, inizia a inventare cose (allucinazioni), dicendo cose che non esistono.

La Soluzione: ProCap (Il "Detective" della Realtà)

Gli autori di questo paper hanno creato un nuovo sistema chiamato ProCap. Per spiegarlo in modo semplice, immagina ProCap come un detective molto attento che ha due compiti specifici:

1. Il Taglio Magico (Segmentazione):
   Prima di guardare l'immagine, ProCap usa un "coltello digitale" per separare fisicamente il mondo reale da quello proiettato. È come se mettesse un filtro sopra la foto: "Qui c'è il tavolo vero, qui c'è l'onda proiettata". In questo modo, l'AI non mescola più le due cose.

2. Il Dizionario Intelligente (Recupero della Conoscenza):
   Quando l'immagine proiettata è distorta (perché il tavolo è curvo o c'è poca luce), ProCap non si fida solo dei suoi occhi. Va a consultare un "dizionario esterno" di oggetti perfetti.

   • Analogia: Immagina di guardare un'immagine di un cane proiettata su una parete ondulata. L'immagine è così deformata che sembra un blob. Invece di dire "è un blob", ProCap guarda il "dizionario", riconosce i tratti chiave e dice: "Ah, è un cane!". Questo aiuta l'AI a capire cosa c'è davvero, anche se l'immagine è brutta.

Il Grande Tesoro: Il Dataset RGBP

Per insegnare a ProCap a fare questo, gli autori hanno creato un enorme libro di esercizi chiamato RGBP.

• È come un'enorme biblioteca di foto dove, per ogni immagine, c'è due descrizioni separate: una che descrive solo la stanza (il tavolo, la sedia) e una che descrive solo la proiezione (l'onda, l'auto).
• Prima di questo, non esisteva un modo per insegnare alle AI a distinguere tra "ciò che è lì" e "ciò che è proiettato sopra".

Perché è importante?

Prima, se un'auto autonoma o un assistente robotico usava la realtà aumentata per capire l'ambiente, poteva fare errori gravi perché confondeva le ombre o le proiezioni con oggetti reali.
Con ProCap:

• L'AI sa esattamente cosa è solido e cosa è luce.
• Può rispondere a domande come: "C'è un vaso sul tavolo?" (Sì, è reale) e "Cosa c'è proiettato sopra il vaso?" (Un'immagine di un gatto).

In sintesi

ProCap è come dare a un'AI due occhiali diversi: uno per guardare il mondo solido e uno per guardare le immagini magiche proiettate sopra, assicurandosi che non si confondano mai. Questo permette di creare assistenti virtuali più intelligenti, capaci di interagire con il nostro mondo reale anche quando è pieno di effetti speciali digitali.

Sommario tecnico

1. Il Problema: Ambiguità Virtuale-Fisica nella Realtà Aumentata Spaziale (SAR)

La Realtà Aumentata Spaziale (SAR) proietta contenuti digitali direttamente su scene fisiche utilizzando proiettori, creando esperienze immersive senza bisogno di visori. Tuttavia, per abilitare interazioni intelligenti (come il ragionamento sulla scena o la risposta a query utente), i sistemi devono distinguere semanticamente tra l'ambiente fisico e il contenuto proiettato.

I modelli Vision-Language (VLM) standard falliscono in questo contesto a causa di tre lacune critiche:

1. Ambiguità Virtuale-Fisica: I VLM convenzionali trattano ogni oggetto nell'immagine come parte fisica della scena. Di conseguenza, confondono il contenuto proiettato (es. un'immagine di un surfista) con oggetti reali, generando descrizioni "fuse" o allucinazioni (es. descrivere un surfista proiettato su un cuscino come un surfista reale).
2. Degradazione Percettiva: Il contenuto proiettato subisce distorsioni geometriche e fotometriche dovute all'angolo di proiezione, alla luce ambientale, ai materiali della superficie e alle forme complesse. Questo degrada la qualità dell'immagine, rendendo le captioning standard inaffidabili.
3. Mancanza di Benchmark Semantici: Esistono dataset SAR focalizzati su compiti di basso livello (calibrazione, tracciamento), ma manca un dataset su larga scala con annotazioni semantiche decoupled (separate) per addestrare e valutare modelli capaci di interpretare scene SAR complesse.

2. Metodologia: Il Framework ProCap

Per risolvere questi problemi, gli autori propongono ProCap, un framework che decoupla esplicitamente il contenuto proiettato dalla scena fisica attraverso una pipeline a due stadi:

A. Segmentazione Automatica (Isolamento dei Livelli)

Il primo stadio mira a risolvere l'ambiguità spaziale.

• Viene utilizzato un encoder visivo (ViT-g congelato) per estrarre mappe di caratteristiche grezze.
• Un modulo di segmentazione (basato su convoluzioni e deconvoluzioni) genera una maschera binaria che isola le regioni proiettate dal resto della scena fisica.
• Questa maschera permette al modello di trattare separatamente le regioni "fisiche" e le regioni "virtuali", evitando descrizioni miste.

B. Recupero Consapevole della Regione (Region-Aware Retrieval)

Il secondo stadio affronta la degradazione percettiva delle proiezioni.

• Le caratteristiche visive delle regioni proiettate (spesso distorte) vengono estratte tramite un pooling mascherato.
• Per superare le distorsioni, il sistema utilizza un meccanismo di recupero basato su conoscenza esterna. Le caratteristiche della proiezione vengono confrontate con un database semantico ad alta fedeltà (derivato dal dataset LVIS).
• Il modello recupera i nomi degli oggetti "puliti" (ground truth semantici) corrispondenti al contenuto proiettato, fornendo al VLM un segnale semantico robusto che non dipende dalla qualità visiva distorta dell'immagine proiettata.

C. Captioning Duale

Il framework genera due descrizioni distinte e indipendenti:

1. Scene Caption: Descrive l'ambiente fisico (es. "tavolo di legno").
2. Projection Caption: Descrive il contenuto proiettato (es. "foto di un surfista").
   Per guidare il decoder LLM, vengono utilizzati token specifici per il task (es. [SCENE] e [PROJ]).

3. Contributi Chiave

1. Framework ProCap: Una pipeline innovativa che combina segmentazione automatica e recupero semantico per decoupare i livelli fisici e virtuali, risolvendo l'ambiguità e la degradazione delle immagini.
2. Dataset RGBP (RGB + Projections): Il primo dataset di benchmark semantico su larga scala per la SAR.
   • Contiene 65 scene fisiche diverse e oltre 180.000 proiezioni.
   • Include annotazioni dense e decoupled: maschere di segmentazione binaria e due ground truth (GT) separati (uno per la scena, uno per la proiezione).
   • Copre diverse condizioni di illuminazione e geometrie (piane, leggermente curve, altamente curve).
3. Protocollo di Valutazione a Doppia Caption: Un nuovo protocollo di valutazione che utilizza token specifici per valutare indipendentemente la capacità del modello di descrivere la scena fisica e il contenuto proiettato, evitando metriche aggregate che nascondono errori in uno dei due domini.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diverse architetture VLM (da TinyLlama a Qwen3-VL) confrontando ProCap con modelli state-of-the-art (FastVLM, Qwen3-VL).

• Performance Superiori: ProCap supera significativamente i modelli "out-of-the-box". Ad esempio, nella captioning della proiezione, ProCap (con backbone Vicuna-1.5-7B) raggiunge un punteggio CIDEr di 78.99 su COCO, contro un massimo di 11.56 dei modelli baseline.
• Riduzione delle Allucinazioni: I modelli baseline tendono a confondere gli oggetti proiettati con quelli fisici (es. descrivere un'immagine proiettata come un oggetto reale). ProCap riesce a identificare correttamente la natura proiettata del contenuto anche in presenza di forti distorsioni.
• Generalizzazione: Il framework dimostra una buona capacità di generalizzazione su scene non viste durante l'addestramento, grazie al meccanismo di recupero semantico che fornisce contesto anche per oggetti sconosciuti.
• Analisi di Ablazione: Gli studi dimostrano che sia il modulo di segmentazione che il recupero della conoscenza esterna sono essenziali; la rimozione di questi componenti porta a un calo drastico delle prestazioni, specialmente nella precisione delle descrizioni.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale per l'evoluzione della SAR da sistemi di visualizzazione statica a agenti autonomi intelligenti.

• Fondamento Semantico: Fornisce la base necessaria affinché i sistemi SAR possano "capire" cosa sta accadendo nella scena, distinguendo tra realtà e proiezione.
• Nuovo Paradigma di Valutazione: Il protocollo di valutazione duale e il dataset RGBP stabiliscono nuovi standard per la ricerca nella comprensione delle scene aumentate.
• Applicazioni Future: Il framework apre la strada a interazioni naturali (comandi vocali per modificare proiezioni), sintesi di dati SAR per l'addestramento di modelli generativi e l'integrazione di moduli SAR specializzati in architetture più ampie di Intelligenza Artificiale Multimodale (es. MoE - Mixture of Experts).

In sintesi, ProCap risolve il problema fondamentale dell'ambiguità nella realtà aumentata spaziale, permettendo alle macchine di interpretare correttamente la complessa sovrapposizione tra mondo fisico e digitale.