Riepilogo Tecnico: GHOST (Geometry-Guided Hallucination of Opaque Surface Textures)

1. Problema

Gli oggetti trasparenti rappresentano una sfida fondamentale per i sistemi mainstream di stima della profondità e ricostruzione 3D. Questi sistemi si affidano tipicamente all'assunzione di riflessione diffusa Lambertiana, che viene violata dalle superfici trasparenti a causa della trasmissione della luce, della riflessione speculare e della rifrazione. Di conseguenza, i modelli standard soffrono di una grave degradazione geometrica, prevedendo spesso la profondità dello sfondo piuttosto che la superficie effettiva del vetro o dell'oggetto trasparente.

Le soluzioni esistenti presentano limitazioni significative:

• Depth Completion & NeRF: Metodi come la completamento della profondità richiedono spesso dati di ground-truth costosi (ottenuti tramite hardware specializzato o spruzzatura di polvere) e un addestramento end-to-end specifico, portando a una scarsa generalizzazione su materiali non visti. Gli approcci basati su NeRF soffrono di una bassa efficienza di inferenza, richiedendo input multi-vista e un lungo addestramento per ogni scena, creando un "silo percettivo" che impone l'abbandono di modelli State-of-the-Art (SOTA) versatili.
• Segmentazione: I modelli di segmentazione attuali faticano a causa dell'accoppiamento tra l'aspetto dell'oggetto e lo sfondo dovuto a rifrazione e riflessione, fallendo spesso in condizioni di basso contrasto o occlusione complessa.

La sfida centrale è consentire ai modelli di visione 3D generici e pronti all'uso di elaborare oggetti trasparenti senza riaddestramento, evitando al contempo l'alto costo di acquisizione di etichette di profondità ground-truth per i materiali trasparenti.

2. Metodologia

Gli autori propongono GHOST (Geometry-guided Hierarchical Opaque Style Transfer), un framework di pre-elaborazione universale. Invece di modificare i modelli a valle, GHOST "ridipinge" le regioni trasparenti in rappresentazioni opache strutturalmente coerenti utilizzando modelli di fondazione visiva. La pipeline consiste in quattro moduli topologicamente interconnessi:

2.1. TransDINO: Localizzazione di Oggetti Trasparenti

TransDINO è un framework di segmentazione ibrido progettato per estrarre maschere semantiche di alta qualità per oggetti trasparenti.

• Architettura: Utilizza una struttura U-Net con un meccanismo di codifica a doppio stream. Uno stream estrae feature spaziali multi-scala utilizzando un backbone ResNet-34 pre-addestrato, mentre l'altro elabora le feature da DINOv3 (un modello di fondazione visiva) per catturare confini semantici densi.
• Fusione: Un nuovo modulo TransFusionChannelAttn allinea le feature eterogenee tramite cross-attention spaziale, trattando le feature RGB come query e le feature semantiche di DINOv3 come chiavi/valori. Un meccanismo di attenzione ai canali a doppio pooling sopprime il rumore, e un fattore di scala apprendibile stabilizza l'addestramento della fusione profonda.

2.2. TransDecomp: Decomposizione di Alpha e Foreground

TransDecomp decompone la regione dell'oggetto trasparente in un alpha matte ($\alpha_{trans}$) e una mappa in scala di grigi del foreground ($F_g$).

• Assunzione Fisica: Sotto l'assunzione di "rifrazione debole" (dove lo spostamento della luce è piccolo), l'interazione è approssimata come alpha blending. Per rifrazioni forti, la rete genera valori di alpha inferiori per segnalare la non trasparenza.
• Architettura: Una U-Net con convoluzioni gated e un bottleneck Transformer. Le convoluzioni gated distinguono le feature valide dell'oggetto dal rumore di fondo, mentre il bottleneck ViT cattura le dipendenze a lungo raggio per risolvere le ambiguità rifrattive.
• Dual-Head Decoding: La rete produce una Opacity Head (che predice $\alpha$) e una Foreground Head (che predice il colore intrinseco/riflessioni speculari). Questi sono vincolati dalla maschera dell'oggetto e addestrati usando una perdita di ricostruzione rispetto all'immagine originale, guidata da un prior di sfondo pre-calcolato generato tramite InpaintAnything.

2.3. DAF-Net: Stima delle Normali di Superficie

DAF-Net recupera normali di superficie ($N$) fini per codificare la curvatura geometrica.

• Architettura: Colma il divario tra i prior semantici e i segnali geometrici locali fondendo le feature congelate di DINOv3 con un Multi-Modal Spatial Adapter (MMSA) che estrae dettagli geometrici allineati ai pixel da RGB, maschere, alpha matte e guida del foreground.
• Fusione: Un Fidelity-Aware Fusion Block utilizza un meccanismo Squeeze-and-Excitation (SE) per sopprimere adattivamente il rumore dalle regioni trasparenti.
• Loss: L'obiettivo di addestramento combina una perdita probabilistica Von Mises-Fisher (vMF) (per gestire l'ambiguità di orientamento) e un prior di fluidità consapevole dei bordi guidato dall'alpha matte.

2.4. GeoSemTransNet: Sintesi di Texture Opache

Questo modulo sintetizza l'immagine RGB opaca finale ricca di texture.

• Meccanismo: È una rete encoder-decoder che fonde le feature di DINOv3 tramite moduli SPADE (Spatially-Adaptive Normalization). I blocchi SPADE modulano l'attivazione dell'encoder di texture utilizzando i prior geometrici ($N$, maschera, foreground) per garantire che la texture sintetizzata aderisca strettamente alla geometria 3D dell'oggetto.
• Physics-Aware Loss: La generazione è vincolata da:
  1. Shape-from-Shading: Garantire la coerenza della luminanza con le normali di superficie predette.
  2. Consistenza del Gradiente: Allineare i bordi testurali con le discontinuità geometriche.
  3. Termini di Ricostruzione: Garantire la coerenza dei bordi e del foreground.

3. Contributi Chiave

1. TransDINO: Un modello di segmentazione basato su U-Net che inietta le feature di DINOv3 per un'estrazione robusta della maschera di oggetti trasparenti, superando i modelli specializzati su molteplici dataset.
2. TransDecomp: Un'architettura ViT a doppia testa che disseziona le proprietà fisiche (trasparenza e valori di foreground) sotto assunzioni di rifrazione debole.
3. DAF-Net: Un estimatore di normali di superficie che sfrutta le feature semantiche profonde per l'integrità strutturale e le feature superficiali per il flusso locale di rifrazione/specularità.
4. GeoSemTransNet: Un encoder-decoder che inietta gerarchicamente i prior geometrici tramite SPADE per sintetizzare texture opache guidate dalla geometria.
5. Pre-elaborazione Universale: Il framework consente ai modelli esistenti di stima della profondità e ricostruzione SOTA di elaborare oggetti trasparenti senza riaddestramento, "ridipingendo" efficacementamente la scena per ripristinare i segnali fotometrici.

4. Risultati Sperimentali

Gli autori hanno valutato GHOST sui dataset ClearGrasp, ClearPose e Trans10K-v2.

• Segmentazione: TransDINO ha raggiunto punteggi mIoU state-of-the-art (es. 92,44% su ClearGrasp, 86,82% su Trans10K-v2), superando significativamente modelli specializzati come EBLNet e TROSNet.
• Stima della Profondità: Quando le immagini processate da GHOST sono state caricate in stimatori di profondità generici (es. DA3, MoGe2, DepthPro, VGGT), l'accuratezza è migliorata drasticamente. Ad esempio, usando MoGe2, l'RMSE è sceso da 0,018 a 0,014, e l'accuratezza $\delta_{1.25}$ è migliorata da 0,999 a 1,000. Il metodo ha superato gli stimatori di profondità specializzati per oggetti trasparenti (es. HDCNet, SwinDRNet).
• Ricostruzione 3D: Nei compiti di ricostruzione feed-forward (usando modelli come DUSt3R, $\pi^3$, VGGT), gli input processati da GHOST hanno portato a miglioramenti significativi in Accuratezza, Completezza e F-Score. Ad esempio, l'F-Score di DUSt3R è migliorato da 77,36 a 88,66.
• Studi di Ablazione: Gli esperimenti hanno confermato che l'intera pipeline è necessaria. Rimuovere componenti (es. usare solo le maschere senza normali o indizi di foreground) ha prodotto output simili al rumore o prestazioni peggiori rispetto alle immagini grezze originali, evidenziando l'interdipendenza dei moduli.

5. Significato e Rivendicazioni

Il paper afferma che GHOST fornisce un meccanismo di pre-elaborazione universale che risolve il "silo percettivo" creato dai modelli specializzati per oggetti trasparenti. Trasformando le regioni trasparenti in rappresentazioni opache e strutturalmente coerenti, GHOST consente:

• Generalizzazione: Modelli SOTA versatili e pronti all'uso possono essere applicati a oggetti trasparenti senza la necessità di riaddestramento specifico per il task o l'acquisizione costosa di ground-truth della profondità.
• Efficienza: Evita l'overhead computazionale dell'addestramento NeRF per ogni scena e la dipendenza dall'hardware dei tradizionali metodi di completamento della profondità.
• Cambio di Paradigma: Offre un nuovo approccio per risolvere i colli di bottiglia degli oggetti trasparenti nei compiti di visione 3D generale, sfruttando i modelli di fondazione visiva per allucinare i segnali geometrici e fotometrici mancanti.

Gli autori sottolineano che questo lavoro fa avanzare il campo del Machine Learning dimostrando come i modelli di fondazione possano essere integrati in una pipeline per superare i limiti fisici fondamentali (assunzioni Lambertiane) nei compiti di visione artificiale.