SADGE: Structure and Appearance Domain Gap Estimation of Synthetic and Real Data

Riepilogo Tecnico: SADGE – Stima del Divario di Dominio Strutturale e di Aspetto

Enunciato del Problema
La generazione di dati sintetici è una strategia critica per la scalabilità dei sistemi di visione artificiale, in particolare quando le annotazioni del mondo reale sono costose o non disponibili per i casi limite. Tuttavia, rimane un collo di bottiglia fondamentale: prevedere se un dataset sintetico specifico trasferirà con successo le prestazioni al mondo reale prima di sostenere il costo dell'addestramento del modello a valle. Le attuali pratiche di valutazione si basano pesantemente su tentativi ed errori, in cui i professionisti generano dataset, addestrano modelli e misurano le prestazioni nel mondo reale per convalidare le pipeline di rendering o le strategie di randomizzazione del dominio.

Le metriche esistenti per valutare la qualità dei dati sintetici si concentrano principalmente sulla Somiglianza di Aspetto (ad es. PSNR, FID, CLIP, LPIPS) per misurare l'allineamento semantico o a livello di pixel tra immagini reali e sintetiche. Sebbene alcuni approcci considerino la Somiglianza Geometrica (allineamento strutturale), non vi sono prove consolidate su quale metrica di somiglianza migliori la previsione delle prestazioni del compito a valle attraverso dataset sintetici diversificati. Inoltre, non è chiaro se l'aspetto o la geometria da soli siano sufficienti, o se la loro interazione sia il fattore determinante per l'utilità dei dati sintetici.

Metodologia: SADGE
Gli autori propongono SADGE (Stimatore del Divario di Dominio Strutturale e di Aspetto), una metrica zero-shot e priva di addestramento progettata per stimare l'utilità dei dataset di immagini sintetiche per compiti di riconoscimento visivo a valle. SADGE opera modellando congiuntamente due segnali complementari:

1. Somiglianza di Aspetto ($A$): Calcolata utilizzando encoder visivi pre-addestrati (ad es. DINOv3, CLIP, SigLIP, SAM) per misurare l'allineamento semantico e testurale di alto livello. Il punteggio è definito come la similarità del coseno tra gli embedding delle immagini normalizzati.
2. Coerenza Geometrica ($G$): Calcolata utilizzando matcher consapevoli della geometria (ad es. MASt3R, LoFTR, SuperPoint+LightGlue) per misurare la fedeltà strutturale. Ciò comporta la stima di corrispondenze dense o semi-dense tra immagini reali e sintetiche e la conteggio del numero di inlier geometricamente validi (verificati tramite geometria epipolare o coerenza 3D).

Meccanismo di Fusione
SADGE non si limita a mediare questi punteggi. Invece, li fonde utilizzando un modello di interazione bilineare vincolato:
$$\text{SADGE} = a\hat{G} + b\hat{A} + c\hat{G}\hat{A}$$
Dove $\hat{A}$ e $\hat{G}$ sono i punteggi di aspetto e geometria normalizzati con punteggio z, rispettivamente. I coefficienti $a, b, c \geq 0$ sono appresi per massimizzare la correlazione con le prestazioni a valle. Questa formulazione impone la monotonia (migliorare uno qualsiasi dei due punteggi non dovrebbe diminuire il totale) e la complementarità (il termine di interazione $c\hat{G}\hat{A}$ garantisce che il punteggio sia massimo quando sia l'aspetto che la geometria sono forti). Il modello assume che i dati sintetici siano più utili quando sono sia realisticamente visivi che strutturalmente fedeli.

Protocollo Sperimentale
La valutazione copre cinque famiglie di benchmark pubblici da sintetico a reale e 15 varianti a livello di dataset, per un totale di circa 79.000 coppie di immagini. I benchmark coprono domini e compiti diversificati:

• DIMO: Oggetti metallici industriali (stima della posa 6D).
• Virtual KITTI 2: Scene di guida (segmentazione semantica).
• TUD-L / BOP: Oggetti senza texture (stima della posa 6D).
• RarePlanes: Immagini aeree (rilevamento di oggetti).
• ASD (Agricultural Synthetic Dataset): Segmentazione di colture/erbe infestanti.

Gli autori confrontano SADGE con un'ampia gamma di baseline, inclusi metriche di puro aspetto (FID, LPIPS, PSNR, CLIP, varianti DINO) e metriche di pura geometria (SSIM, LoFTR, SuperPoint+LightGlue).

Risultati Chiave

• Correlazione Superiore: SADGE ottiene la più forte associazione con le prestazioni di trasferimento a valle tra tutte le metriche testate. Raggiunge una correlazione di Pearson di $r = 0,879$ e una correlazione di rango di Spearman di $\rho = 0,768$ attraverso le 15 varianti di dataset.
• Confronto con le Baseline: SADGE supera significativamente la baseline più forte basata solo sulla geometria (MASt3R, $r = 0,677$) e la baseline più forte basata solo sull'aspetto (LPIPS, $r = 0,649$).
• Robustezza: Nelle valutazioni leave-one-dataset-out, SADGE si classifica costantemente al primo posto. Il calo delle prestazioni è più significativo quando viene escluso il dataset DIMO (che enfatizza la variazione strutturale), suggerendo che la geometria è un predittore critico in scenari strutturalmente esigenti, mentre l'aspetto domina in scenari con alta variazione di illuminazione o texture.
• Configurazione Ottimale: La configurazione migliore per le prestazioni fonde DINOv3 (aspetto) con MASt3R (geometria).
• Sensibilità: I coefficienti di fusione sono robusti; l'alta correlazione è mantenuta su un ampio plateau di valori dei coefficienti, indicando che il risultato non è un artefatto di overfitting su uno spazio di parametri ristretto.

Significato e Affermazioni
Il paper afferma che l'utilità dei dati sintetici non è governata da un singolo fattore (aspetto o geometria) ma dalla loro interazione non lineare. SADGE fornisce un metodo principiato e privo di addestramento per classificare i dataset sintetici candidati, consentendo ai professionisti di:

• Confrontare configurazioni di rendering, programmi di randomizzazione del dominio e pipeline generative prima di costosi addestramenti.
• Identificare quali varianti sintetiche sono probabili che trasferiscano bene ai compiti del mondo reale.
• Evitare il ciclo di "tentativi ed errori" di addestramento di modelli esclusivamente per valutare la qualità del dataset.

Gli autori sottolineano che SADGE è una metrica di classificazione proxy, non un sostituto per la convalida finale nel dominio reale, in particolare nelle applicazioni critiche per la sicurezza. Lo studio è limitato dalla disponibilità di benchmark pubblici con protocolli di valutazione a valle comparabili, ma l'analisi di sensibilità suggerisce che il modello di interazione della metrica si generalizza oltre i dataset specifici testati.