Synthetic Designed Experiments for Diagnosing Vision Model Failure

1. Enunciato del Problema

Le attuali pipeline per la generazione di dati sintetici nella visione artificiale operano secondo un paradigma ad anello aperto. Esse si affidano tipicamente a euristiche (ad esempio, randomizzazione casuale del dominio, prompt testuali o punteggi di difficoltà) per generare grandi volumi di immagini, trattando i dati sintetici come un sostituto economico dei dati reali.

Principali Criticità Identificate:

• Inefficienza: Quando un modello gestisce già il 95% di una distribuzione visiva, i dati generati casualmente forniscono zero segnale di apprendimento, sprecando risorse computazionali.
• Mancanza di Diagnosi: I metodi esistenti non diagnosticano perché un modello fallisce o quali fattori specifici della scena (ad esempio, illuminazione, occlusione, punto di vista) guidano tali fallimenti.
• Abuso della Controllabilità: I generatori sintetici (motori 3D, modelli di diffusione) possiedono parametri unici e controllabili per i fattori della scena, ma questa proprietà è sottoutilizzata per l'audit mirato dei modelli.

2. Metodologia: Esperimenti Progettati Sintetici per la Sufficiente Rappresentatività (SDRS)

Gli autori propongono SDRS, un framework che applica la teoria statistica della Progettazione degli Esperimenti (DoE) alla generazione di dati sintetici. Tratta il modello di visione a valle come un "sistema a scatola nera" e il generatore sintetico come un "apparato sperimentale".

Il framework opera in quattro fasi distinte:

Fase 1: Esperimento Progettato

Invece del campionamento casuale, SDRS utilizza design fattoriali frazionari per generare un piccolo insieme strutturato di immagini sintetiche.

• Per $k$ fattori, un design di Risoluzione IV richiede solo $2^{k-p}$ immagini (ad esempio, 8 immagini per 5 fattori) invece dell'intero spazio combinatorio ($2^k$).
• Ciò garantisce un'indagine efficiente della sensibilità del modello a fattori specifici, preservando al contempo la capacità di stimare gli effetti principali.

Fase 2: Audit Rappresentativo tramite ANOVA

Le immagini di sondaggio generate vengono inviate al modello a valle ($f_w$).

• Metrica: Viene calcolata la perdita di compito ($\ell$) per ogni immagine.
• Analisi: Viene eseguita un'ANOVA a una via sulle perdite raggruppate per ciascun fattore.
• Output: Per ogni fattore viene calcolato un valore F ($F_j$) per determinare se la varianza delle prestazioni del modello dipende significativamente da quel fattore specifico. Viene applicata la correzione di Holm–Bonferroni per controllare i confronti multipli.
• Distinzione: A differenza del probing lineare (che misura l'estraibilità delle caratteristiche), questo misura la dipendenza a livello di previsione, che è più rilevante per la diagnosi dei fallimenti.

Fase 3: Diagnosi delle Lacune

I risultati dell'audit vengono incrociati con la struttura del compito per classificare i fallimenti in due tipi azionabili:

• Lacune di Tipo I (Fallimenti di Copertura): Il modello fallisce significativamente su livelli sottorappresentati o non visti di un fattore (ad esempio, orientamenti mancanti).
• Lacune di Tipo II (Scorciatoie Spurie): Il modello fa affidamento in modo eccessivo su un fattore di disturbo (ad esempio, complessità dello sfondo) che è correlato all'obiettivo ma non semanticamente rilevante.
• Regola Decisionale: Se un fattore mostra un calo di copertura, è di Tipo I. Se mostra una significativa dipendenza da fattori di disturbo senza un calo di copertura, è di Tipo II.

Fase 4: Prescrizione Mirata

Sulla base della diagnosi, vengono generati dati sintetici specifici per colmare le lacune:

• Per il Tipo I: Generare campioni diversificati che coprano i livelli carenti del fattore.
• Per il Tipo II: Generare coppie controfattuali $(x_a, x_b)$ in cui cambia solo il fattore di disturbo, e applicare una penalità di invarianza alla rappresentazione per costringere il modello a ignorare tale fattore.
• Obiettivo: La perdita totale combina la perdita di compito su dati reali e dati di Tipo I, più la perdita di invarianza sui controfattuali di Tipo II.

3. Principali Contributi

1. Strumento Diagnostico Principiato: Introduce un audit basato su ANOVA che scompone il fallimento del modello in contributi per fattore, trasformando il generatore sintetico in uno strumento di valutazione strutturato.
2. Framework Unificante: Dimostra che gli approcci esistenti (Randomizzazione del Dominio, Augmentation Controfattuale, Apprendimento Attivo) sono casi speciali, spesso subottimali, del framework SDRS.
3. Identificazione del "Trasferimento di Sensibilità": Gli autori identificano un problema aperto critico in cui sopprimere un fattore di disturbo tramite penalità di invarianza può involontariamente amplificare la sensibilità ad altri fattori di disturbo (riallocazione rappresentativa).

4. Risultati Sperimentali

Il framework è stato validato attraverso tre esperimenti:

Esperimento 1: Diagnosi Controllata (dSprites)

• Configurazione: Classificazione di forme con bias inseriti (scorciatoia: forma correlata alla posizione; lacuna di copertura: orientamenti mancanti).
• Risultato: L'audit ha identificato correttamente la scorciatoia di posizione (Tipo II) e la lacuna di orientamento (Tipo I).
• Prestazioni: I dati mirati hanno migliorato l'accuratezza su dati tenuti da parte dal 49,9% al 79,0% (+29,1 punti).
• Osservazione: La rimozione della scorciatoia ha ridotto il valore F per la posizione da 2,1 a 1,0 (non significativo).

Esperimento 2: Segmentazione Densa (Scene Procedurali)

• Configurazione: Scene RGB 128x128 con fattori come illuminazione, complessità dello sfondo e occlusione.
• Risultato: L'audit ha rilevato una scorciatoia dominante sulla complessità dello sfondo (Tipo II) e una lacuna di copertura dell'occlusione (Tipo I).
• Prestazioni: L'mIoU è migliorato da 0,948 a 0,998.
• Insight: Sebbene anche il campionamento casuale abbia raggiunto un alto mIoU in questo benchmark saturo, SDRS ha fornito l'insight diagnostico (identificando perché il modello falliva), cruciale per benchmark più difficili.

Esperimento 3: Rilevamento dell'Intreccio del Generatore

• Configurazione: Confronto tra un generatore perfetto e uno intrecciato (dove lo "stile" cambia implicitamente la dimensione dell'oggetto).
• Risultato: L'audit ANOVA ha rilevato la fuoriuscita: il valore F per lo "stile" è aumentato di +4,7, mentre per la "dimensione" è diminuito di -7,9, identificando con successo il difetto del generatore senza etichette ground-truth.

5. Significato e Discussione

• Cambiamento di Paradigma: SDRS sostiene che le pipeline di dati sintetici dovrebbero essere progettate come esperimenti strutturati piuttosto che come processi di campionamento casuale.
• Diagnosi rispetto alle Metriche Aggregate: Il valore principale non è solo il guadagno finale di accuratezza, ma la decomposizione degli errori. Indica esattamente ai praticanti cosa correggere (ad esempio, "aggiungere più campioni di occlusione" rispetto a "rimuovere il bias dello sfondo").
• Trasferimento di Sensibilità: Una scoperta importante è che le penalità di invarianza possono causare trasferimento di sensibilità, dove sopprimere una dipendenza ne amplifica un'altra. Ciò suggerisce che le future funzioni di perdita di correzione devono essere più olistiche per prevenire questo compromesso.
• Lavori Futuri: Il documento evidenzia la necessità di migliori funzioni di perdita di correzione e validazione su generatori basati su diffusione, che hanno una separazione dei fattori più debole rispetto ai motori 3D procedurali.

In conclusione, SDRS fornisce un metodo rigoroso e fondato statisticamente per auditare i modelli di visione, diagnosticare fallimenti rappresentativi specifici e prescrivere dati sintetici mirati per colmare efficientemente tali lacune.