Unbiased Object Detection Beyond Frequency with Visually Prompted Image Synthesis

Titolo: Rilevamento Oggetti Non distorto Oltre la Frequenza con Sintesi di Immagini Guidata da Prompt Visivi

1. Il Problema

I modelli di rilevamento oggetti (object detection) sono fondamentalmente limitati dai bias presenti nei dati di addestramento, che si manifestano come distribuzioni sbilanciate rispetto a categorie, dimensioni e posizioni spaziali degli oggetti.
Le strategie di debiasing tradizionali (resampling o re-weighting) sono limitate dal vocabolario visivo originale del dataset: possono riequilibrare l'influenza dei campioni rari, ma non possono generare nuove apparenze o contesti per colmare le lacune rappresentative.
Le attuali soluzioni basate sulla generazione di dati (Data Augmentation) seguono un pipeline Layout-to-Image (L2I), ma presentano due limiti critici identificati dagli autori:

1. La trappola della frequenza: Semplicemente generare più dati per le classi rare (basandosi solo sulla frequenza istanza) è subottimale. La frequenza è un proxy incompleto per i veri bisogni del modello; gruppi ad alta frequenza ma con bassa diversità visiva (es. oggetti grandi) possono beneficiare più di gruppi rari ma già diversificati.
2. Il divario di fedeltà (Fidelity Gap): I metodi L2I attuali convertono layout 2D in sequenze di testo 1D, introducendo ambiguità e perdita di controllo fine. Di conseguenza, le immagini generate hanno una fedeltà inferiore rispetto ai dati reali, limitando i guadagni nelle prestazioni del modello di rilevamento.

2. Metodologia

Gli autori propongono un framework di debiasing basato sulla generazione che affronta entrambi i problemi attraverso due componenti principali: un motore di debiasing dinamico guidato da un "Punteggio di Rappresentazione" e una pipeline di sintesi ad alta fedeltà basata su "Blueprint Visivi".

A. Motore di Debiasing Dinamico (Dynamic Debiasing Engine)

• Representation Score (RS): Viene introdotto un nuovo metrico quantitativo che va oltre il semplice conteggio delle istanze. Il RS combina tre fattori per valutare quanto un gruppo di dati sia rappresentato:
  • Frequenza delle istanze ($D_{freq}$).
  • Diversità visiva ($D_{vis}$): Misurata come distanza media delle feature tra le istanze dello stesso gruppo.
  • Diversità contestuale ($D_{ctx}$): Misurata dalla co-occorrenza delle classi.
  • Formula: $RS(G) = D_{freq}(G) \cdot (D_{vis}(G) + \beta \cdot D_{ctx}(G))$.
• Ricalibrazione del Layout: Invece di campionare casualmente, il sistema ricalibra i layout partendo da immagini reali. Le posizioni e le dimensioni degli oggetti vengono perturbate per spostarli verso gruppi con basso RS, riempiendo le lacune rappresentative.
• Debiasing Dinamico basato su Errori: Il RS non è statico. Viene aggiornato dinamicamente durante l'addestramento utilizzando una media mobile esponenziale degli errori di rilevamento ($L_{layout}$). Questo permette al sistema di adattarsi ai bias emergenti man mano che il dataset arricchito evolve.

B. Sintesi Guidata da Blueprint Visivi (Visual-Prompted Synthesis)

• Blueprint Visivi: Per superare l'ambiguità dei prompt testuali, il layout geometrico viene convertito in un'immagine "canvas" (blueprint). In questa immagine, ogni oggetto è rappresentato da un rettangolo colorato in HSV. I colori sono distribuiti equamente sul cerchio unitario per massimizzare la distinzione tra classi e istanze.
• Controllo Fine: Il rendering del blueprint gestisce esplicitamente l'occlusione (rendendo gli oggetti più piccoli semi-trasparenti se sovrapposti) e la stratificazione verticale, fornendo istruzioni geometriche univoche al generatore.
• Allineamento Generativo (Generative Alignment): Sfruttando la dualità tra sintesi L2I e rilevamento oggetti, viene introdotta una perdita di allineamento ($L_{image}^{IA}$). Se il detector produce un layout che non può essere fedelmente riconvertito in un'immagine dal generatore, viene penalizzato. Questo crea un ciclo "Immagine-Layout-Immagine" che forza il detector a essere robusto alle feature generate e garantisce coerenza.

3. Contributi Chiave

1. Analisi del "Frequenza Trap": Dimostrazione empirica che la frequenza delle istanze è un indicatore insufficiente per il debiasing e che la diversità rappresentativa è cruciale.
2. Representation Score (RS): Un nuovo metrico diagnostico che guida la generazione di layout mirati a colmare lacune sia di densità che di diversità.
3. Visual Blueprint: Sostituzione dei prompt testuali con condizioni spaziali pixel-per-pixel (canvas colorati) per garantire un controllo geometrico preciso e un'alta fedeltà nella sintesi.
4. Meccanismo di Allineamento: Una strategia di training che sfrutta la dualità tra generatore e detector per migliorare la qualità dei dati sintetici e la robustezza del detector.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su MS COCO e NuImages utilizzando Faster R-CNN e altri modelli moderni (YOLOX, DINO, CO-DETR).

• Fedeltà della Generazione (Fidelity): Il metodo proposto supera lo stato dell'arte (SOTA) nella sintesi L2I. Su MS COCO, ottiene un miglioramento di 15.9 mAP nella precisione del layout rispetto ai modelli precedenti (es. GeoDiffusion) e riduce significativamente il FID (Fréchet Inception Distance).
• Efficacia del Debiasing:
  • Miglioramento significativo per gruppi sottorappresentati: +4.4 mAP per oggetti grandi, +3.6 mAP per classi rare, e +3.2 mAP per oggetti ai bordi dell'immagine su MS COCO.
  • Il metodo raggiunge un mAP complessivo di 40.3 su MS COCO e 40.0 su NuImages, stabilendo nuovi record SOTA.
  • I guadagni sono consistenti su diverse architetture di detector (+2.6 ~ +2.8 mAP).
• Ablation Study: Conferma che la combinazione di RS, Blueprint Visivi e Allineamento Generativo è essenziale; l'uso di soli prompt testuali o la mancanza di aggiornamento dinamico del RS portano a prestazioni inferiori.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti fondamentale nel campo dell'addestramento di modelli di visione artificiale robusti.

• Cambio di Paradigma: Sposta il focus dal semplice riequilibrio statistico (frequenza) a una diagnosi profonda della diversità rappresentativa.
• Qualità dei Dati Sintetici: Risolve il problema della bassa fedeltà dei dati sintetici, dimostrando che con un controllo geometrico preciso (blueprint) e un allineamento tra compiti, i dati generati possono essere quasi indistinguibili da quelli reali per compiti di rilevamento.
• Generalizzabilità: Il framework non è vincolato a un singolo detector, ma funziona efficacemente su diverse architetture moderne, offrendo una soluzione scalabile per mitigare i bias nei dataset di object detection.

In sintesi, il paper propone una soluzione completa che non solo genera più dati, ma genera i giusti dati (basati sulla diversità necessaria) con la giusta qualità (basata su controlli geometrici precisi), colmando il divario tra dati sintetici e reali.