Out-of-Distribution Object Detection in Street Scenes via Synthetic Outlier Exposure and Transfer Learning

1. Il Problema

Nel contesto delle applicazioni di sicurezza critica, come la guida autonoma, i rilevatori di oggetti (object detectors) sono addestrati su distribuzioni semantiche specifiche (In-Distribution o ID). Tuttavia, nel mondo reale, questi sistemi incontrano frequentemente oggetti atipici o sconosciuti che non rientrano nelle categorie di addestramento. Questi sono definiti oggetti Out-of-Distribution (OOD).

Il problema centrale affrontato dal paper è che i rilevatori tradizionali tendono a ignorare completamente gli oggetti OOD, classificandoli erroneamente come "sfondo" (background), il che può portare a incidenti gravi. Sebbene esistano approcci per la rilevazione OOD nella classificazione di immagini e nella segmentazione semantica, la rilevazione di oggetti OOD rimane un campo sottostudiato. Le soluzioni attuali spesso richiedono architetture complesse, rami ausiliari o non offrono un quadro unificato per trattare simultaneamente oggetti ID e OOD. Inoltre, i recenti Rilevatori di Oggetti a Vocabolario Aperto (OVOD), pur avendo buone capacità zero-shot, mostrano prestazioni limitate nel rilevare oggetti OOD in scenari stradali complessi se non adeguatamente adattati.

2. Metodologia: SynOE-OD

Gli autori propongono SynOE-OD, un framework innovativo basato sull'esposizione a outlier sintetici (Synthetic Outlier Exposure - OE) e sull'apprendimento per trasferimento (Transfer Learning). L'obiettivo è adattare un singolo rilevatore per localizzare e classificare correttamente sia gli oggetti noti (ID) che quelli sconosciuti (OOD).

Il processo si articola in tre fasi principali:

A. Generazione di Dati Sintetici (Pipeline di Inpainting)

Per superare la scarsità di dati OOD reali, il framework genera outlier sintetici direttamente nello spazio delle immagini delle scene stradali:

1. Selezione delle Categorie: Viene utilizzata una LLM (ChatGPT) per generare una lista di oggetti atipici per le scene stradali (es. animali domestici, oggetti domestici).
2. Inpainting con Stable Diffusion: Vengono selezionate regioni delle immagini originali (o oggetti ID esistenti) e sostituite con oggetti sintetici utilizzando Stable Diffusion. Questo avviene sia sostituendo oggetti ID esistenti che inserendo oggetti in spazi liberi (es. sulla strada).
3. Generazione delle Annotazioni: Poiché le immagini generate sono sintetiche, le annotazioni (bounding box e etichette) devono essere precise. Viene utilizzato un potente OVOD, GroundingDINO (GDINO), sfruttando le sue capacità zero-shot per:
   • Raffinare le bounding box degli oggetti sintetici inseriti.
   • Verificare se l'inpainting ha avuto successo (se l'oggetto generato corrisponde al prompt) o se è fallito (es. l'oggetto originale è stato modificato ma non sostituito).
   • Assegnare l'etichetta di classe OOD (una nuova classe $n+1$) a tutti gli oggetti sintetici atipici.

B. Addestramento e Transfer Learning

Il framework utilizza un approccio di Transfer Learning:

• Si parte da rilevatori di oggetti pre-addestrati su grandi dataset (es. COCO, Objects365) o modelli VLM (Vision-Language Models) come GroundingDINO.
• Questi modelli vengono fine-tuned sui dataset originali arricchiti con gli outlier sintetici (NuImages, Cityscapes, BDD100K).
• L'obiettivo di apprendimento è estendere la classificazione da $n$ classi ID a $n+1$ classi, dove la classe aggiuntiva rappresenta la categoria "OOD".

C. Obiettivo Unificato

Il modello impara a massimizzare la precisione sugli oggetti ID mantenendo la capacità di rilevare e classificare esplicitamente gli oggetti OOD come tali, evitando che vengano assorbiti dallo sfondo.

3. Contributi Chiave

1. Framework Unificato (SynOE-OD): Un approccio che integra seamless i rilevatori standard per la rilevazione congiunta di oggetti ID e OOD, senza bisogno di architetture specializzate complesse.
2. Pipeline di Generazione Dati: Un metodo sistematico per creare outlier a livello di oggetto utilizzando modelli generativi (Stable Diffusion) e rilevatori VLM (GroundingDINO) per l'etichettatura automatica, rendendo scalabile l'esposizione agli outlier oltre i dataset standard (Pascal-VOC/COCO).
3. Prestazioni SOTA: Dimostrazione che il fine-tuning su dati sintetici permette di ottenere prestazioni superiori rispetto ai metodi zero-shot e alle architetture esistenti su benchmark reali.
4. Valutazione Completa: Analisi estesa su diverse configurazioni di addestramento, architetture di backbone (ResNet, Swin) e composizioni di dataset.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark OoDIS (che include dataset come RoadObstacle, RoadAnomaly, Fishyscapes e LostAndFound) e su dataset ID (NuImages).

• Prestazioni su OOD: SynOE-OD ha raggiunto lo stato dell'arte (SOTA) su tutti i benchmark OOD testati.
  • Su RoadObstacle, ha ottenuto un AP50..95 del 54.02% contro il 48.53% del miglior baseline zero-shot (ZS-OVODs).
  • Su RoadAnomaly, ha raggiunto il 29.42% contro il 22.72% del baseline.
  • Su Fishyscapes, ha ottenuto il 41.23% contro il 33.31% del baseline.
• Confronto con Zero-Shot: Anche se GroundingDINO ha buone capacità zero-shot, il fine-tuning con SynOE-OD ha migliorato significativamente la capacità di rilevamento degli oggetti OOD, dimostrando che l'esposizione controllata agli outlier è superiore alla semplice generalizzazione zero-shot.
• Prestazioni su ID: Il modello mantiene prestazioni competitive sugli oggetti ID (es. veicoli, pedoni) dopo il fine-tuning, confermando che l'aggiunta della classe OOD non degrada la capacità di rilevamento degli oggetti noti.
• Ablation Study: Gli studi hanno mostrato che:
  • La diversità semantica degli outlier è meno critica della loro posizione e scala.
  • Inserire outlier solo nelle aree percorribili (strada) migliora le prestazioni.
  • Un rapporto bilanciato tra campioni OOD e ID è cruciale per non sacrificare la precisione ID.

5. Significato e Impatto

Questo lavoro è significativo per diverse ragioni:

• Sicurezza Critica: Offre una soluzione pratica per migliorare la sicurezza dei sistemi di guida autonoma, permettendo loro di "vedere" e segnalare oggetti imprevisti invece di ignorarli.
• Superamento dei Limiti Zero-Shot: Dimostra che, nonostante i progressi nei modelli VLM, l'addestramento specifico su dati sintetici mirati è necessario per gestire scenari OOD reali complessi.
• Scalabilità: Il metodo di generazione dati sintetici risolve il problema della mancanza di dataset OOD realistici e annotati, permettendo di addestrare modelli robusti senza la necessità di raccogliere manualmente migliaia di immagini di oggetti rari.
• Unificazione: Sposta il paradigma da approcci frammentati (classificazione vs rilevazione) a un framework unificato per la rilevazione di oggetti in ambienti aperti.

In sintesi, SynOE-OD rappresenta un passo avanti fondamentale verso la creazione di rilevatori di oggetti "open-world" affidabili, capaci di gestire l'incertezza e la variabilità del mondo reale attraverso l'uso intelligente dell'intelligenza artificiale generativa.