Out-of-Distribution Object Detection in Street Scenes via Synthetic Outlier Exposure and Transfer Learning

1. Probleemstelling

In real-world toepassingen, zoals autonoom rijden, komen objecten vaak voor die niet voorkomen in de trainingsdata. Deze worden Out-of-Distribution (OOD) objecten genoemd. Bestaande objectdetectoren behandelen deze onbekende objecten vaak onterecht als achtergrond, wat in veiligheidskritieke scenario's tot ernstige fouten kan leiden.

Hoewel er veel onderzoek is gedaan naar OOD-detectie voor beeldclassificatie en semantische segmentatie, blijft OOD-objectdetectie onderbelicht. Bestaande methoden hebben vaak te kampen met:

• Complexere architecturen of hulpvertakkingen die nodig zijn.
• Een gebrek aan een unified framework dat zowel in-distribution (ID) als OOD-objecten gelijktijdig behandelt.
• Beperkte prestaties van Open-Vocabulary Object Detectors (OVODs) in zero-shot settings voor specifieke OOD-scenario's in straatbeeld.
• Het gebrek aan realistische OOD-data voor training.

2. Methodologie: SynOE-OD

De auteurs stellen SynOE-OD (Synthetic Outlier-Exposure-based Object Detection) voor, een framework dat een enkele detector in staat stelt om zowel bekende (ID) als onbekende (OOD) objecten te detecteren en correct te classificeren. De aanpak combineert Synthetic Outlier Exposure (OE) met Transfer Learning.

Het proces bestaat uit de volgende stappen:

• Generatie van Synthetische Outliers:
  • Er wordt gebruikgemaakt van Stable Diffusion om ongewone objecten (bijv. huisdieren, huishoudelijke items) in straatbeeld-scènes in te vullen (inpainting).
  • Een lijst met "ongebruikelijke" objecten wordt gegenereerd via ChatGPT.
  • Deze objecten worden ofwel op de plek van bestaande ID-objecten geplaatst, of in vrije ruimtes op de weg.
• Labelgeneratie en Validatie:
  • Om nauwkeurige annotaties (bounding boxes en labels) te krijgen voor de gegenereerde data, wordt een sterke Open-Vocabulary Detector, GroundingDINO (GDINO), gebruikt.
  • GDINO verfijnt de bounding boxes van de ingevulde objecten en bepaalt of het een nieuw OOD-object is, een gemodificeerd ID-object, of een mislukte generatie (die dan wordt verwijderd).
• Transfer Learning en Fine-tuning:
  • Het gegenereerde dataset (bestaande uit echte ID-objecten en synthetische OOD-objecten) wordt gebruikt om bestaande objectdetectoren (zoals DINO-DETR en GroundingDINO) te fine-tunen.
  • De detector wordt getraind om een extra klasse toe te voegen: klasse $n+1$, die alle OOD-objecten vertegenwoordigt.
  • Het doel is om de detector te leren om onbekende objecten niet als achtergrond te negeren, maar actief te lokaliseren en te labelen als "OOD".

3. Belangrijkste Bijdragen

1. SynOE-OD Framework: Een nieuw framework dat naadloos integreert met standaard objectdetectoren en deze aanpast voor gelijktijdige detectie van ID- en OOD-objecten.
2. Data-generatie Pipeline: Een systeematische aanpak om synthetische, object-gebaseerde outliers in bestaande datasets in te voegen. Dit creëert een trainingsomgeving die realistisch genoeg is voor straatscènes.
3. State-of-the-Art Prestaties: Het framework bereikt de beste resultaten op bestaande benchmarks voor OOD-objectdetectie, terwijl het tegelijkertijd competitieve prestaties behoudt voor de detectie van bekende objecten.
4. Uitgebreide Evaluatie: De auteurs tonen aan dat de methode robuust is over verschillende modelarchitecturen (single-modal en multi-modal) en datasetcomposities.

4. Resultaten

De methodologie is geëvalueerd op de OoDIS-benchmark (RoadObstacle, RoadAnomaly, Fishyscapes) en andere datasets zoals LostAndFound.

• Prestatieverbetering: SynOE-OD presteert significant beter dan bestaande zero-shot OVOD-methoden en andere state-of-the-art baselines.
  • Op de RoadObstacle-dataset steeg de Average Precision (AP50..95) met 5,49% ten opzichte van de beste bestaande methode.
  • Op RoadAnomaly was de verbetering 6,7% en op Fishyscapes 10,75%.
• Vergelijking met Zero-Shot: Hoewel GroundingDINO (GDINO) sterke zero-shot capaciteiten heeft, presteert het fine-tuned model met SynOE-OD beter in OOD-scenario's. Dit bewijst dat zero-shot detectie alleen niet voldoende is voor betrouwbare OOD-detectie in complexe omgevingen.
• ID vs. OOD Trade-off: Het fine-tunen op de synthetische data leidt niet tot een significante daling in de prestaties voor bekende objecten (ID). Het model behoudt hoge precisie voor bekende klassen terwijl het OOD-voorzienigheid verwerft.
• Ablatie Studies:
  • Het beperken van de inpainting tot de rijbaan (road region) bleek effectiever dan willekeurige plaatsing.
  • Het uitsluiten van "gemodificeerde ID-objecten" (waarbij de inpainting het originele object niet volledig vervangt) verbeterde de prestaties.
  • Een evenwichtige verhouding tussen OOD- en ID-samples in de trainingsdata is cruciaal; te veel OOD-data leidt tot saturatie en een daling in ID-prestaties.

5. Betekenis en Conclusie

Dit werk is van groot belang voor veiligheidskritieke toepassingen zoals autonoom rijden. Het biedt een elegante oplossing voor het probleem van "stilzwijgend falen" van detectoren bij onbekende objecten.

De kernboodschap is dat door het gebruik van krachtige generatieve modellen (Stable Diffusion) gecombineerd met open-vocabulary detectoren (GDINO) en transfer learning, het mogelijk is om een enkele detector te trainen die zowel bekende als onbekende objecten betrouwbaar kan lokaliseren. Dit overbrugt de kloof tussen theoretisch OOD-onderzoek en praktische toepasbaarheid in dynamische, real-world omgevingen. De methode toont aan dat synthetische data, mits zorgvuldig gegenereerd en gelabeld, een krachtige vervanging of aanvulling kan zijn voor het verzamelen van zeldzame, real-world OOD-data.