ClimaOoD: Improving Anomaly Segmentation via Physically Realistic Synthetic Data

Deze paper introduceert ClimaDrive, een framework voor het genereren van fysiek realistische en semantisch coherente synthetische data, en het bijbehorende ClimaOoD-benchmark, waarmee de prestaties van anomalie-segmentatiemodellen in open-wereldomgevingen aanzienlijk worden verbeterd.

De kern

Stel je voor dat je een auto bouwt die zichzelf kan besturen. Deze auto moet niet alleen kunnen zien waar de weg is, maar ook gevaarlijke dingen herkennen die hij nog nooit eerder heeft gezien: een koe op de snelweg, een gestrande bank in de tunnel, of een omgevallen container in de regen. Dit noemen we "anomalie-detectie".

Het probleem is echter dat deze auto's in de echte wereld zelden zulke rare dingen tegenkomen. Als je een auto alleen traint op foto's van een zonnige dag in de stad, zal hij in de mist of in de sneeuw volledig de weg kwijtraken. Het is alsof je iemand alleen maar laat zwemmen in een zwembad, en hem dan plotseling in de Noordzee gooit tijdens een storm.

Hier komt ClimaOoD en ClimaDrive om de hoek kijken. Dit is een slimme nieuwe manier om die rare situaties te creëren voor de computer, zodat hij erop kan oefenen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het oude probleem: De "Knip-en-plak" en de "Droomfabriek"

Vroeger probeerden onderzoekers twee dingen om deze rare situaties te maken:

• Knip-en-plak: Ze namen een foto van een koe, knipten die eruit en plakten hem op een foto van een weg. Het probleem? De koe leek er niet echt bij te horen. Hij had de verkeerde schaduw, de verkeerde kleur en leek alsof hij zweefde. Het was alsof je een sticker op een schilderij plakt; het ziet er niet echt uit.
• De Droomfabriek (AI): Ze gebruikten slimme AI om een gat in de foto te vullen met een koe. Maar deze AI droomde soms raar: de koe zweefde boven de weg, of was groter dan de tunnel. Het was fysiek onmogelijk.

2. De nieuwe oplossing: ClimaDrive (De "Regisseur")

De auteurs van dit paper hebben een nieuw systeem bedacht, ClimaDrive, dat werkt als een super-geavanceerde filmregisseur. In plaats van te plakken of te dromen, bouwt het de scène opnieuw op, stap voor stap, met drie belangrijke regels:

• Regel 1: De Verlichting en het Weer (De "Sfeer-maker")
  De AI maakt eerst een perfecte achtergrond. Hij kan kiezen voor een zonnige dag, een stormachtige nacht, een mistige tunnel of een besneeuwde snelweg. Hij zorgt dat de lichten, de regen en de schaduwen perfect kloppen. Het is alsof je een filmset bouwt waar het weer echt verandert, in plaats van een filter eroverheen te leggen.

• Regel 2: De Logische Plaatsing (De "Architect")
  Dit is het slimste deel. Als de AI een koe moet plaatsen, kijkt hij eerst naar de perspectiefregels. Hij weet: "Als de koe ver weg staat, moet hij klein zijn. Als hij dichtbij staat, moet hij groot zijn." Hij plaatst de koe op de weg, niet erboven. Hij zorgt dat de koe past bij de schaal van de omgeving. Het is alsof je een poppetje in een poppenhuis plaatst: het moet passen in de kamer, niet zweven in de lucht.

• Regel 3: De Creatieve Vrijheid (De "Schrijver")
  De regisseur krijgt een opdracht: "Plaats een sofa in deze tunnel." De AI zoekt dan de perfecte plek voor die sofa, zorgt dat hij nat is van de regen (als het regent), en dat hij eruitziet alsof hij daar al een tijdje ligt.

3. Het Resultaat: ClimaOoD (De "Grote Oefenboek")

Op basis van deze regisseur hebben de onderzoekers een enorm oefenboek gemaakt genaamd ClimaOoD.

• Het bevat meer dan 10.000 foto's.
• Het heeft 6 verschillende weeromstandigheden (van helder weer tot zware sneeuw).
• Het heeft 6 verschillende locaties (van stadsstraten tot tunnels).
• Het bevat 93 soorten rare objecten (van dieren tot meubels).

Het is alsof ze een auto hebben laten rijden in elke denkbare situatie die je je kunt voorstellen, voordat hij ook maar één keer de echte weg op is gegaan.

4. Waarom is dit belangrijk?

Toen ze deze nieuwe auto's (de modellen) trainden met dit nieuwe oefenboek, gebeurde er iets wonderlijks:

• Ze werden veel beter in het zien van gevaar.
• Ze maakten veel minder fouten in slecht weer.
• Ze konden sneller en accurater reageren op dingen die ze nog nooit hadden gezien.

Kortom:
Stel je voor dat je een piloot traint. In het verleden trainden ze alleen in een simulator met helder weer. Nu, met ClimaDrive, trainen ze de piloot in een simulator die elke denkbare storm, elke mistbank en elk rare obstakel kan nabootsen, maar dan op een manier die er 100% echt uitziet. Hierdoor is de piloot (de zelfrijdende auto) veel veiliger als hij echt de lucht in gaat.

Dit paper laat zien dat als je je computer laat oefenen met echte (of bijna-echte) chaos, hij veel beter klaar is voor de echte wereld.

Technische samenvatting

Probleemstelling

Anomalie-segmentatie is cruciaal voor veilig autonoom rijden, omdat het modellen in staat stelt om onbekende of "out-of-distribution" (OoD) objecten (zoals vallende lading, bouwvoertuigen of dieren) te detecteren die niet tot de vooraf gedefinieerde semantische klassen behoren. Het huidige onderzoek wordt echter ernstig beperkt door twee factoren:

1. Schaarste en gebrek aan diversiteit: Realistische anomalie-gebeurtenissen zijn zeldzaam en onvoorspelbaar, wat het verzamelen van grote datasets moeilijk maakt. Bestaande benchmarks (zoals LostAndFound en Fishyscapes) zijn beperkt tot helder weer en stedelijke omgevingen, waardoor modellen slecht generaliseren in complexe scenario's (tunnels, snelwegen) of bij slechte weersomstandigheden (regen, sneeuw, mist).
2. Beperkingen van synthetische data: Bestaande methoden voor het genereren van synthetische data hebben twee grote nadelen:
   • Copy-paste methoden: Objecten uit andere datasets worden in rijscènes geplakt, wat vaak leidt tot inconsistenties in helderheid, kleur en perspectief.
   • Text-to-image diffusion modellen: Deze genereren vaak fysiek onrealistische objecten met onlogische posities, schalen of gebrek aan contextuele coherentie.

Dit creëert een "domain gap" tussen synthetische trainingsdata en de realiteit, wat de robuustheid van modellen in open-wereldomgevingen ondermijnt.

Methodologie: ClimaDrive Framework

Om deze problemen op te lossen, stellen de auteurs ClimaDrive voor, een semantisch geleid "image-to-image" framework dat fysiek realistische en semantisch coherente OoD-rijdata genereert. Het framework bestaat uit twee hoofdcomponenten:

1. Multi-scenario Weer-Generator:

   • Genereert rijscènes onder diverse weersomstandigheden (helder, regen, mist, sneeuw, bewolkt, nacht) en in verschillende omgevingen (stadsstraten, snelwegen, tunnels, etc.).
   • Gebruikt een Stable Diffusion-model met ControlNet, waarbij semantische kaarten (S_sem) dienen als structurele leidraad en tekstuele prompts (afgeleid van BDD100K metadata en BLIP-captions) de weers- en tijdsomstandigheden sturen. Dit behoudt de geometrische uitlijning terwijl het realistische variatie introduceert.

2. AnomPlacer (Anomalie-plaatsing):

   • Dit module zorgt ervoor dat anomalieën fysiek plausibel worden geplaatst binnen de rijbaan.
   • Perspectiefbewuste sampling: In plaats van willekeurige bounding boxes, worden deze gesampled op basis van een perspectief-prior. De grootte van de box wordt aangepast aan de verticale positie in het beeld (diepte), zodat objecten die verder weg zijn kleiner lijken.
   • Detectie en Inpainting: Een detectie-backbone (zoals DINO) voorspelt de aangepaste bounding boxes. Vervolgens wordt een diffusion-model gebruikt om de anomalie (bijv. "hond", "bank") te "inpainten" binnen deze box, geconditioneerd op de globale scène-context en het objectconcept.
   • Verliesfunctie: Het systeem optimaliseert zowel de lokalisatie (via een loss-functie voor bounding boxes) als de inpainting, waarbij gebruik wordt gemaakt van Grounding-SAM voor nauwkeurige maskers.

Het ClimaOoD Dataset

Op basis van het ClimaDrive-framework hebben de auteurs de ClimaOoD benchmark geconstrueerd:

• Schaal: Meer dan 10.230 synthetische afbeeldingen voor training en een zorgvuldig geselecteerde testset van 1.200 afbeeldingen.
• Diversiteit:
  • 6 Weercondities: Helder, regen, mist, sneeuw, bewolkt, nacht.
  • 6 Scènes: Stadsstraat, snelweg, tunnel, tankstation, woonwijk, parkeerplaats.
  • 93 Anomalie-categorieën: Variërend van dieren en voertuigen tot obstakels.
• Statistieken: Anomalieën beslaan gemiddeld 2,37% van de pixels en zijn strategisch geplaatst in rijbare gebieden met realistische perspectieven.

Resultaten

De auteurs hebben vier state-of-the-art anomalie-segmentatiemethoden (RbA, RPL, Mask2Anomaly, UNO) getraind met en zonder ClimaOoD-data en getest op bestaande benchmarks (Fishyscapes, RoadAnomaly, etc.) en op de ClimaOoD-testset.

• Algemene Prestatieverbetering: Training met ClimaOoD leidde tot consistente verbeteringen in AUROC, AP (Average Precision) en FPR95 (False Positive Rate bij 95% recall).
  • Bijvoorbeeld: De AP steeg gemiddeld met 3,25% en AUROC met 0,66% over alle methoden.
  • Specifiek voor RbA op Fishyscapes LAF daalde de FPR95 van 3,97 naar 3,52.
• Robuustheid in Adverse Omstandigheden: Modellen getraind met ClimaOoD presteerden beter in moeilijke scenario's (tunnels, nacht, regen) dan modellen getraind op alleen helder weer of bestaande datasets. Hoewel er nog steeds een prestatiedaling is bij slecht weer, is deze aanzienlijk minder groot dan bij de baseline.
• Ablatie Studies:
  • Het gebruik van perspectief-priors en box-supervisie bleek essentieel voor fysieke consistentie. Zonder deze componenten verslechterden de FID- en LPIPS-scores (minder realisme).
  • Dichte sampling (N=128) presteerde beter dan spaarzame sampling, maar het volledige model met alle componenten gaf de beste resultaten.
  • Verschillende detectie-backbones (DETR vs. DINO) toonden stabiele prestaties, wat de universaliteit van het framework bevestigt.

Betekenis en Bijdragen

De belangrijkste bijdragen van dit werk zijn:

1. ClimaOoD Benchmark: Een uitgebreide, schaalbare dataset die de complexiteit van de echte wereld (weer, diverse scènes, vele anomalie-types) beter nabootst dan bestaande benchmarks.
2. ClimaDrive Framework: Een nieuwe generatie methode voor synthetische data die de kloof tussen copy-paste en generatieve AI overbrugt door fysieke beperkingen (perspectief, schaal) en semantische coherentie direct in het generatieproces te integreren.
3. Verbeterde Generalisatie: Het bewijs dat het trainen met fysiek realistische, weer-variabele data de robuustheid van anomalie-detectiemodellen aanzienlijk verbetert, wat essentieel is voor de veilige implementatie van autonoom rijden in open-wereldomgevingen.

Kortom, dit paper biedt een oplossing voor het tekort aan realistische trainingsdata voor anomalie-detectie door een geavanceerd generatief framework te introduceren dat zowel visuele als fysieke realisme garandeert.