Bridging Day and Night: Target-Class Hallucination Suppression in Unpaired Image Translation

Deze paper presenteert een nieuw kader voor ongepaarde beeldvertaling van dag naar nacht dat hallucinaties van doelklassen detecteert en onderdrukt door gebruik te maken van een dubbel-kop discriminator en classespecifieke prototypes binnen een Schrödinger-brugmodel, wat leidt tot aanzienlijke verbeteringen in downstream taken zoals objectdetectie.

De kern

Stel je voor dat je een fotograaf bent die overdag prachtige foto's maakt van een drukke stad. Je hebt al deze foto's zorgvuldig gemarkeerd: "Hier is een auto," "Daar is een stoplicht," "En daar loopt een fietser."

Nu wil je diezelfde foto's laten zien als het nacht is, zodat je een computer kan leren om 's nachts ook auto's en mensen te herkennen. Het probleem? Je hebt geen echte nachtfoto's die exact overeenkomen met je dagfoto's. Je moet dus een slimme computer (een AI) leren om de dagfoto's in de nacht te veranderen.

Het grote probleem: De "Hallucinerende" AI
Tot nu toe waren deze slimme computers erg goed in het donker maken van de lucht en het veranderen van de kleuren. Maar ze hadden een rare gewoonte: ze begonnen te hallucineren.

Stel je voor dat de AI een dagfoto van een leeg straatje ziet. Omdat het 's nachts vaak lichten heeft, begint de AI uit het niets een verkeersbord, een auto met fel oplichtende koplichten of een groen stoplicht te tekenen op plekken waar niets staat.

• Voor de computer lijkt dit prachtig: "Kijk, wat een realistische nacht!"
• Maar voor de auto die later op die foto moet rijden, is dit een ramp. De computer denkt: "Oh, daar staat een auto!" terwijl er niets is. Dit noemen we target-class hallucinatie (doelgroep-hallucinaties). De AI verzint objecten die er niet horen te zijn.

De oplossing: Een dubbel-oog systeem
De auteurs van dit paper hebben een nieuwe manier bedacht om dit op te lossen. Ze noemen hun methode een "brug tussen dag en nacht" die deze hallucinaties stopt. Hier is hoe het werkt, in drie simpele stappen:

1. De Dubbele Rechter (De "Twee-oog" Discriminator)

Stel je voor dat je een schilderij bekijkt. Een gewone kunstcriticus kijkt alleen naar de sfeer: "Is het donker genoeg? Zien de lichten eruit als nacht?"
Deze nieuwe AI heeft echter twee ogen:

• Oog 1 (Sfeer): Kijkt of het eruit ziet als een echte nacht.
• Oog 2 (De Detective): Kijkt heel precies naar de details. Deze "detective" weet precies waar de auto's en borden moeten staan (op basis van de dagfoto). Als de AI ergens een extra verkeersbord tekent waar er geen één stond, schreeuwt de detective: "Stop! Dat is een leugen! Daar hoort niets te zijn!"

2. De "Anker" (De Prototypes)

Om de AI niet alleen te straffen, geven ze haar ook een kompas. Ze maken een soort ideale voorbeeld (een prototype) van hoe een echte auto of een echt stoplicht er 's nachts moet uitzien, gebaseerd op echte nachtfoto's.

• Als de AI probeert een verkeerd object te tekenen in het donkere straatje, duwt het systeem die "valse" tekening weg van het echte voorbeeld.
• Het is alsof je zegt: "Die vage vorm die je tekende? Dat lijkt niet op een echte auto. Ga weg, want echte auto's zien er zo uit."

3. Het Stap-voor-Stap Reisje

In plaats van de dagfoto in één flits in een nachtfoto te veranderen (waarbij de AI vaak in paniek raakt en dingen verzint), laten ze de AI stap voor stap reizen.

• Stap 1: Een beetje donkerder.
• Stap 2: Iets meer contrast.
• Stap 3: De lichten aan.
  Tijdens elke stap controleert de "detective" of er geen valse objecten zijn ontstaan. Als er een valse koplamp verschijnt, wordt deze direct verwijderd voordat de volgende stap begint.

Waarom is dit belangrijk?
Vroeger waren de resultaten van deze AI's soms mooi om naar te kijken, maar gevaarlijk voor zelfrijdende auto's. Als een zelfrijdende auto denkt dat er een verkeerslicht is waar er geen is, kan hij plotseling remmen of een ongeluk veroorzaken.

Met deze nieuwe methode:

• Worden de "verzonnen" objecten (zoals valse stoplichten) verwijderd.
• Blijven de echte objecten (de auto's die er echt zijn) goed herkenbaar.
• Werkt de detectie van objecten 's nachts veel beter.

Kortom:
De auteurs hebben een slimme AI gebouwd die niet alleen weet hoe je een dagfoto donker maakt, maar ook een strenge "rechter" heeft die zorgt dat de AI niet begint te fantaseren over objecten die er niet zijn. Hierdoor worden de nachtfoto's niet alleen mooier, maar vooral veel veiliger en betrouwbaarder voor computers die de wereld moeten begrijpen.

Technische samenvatting

Probleemstelling

Ongepaarde beeld-naar-beeld (I2I) vertaling, specifiek van dag naar nacht, is cruciaal voor downstream-taken zoals objectdetectie en semantische segmentatie in autonoom rijden. Bestaande methoden (zowel GAN- als diffusiemodels) missen echter vaak directe pixel-level supervisie en introduceren semantische hallucinaties.

Dit betekent dat objecten die behoren tot de doelklassen (zoals verkeersborden, voertuigen, verkeerslichten) onterecht worden gegenereerd in achtergrondgebieden die niet zijn geannoteerd. Bijvoorbeeld, een lege weg kan worden omgezet in een weg met valse koplampen of verkeerslichten. Deze hallucinaties leiden tot ruis in de labels en degraderen de prestaties van modellen die op deze gegenereerde data worden getraind voor nachtobjectdetectie. Bestaande "instance-aware" methoden focussen op het behoud van geannoteerde objecten, maar hebben geen mechanismen om te voorkomen dat de achtergrond hallucinaties van deze klassen genereert.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat hallucinaties van doelklassen expliciet detecteert en onderdrukt tijdens een meervoudige vertalingsstap, gebaseerd op een Schrödinger Bridge-model. Het systeem bestaat uit drie kerncomponenten:

1. Schrödinger Bridge Multi-Step Vertaling:
   In plaats van een directe mapping van dag naar nacht in één stap, modelleert het systeem de vertaling als een Markov-keten van stochastische transportstappen. Dit zorgt voor een soepelere overgang en meer diversiteit in de vertaling, wat de moeilijkheid van grote domeinverschillen vermindert.

2. Hallucination-Aware Discriminator (Dubbel-kop Discriminator):
   Conventionele discriminatoren beoordelen vaak alleen de globale stijl, wat de generator aanmoedigt om artefacten (zoals lichten) te creëren die lijken op de doelstijl.

   • De auteurs introduceren een discriminator met twee koppen: een voor stijl (Dsty) en een voor hallucinatiensegmentatie (Dseg).
   • De Dseg-kop is een UNet-decoder die is aangesloten op een bevroren encoder (gebaseerd op SAM2).
   • Omdat datasets vaak alleen bounding boxes hebben en geen pixel-accurate maskers, worden pseudo-segmentatiemaskers gegenereerd met behulp van SAM2, waarbij de bounding boxes als prompt worden gebruikt.
   • Een Hallucination Loss ($L_{hl}$) straft de generator af als deze doelklassen voorspelt in niet-geannoteerde (achtergrond) gebieden.

3. Prototype-gebaseerde Onderdrukking (Intermediate Hallucination Suppression):
   Om te voorkomen dat achtergrondgebieden naar de kenmerken van doelklassen "drijven", worden doelklasse-prototypen gebruikt.

   • Prototypen worden berekend als het gemiddelde van de feature-vectoren van geannoteerde objecten in het doelgebied (nacht).
   • Tijdens de training worden features van gedetecteerde hallucinaties (achtergrondpixels die lijken op doelklassen) in de feature-ruimte ver weg geduwd van deze prototypen via contrastief leren (InfoNCE loss).
   • Dit creëert een duidelijke scheiding tussen de features van voorgrondobjecten en achtergrondruis.

De totale loss-functie combineert adversarial loss, Schrödinger Bridge loss, segmentatie loss, contrastive loss voor algemene consistentie, en de specifieke losses voor hallucinatiemonitoring en -onderdrukking.

Belangrijkste Bijdragen

1. Hallucinatiemonitoring en -onderdrukking: Een uniek raamwerk dat specifiek hallucinaties van doelklassen in ongeannoteerde gebieden detecteert en onderdrukt, in plaats van alleen gefocust te zijn op het behoud van bestaande objecten.
2. Hallucination-Aware Discriminator: Een discriminator die semantische inconsistenties (via een segmentatiekop) straft in plaats van alleen te vertrouwen op stijlkenmerken, gebruikmakend van pseudo-labels gegenereerd door foundation-modellen.
3. Prototype-gebaseerde Regulatie: Het gebruik van aggregatie van echte doel-domein features als "semantische ankers" om hallucinaties in de feature-ruimte actief te onderdrukken via contrastief leren.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat het verminderen van hallucinaties direct leidt tot aanzienlijke verbeteringen in downstream-taken.

Resultaten

De methode is geëvalueerd op de BDD100K dataset (dag-naar-nacht) en voor cross-dataset adaptatie (KITTI $\to$ Cityscapes).

• Objectdetectie (BDD100K): De methode verbetert de gemiddelde precisie (mAP) met 15,5% ten opzichte van bestaande methoden voor dag-naar-nacht domeinadaptatie.
• Specifieke Klassen: Voor klassen die gevoelig zijn voor hallucinaties, zoals verkeerslichten, wordt een opmerkelijke verbetering van 31,7% behaald.
• Vergelijking met State-of-the-Art: De prestaties van de auteurs benaderen of overtreffen zelfs de "Upper Bound" (een detector getraind op echte nachtdata) voor diverse klassen (vrachtwagens, fietsen, ruiters, personen), terwijl andere methoden soms zelfs onder de "Lower Bound" (dagdata) zakken.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat de methode realistische verlichting genereert zonder de valse objecten (zoals spookverkeerslichten) die bij concurrenten voorkomen.

Betekenis

Dit artikel adresseert een kritiek maar vaak over het hoofd gezien probleem in ongepaarde beeldvertaling: de introductie van semantische ruis die de bruikbaarheid van gegenereerde data voor training van downstream-modellen ondermijnt. Door hallucinaties actief te detecteren en te onderdrukken, biedt dit werk een robuuste oplossing voor domeinadaptatie in uitdagende scenario's zoals autonoom rijden bij nacht. Het benadrukt dat het behoud van semantische consistentie (wat er niet in een afbeelding moet staan) net zo belangrijk is als het behoud van bestaande objecten. De methode stelt een nieuwe standaard voor het trainen van betrouwbare detectiemodellen in gebieden waar gepaarde data schaars is.