Unbiased Object Detection Beyond Frequency with Visually Prompted Image Synthesis

Probleemstelling

Objectdetectiemodellen lijden vaak onder vertekeningen (bias) in hun trainingsdata, wat zich manifesteert in ongelijke distributies over objectcategorieën, maten en ruimtelijke locaties. Bestaande debiasing-strategieën, zoals hersampling of herweging, zijn beperkt tot de "visuele vocabulaire" van de originele dataset en kunnen geen nieuwe verschijnselen of contexten genereren om representatiegaten te vullen.

Generatie-gedreven data-augmentatie (het synthetiseren van nieuwe data) lijkt een oplossing, maar dit paper identificeert twee fundamentele beperkingen in huidige benaderingen:

1. De "Frequentieval" (Frequency Trap): Het simpelweg genereren van meer data voor zeldzame klassen (gebaseerd op frequentie) is suboptimaal. De auteurs tonen aan dat instance-frequentie een onvolledige proxy is voor de werkelijke data-behoefte van een model. Sommige rijke groepen (bijv. grote objecten) kunnen meer baat hebben bij extra data dan zeldzame groepen, en het focussen alleen op frequentie leidt tot suboptimale interventies.
2. Het "Fideliteitsgat" (Fidelity Gap): Huidige "Layout-to-Image" (L2I) synthese-methoden, die vaak 2D ruimtelijke arrangementen vertalen naar 1D tekst-prompten, missen de nodige precisie en controle. Dit resulteert in synthetische beelden die qua kwaliteit en complexiteit (bijv. occlusie, specifieke relaties) onderdoen voor echte data, waardoor modellen getraind op deze data slechter presteren.

Methodologie

De auteurs stellen een generatie-gedreven debiasing-framework voor dat bestaat uit twee hoofdcomponenten: een Dynamic Debiasing Engine en een Visueel Prompted Synthesis Pipeline.

1. Dynamische Debiasing via Representatie Score (RS)

In plaats van alleen te kijken naar het aantal instances, introduceert het paper de Representatie Score (RS) om representatiegaten nauwkeuriger te diagnosticeren.

• Samenstelling van RS: De score combineert drie componenten:
  • Frequentie ($D_{freq}$): De empirische waarschijnlijkheid van een groep.
  • Visuele Diversiteit ($D_{vis}$): De gemiddelde feature-afstand tussen instances binnen een groep (visuele variatie).
  • Contextuele Diversiteit ($D_{ctx}$): De co-occurrence van objectklassen in dezelfde afbeelding.
• Layout Recalibratie: Op basis van de RS worden nieuwe, onbevooroordeelde layouts gegenereerd. Bestaande layouts worden "geherbemonsterd" waarbij objecten worden verschoven naar nieuwe maten en posities die een lage RS hebben (dus ondervertegenwoordigd zijn). Dit gebeurt gekoppeld (grootte en positie samen) om fysiek plausibele scènes te behouden.
• Dynamische Update: De RS wordt niet statisch gehouden, maar continu bijgewerkt tijdens het trainingsproces op basis van de detectiefouten ($L_{layout}$) van het model. Dit zorgt voor een adaptief systeem dat zich aanpast aan de evoluerende bias in de verrijkte dataset.

2. Visueel Prompted Synthese met Generative Alignment

Om het fideliteitsgat te dichten, vervangt het paper ambigu tekstuele prompts door een Visueel Blauwdruk (Visual Blueprint).

• Visuele Blauwdruk: In plaats van tekst, wordt de layout omgezet in een pixel-gebaseerde "canvas" van gekleurde rechthoeken. Elke rechthoek vertegenwoordigt een object met een specifieke kleur (HSV-gebaseerd) die de klasse, grootte en positie aangeeft. Dit elimineert de ambiguïteit van het vertalen van 2D ruimtelijke data naar 1D tekst.
• Generative Alignment: Het paper benut de dualiteit tussen objectdetectie (beeld $\to$ layout) en L2I-synthese (layout $\to$ beeld). Een Image-Layout-Image lus wordt ingesteld waarbij de detector een layout voorspelt uit een gegenereerd beeld, en deze layout weer wordt gebruikt om het beeld te reconstrueren. Een verliesfunctie straft de detector af als de voorspelde layout niet voldoende is om het originele beeld te reconstrueren. Dit dwingt de generator en detector om in een consistent feature-ruimte te opereren, wat de kwaliteit en bruikbaarheid van de synthetische data verhoogt.

Belangrijkste Bijdragen

1. Representatie Score (RS): Een nieuwe metriek die verder gaat dan simpele frequentietellingen door visuele en contextuele diversiteit te integreren, waardoor de werkelijke data-behoefte van het model beter wordt gedetecteerd.
2. Visueel Blauwdruk Prompting: Een innovatieve aanpak voor L2I-synthese die pixel-gebaseerde instructies gebruikt in plaats van tekst, wat leidt tot veel hogere precisie in complexe scènes met occlusie.
3. Generative Alignment Mechanisme: Een trainingsschema dat de dualiteit tussen detectie en generatie benut om de consistentie tussen gegenereerde beelden en de vereiste features voor detectie te garanderen.
4. Dynamisch Debiasing Framework: Een systeem dat continu leert van de fouten van de detector om de strategie voor data-generatie aan te passen tijdens het trainingsproces.

Resultaten

De methode is geëvalueerd op de MS COCO en NuImages datasets.

• Fideliteit van Generatie: Het model overtreft bestaande SOTA L2I-modellen (zoals GeoDiffusion) aanzienlijk. Op MS COCO werd een verbetering van 15.9 mAP in layout-accuraatheid behaald, met een FID-score van 15.24 (lager is beter).
• Debiasing Effectiviteit:
  • Op MS COCO verbeterde de methode de prestaties voor zeldzame klassen met +3.6 mAP en voor objecten aan de rand van het beeld met +3.2 mAP.
  • Voor grote objecten werd een verbetering van +4.4 mAP bereikt.
  • De algehele mAP steeg naar 40.3 op MS COCO en 40.0 op NuImages, wat een nieuw state-of-the-art (SOTA) niveau is.
• Generaliseerbaarheid: De prestatieverbeteringen waren consistent over verschillende detector-architecturen, waaronder YOLOX, DINO en CO-DETR (gemiddeld +2.6 tot +2.8 mAP).

Betekenis

Dit paper is significant omdat het twee fundamentele aannames in het veld van data-augmentatie en debiasing daagt:

1. Het bewijst dat frequentie alleen niet genoeg is om data-tekorten te identificeren; diversiteit in representatie is minstens zo belangrijk.
2. Het toont aan dat hoge kwaliteit synthese essentieel is voor effectieve debiasing. Zelfs als je weet wat je moet genereren (via RS), is de manier waarop je het genereert (via visuele blauwdrukken en alignment) cruciaal voor het succes.

De voorgestelde methode biedt een robuust kader om objectdetectiemodellen te trainen die minder gevoelig zijn voor bias, wat essentieel is voor de betrouwbaarheid van AI-systemen in real-world toepassingen zoals autonoom rijden en beveiliging.