OD3: Optimization-free Dataset Distillation for Object Detection

Probleemstelling

Het trainen van grote neurale netwerken voor complexe computer-vision taken, zoals objectdetectie, vereist enorme hoeveelheden data en rekenkracht. Traditionele methoden om datasetgrootte te verminderen, zoals Coreset Selection, zijn vaak inefficiënt voor objectdetectie omdat ze moeite hebben met de complexiteit van meerdere objecten in één afbeelding en de noodzaak van ruimtelijke annotaties (bounding boxes).

Bestaande Dataset Distillation (DD) methoden richten zich voornamelijk op beeldclassificatie, waar elke afbeelding één label heeft. Objectdetectie is echter fundamenteel anders: het vereist het lokaliseren en identificeren van meerdere objecten met verschillende klassen binnen één afbeelding, inclusief geometrische informatie (locatie en grootte). Bestaande DD-methoden voor detectie (zoals DCOD) zijn vaak gebaseerd op complexe optimalisatieprocedures die duur zijn in tijd en rekenkracht, en bereiken vaak lage compressiepercentages (vaak >20%). Er is dus een behoefte aan een efficiëntere, optimalisatievrije methode die datasets kan comprimeren tot extreem kleine maten (bijv. <1%) zonder prestatieverlies.

Methodologie: OD3 Framework

OD3 (Optimization-free Dataset Distillation for Object Detection) is een tweestapsframework dat synthetische datasets genereert zonder zware optimalisatie. Het proces start met een "leeg canvas" (een lege afbeelding) en vult dit iteratief met objecten.

1. Kandidaatselectie en Plaatsing (Candidate Selection & Placement):

• Het originele dataset wordt opgesplitst in segmenten.
• Objectinstanties worden geëxtraheerd uit de originele afbeeldingen.
• Een sampling controller plaatst deze objecten willekeurig maar gecontroleerd op het synthetische canvas.
• Er wordt een overlapdrempel ($\tau$) gehanteerd om te voorkomen dat objecten te veel overlappen.
• SA-DCE (Scale-aware Dynamic Context Extension): Een cruciale innovatie waarbij de bounding box van een object wordt uitgebreid op basis van zijn grootte. Dit voegt context toe rondom kleine objecten, wat essentieel is voor detectie in complexe scènes.

2. Kandidaat Screening (Candidate Screening):

• Een voorgeïmplementeerde "observer model" (een reeds getrainde detector) analyseert het tijdelijk samengestelde canvas.
• De observer voert inferentie uit en vergelijkt de voorspellingen met de ingevoegde ground-truth annotaties.
• Objecten met een te lage betrouwbaarheid (confidence score) of die niet voldoen aan consistentiecriteria worden verwijderd.
• Dit proces herhaalt zich iteratief (Add-Then-Remove) totdat een hoogwaardige, gevarieerde configuratie van objecten overblijft.

3. Soft Label Generatie:

• In plaats van logit-based soft labels (die goed werken voor classificatie maar minder voor detectie), gebruikt OD3 channel-wise soft labels gebaseerd op de Feature Pyramid Network (FPN) van de observer.
• Er wordt gebruik gemaakt van Pearson Knowledge Distillation (PKD) om de features van de observer te distilleren naar de target detector. Dit zorgt voor een rijkere supervisie dan alleen bounding box labels.

4. Doelfunctie:
Het systeem maximaliseert een objectief dat bestaat uit twee componenten:

• Information Density ($\Phi$): Een maat voor hoe betrouwbaar en uitgebreid het canvas is bezet met waardevolle objecten (gebaseerd op oppervlakte en confidence scores).
• Information Diversity ($N$): Het aantal unieke objecten op het canvas.

Belangrijkste Bijdragen

1. OD3 Framework: De eerste optimalisatievrije dataset distillatie methode specifiek ontworpen voor objectdetectie, die het gat vult tussen classificatie en detectie.
2. Tweestapsproces: Een unieke combinatie van iteratieve kandidaatselectie (gebaseerd op minimale overlap) en screening door een observer model om onbetrouwbare objecten te verwijderen.
3. SA-DCE: Een nieuwe techniek om context rondom objecten dynamisch uit te breiden, wat de detectie van kleine objecten aanzienlijk verbetert.
4. Extreem hoge compressie: De methode is in staat om datasets te comprimeren tot 0,25% tot 5% van de originele grootte, terwijl de prestaties behouden blijven.
5. State-of-the-Art Resultaten: OD3 overtreft bestaande methoden (zoals DCOD en Coreset Selection) aanzienlijk, met name bij zeer lage compressiepercentages.

Resultaten

De methode is geëvalueerd op de MS COCO en PASCAL VOC datasets.

• MS COCO Prestaties:
  • Bij een compressie van 1,0% (IPD) bereikt OD3 een mAP50 van 39,50%.
  • Dit is een verbetering van +14,8% ten opzichte van de vorige beste methode (DCOD) en +27% ten opzichte van Coreset Selection methoden.
  • Zelfs bij 0,25% compressie behaalt OD3 een mAP50 van 24,30%, wat aanzienlijk hoger is dan concurrenten.
• PASCAL VOC Prestaties:
  • Bij 2,0% compressie bereikt OD3 een mAP50 van 58,70%, wat 8,0% beter is dan DCOD.
• Generalisatie:
  • De synthetische datasets generaliseren goed over verschillende architecturen (bijv. van Faster R-CNN observer naar RetinaNet target, of ViTDet).
  • De methode schaalt voorspelbaar naarmate het compressiebudget toeneemt (tot 20%).
• Efficiëntie:
  • Het genereren van de gecondenseerde dataset duurt slechts ongeveer 4,7 uur voor MS COCO en 0,74 uur voor PASCAL VOC op één GPU, wat veel sneller is dan optimalisatie-gebaseerde methoden.

Betekenis en Impact

OD3 vertegenwoordigt een doorbraak in het veld van dataset distillatie voor dense prediction taken. Door de afhankelijkheid van zware optimalisatie te verwijderen en te focussen op slimme selectie en screening, maakt het trainen van objectdetectoren op extreem kleine datasets haalbaar en kosteneffectief.

De belangrijkste implicaties zijn:

• Kostenreductie: Drastische vermindering van opslag- en trainingskosten voor grote datasets.
• Schaalbaarheid: Het maakt het mogelijk om detectiemodellen te trainen in omgevingen met beperkte rekenkracht.
• Nieuwe State-of-the-Art: Het stelt nieuwe benchmarks neer voor dataset distillatie, bewijzend dat synthetische data van zeer hoge kwaliteit kan worden gegenereerd zonder complexe training loops.
• Toepasbaarheid: De methode is robuust en werkt goed over verschillende modelarchitecturen, wat de praktische toepasbaarheid in diverse scenarioën vergroot.

Kortom, OD3 bewijst dat voor objectdetectie niet per se enorme datasets nodig zijn; met de juiste, optimalisatievrije selectie- en screeningmechanismen kunnen compacte, hoogwaardige datasets worden samengesteld die de prestaties van volledige datasets benaderen.