CD-FKD: Cross-Domain Feature Knowledge Distillation for Robust Single-Domain Generalization in Object Detection

Dit paper introduceert CD-FKD, een methode voor cross-domein feature knowledge distillation die de generalisatie en robuustheid van objectdetectie verbetert in ongeziene domeinen door een studentnetwerk te trainen met gevarieerde, gecorrumpeerde data dat de features van een teachernetwerk nabootst.

De kern

Stel je voor dat je een auto-bestuurder traint om auto's, fietsers en voetgangers te herkennen. Je laat deze bestuurder duizenden uren rijden op een perfecte, zonnige dag in een stad. Hij wordt een meester in het herkennen van dingen op die heldere dag.

Maar wat gebeurt er als je hem plotseling op een donkere, regenachtige avond in een modderige straat zet? Of in een mistige ochtend? De bestuurder raakt in paniek. Hij ziet de contouren niet meer, de kleuren zijn anders, en hij mist belangrijke details. In de wereld van kunstmatige intelligentie (AI) noemen we dit een "domeinverschuiving": de omgeving verandert, en de AI faalt.

Deze paper introduceert een slimme oplossing genaamd CD-FKD. Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Perfecte Leerling" die faalt in de storm

Normaal gesproken trainen we AI-modellen (de "student") op één soort data, bijvoorbeeld heldere dagbeelden. Als we ze dan testen op slecht weer, zakken ze door de grond. Bestaande methoden proberen dit op te lossen door de student te laten oefenen met nep-slechte beelden (zoals wazige foto's), maar dit heeft een nadeel: de student wordt dan soms zo gewend aan de "nep-schade" dat hij zijn vaardigheden op de goede beelden verliest. Hij wordt een specialist in rommel, maar vergeet hoe hij scherp moet kijken.

2. De Oplossing: De "Twee-leraren Methode" (CD-FKD)

De auteurs van dit paper bedachten een slimme manier om de student te trainen zonder zijn basisvaardigheden te verliezen. Ze gebruiken een leraar-student systeem, maar dan met een twist.

Stel je voor dat je twee leraren hebt:

• De Meester (Teacher): Deze kijkt naar de beelden zoals ze écht zijn: helder, scherp en in hoge kwaliteit. Hij weet precies hoe een bus eruitziet, zelfs als hij klein is.
• De Student: Deze krijgt een "verminkt" versie van hetzelfde beeld. Het beeld is wazig, verkleind (alsof je door een slechte camera kijkt) en heeft ruis (alsof er regen op de lens zit).

De Magie:
De student probeert niet alleen om de bus te vinden op zijn slechte beeld, maar hij probeert ook te denken zoals de Meester.

• De Meester zegt: "Kijk, daar is een bus, en hier is de achtergrond."
• De Student zegt: "Oké, ik zie een vage vlek, maar ik ga proberen te denken dat het een bus is, precies zoals jij dat zou doen."

Dit gebeurt op twee manieren:

A. De "Grote Foto" (Globale Kennis)

De student leert eerst naar het hele plaatje te kijken. Net als een schilder die eerst de compositie van het hele landschap ziet voordat hij de details tekent. De AI leert: "Zelfs als het beeld wazig is, moet ik de sfeer en de context van de hele straat begrijpen." Dit helpt om niet in de war te raken door de ruis.

B. De "Zoom-in" (Instance-wise Kennis)

Vervolgens zoomt de student in op specifieke objecten. Stel je voor dat de Meester met een vergrootglas naar een fiets kijkt en zegt: "Kijk naar de wielen en het frame." De student moet, zelfs op zijn wazige, kleine beeld, proberen diezelfde details te "voelen". Hij leert om de fiets te onderscheiden van een motorfiets, zelfs als het regent en het moeilijk te zien is.

3. Waarom werkt dit zo goed?

In het verleden moesten AI-modellen vaak kiezen: óf ze waren goed op de trainingsdata (de zonnige dag), óf ze waren goed op nieuwe data (de regenachtige dag). Ze konden niet beide.

Met deze nieuwe methode (CD-FKD) gebeurt er iets wonderlijks:

• De student wordt sterker door te oefenen met de moeilijke, wazige beelden. Hij leert om door de "nevel" te kijken.
• Tegelijkertijd wordt hij slimmer door naar de Meester te kijken. Hij leert de juiste details te zien die hij anders zou missen.

Het resultaat is een AI die niet alleen super is op de zonnige dag (de bron), maar ook robuust is op donkere, regenachtige of mistige dagen (de doelen).

4. De Resultaten in het Kort

De auteurs hebben hun methode getest op een dataset met verschillende weersomstandigheden (dag, nacht, regen, mist).

• De oude methoden (zoals standaard AI) faalden vaak in de regen of 's nachts.
• De nieuwe methode (CD-FKD) presteerde overal beter. Het kon zelfs auto's en fietsers vinden in de donkerste regenbuien waar andere systemen niets zagen.

Conclusie

Kortom: CD-FKD is als het geven van een bril aan een leerling die in de regen moet rijden. De leerling (de AI) traint met een bril die de wereld wazig maakt, maar hij krijgt tegelijkertijd een "hoofdtelefoon" van een expert (de Meester) die hem fluistert wat hij moet zien. Hierdoor leert hij niet alleen om door de nevel te kijken, maar wordt hij ook een betere bestuurder op zonnige dagen.

Dit maakt de technologie veel veiliger voor toepassingen zoals autonoom rijden of bewakingscamera's, waar het weer niet altijd meewerkt en de camera's niet altijd perfect zijn.

Technische samenvatting

Probleemstelling

Objectdetectiemodellen presteren doorgaans uitstekend wanneer de trainingsdata (bron-domein) en de testdata (doel-domein) uit dezelfde verdeling komen. In real-world scenario's, zoals autonoom rijden en videobewaking, treden echter vaak domeinverschuivingen op door veranderingen in weer, belichting of tijdstip van de dag. Dit leidt tot een significante prestatiedaling van de modellen.

Bestaande oplossingen hebben beperkingen:

• Unsupervised Domain Adaptation (UDA): Vereist toegang tot data uit het doel-domein, wat vaak niet beschikbaar is.
• Domain Generalization (DG): Vereist doorgaans data uit meerdere bron-domeinen, wat kostbaar en tijdrovend is om te verzamelen.
• Single-Domain Generalization (SDG): Richt zich op generalisatie vanuit slechts één bron-domein. Traditionele SDG-methoden gebruiken vaak data-augmentatie of feature-disentanglement. Echter, augmentatie kan de prestaties op het bron-domein verslechteren, en disentanglement negeert vaak de context van de achtergrond, wat cruciaal is voor volledige beeldbegrip.

Methodologie: CD-FKD

De auteurs stellen Cross-Domain Feature Knowledge Distillation (CD-FKD) voor, een nieuw kader dat de generalisatiekracht verbetert door zowel globale als instance-gerichte kenmerken te distilleren. Het systeem gebruikt een Self-Distillation-structuur met twee identieke detectoren (een leraar en een leerling), beide gebaseerd op Faster R-CNN met een ResNet-101 backbone.

Het proces verloopt als volgt:

1. Diversificatie van Invoerdata:

   • Leraar-netwerk (Teacher): Ontvangt de originele, schone, hoge-resolutie data uit het bron-domein.
   • Leerling-netwerk (Student): Wordt getraind op gediversifieerde data die is gegenereerd door het bron-domein te onderwerpen aan:
     • Downscaling: Verkleining van de resolutie (ratio 0.6 tot 1.0) om het detecteren van kleine objecten te forceren.
     • Corruptie: Toepassing van 15 verschillende soorten ruis en vervorming (bijv. blur, ruis, JPEG-compressie, weersinvloeden) gebaseerd op ImageNet-C.

2. Cross-Domain Feature Knowledge Distillation:
   Het doel is dat de student-netwerk de kenmerken van de leraar nabootst, zelfs wanneer de invoer data vervuild is. Dit gebeurt via twee verliesfuncties:

   • Global Feature Distillation ($L_{global}$):
     • Vergelijkt de backbone-kenmerken van de leraar en de leerling over het hele beeld.
     • Doel: De leerling leren de globale context van het beeld te begrijpen, zodat deze niet afgeleid wordt door ruis of achtergrondveranderingen.
     • Berekening: Cosine similarity loss tussen de geflatteerde feature maps.
   • Instance-Wise Feature Distillation ($L_{instance}$):
     • Focust specifiek op de objecten (RoI - Region of Interest) en negeert de achtergrond.
     • Gebruikt Ground Truth bounding boxes via RoI Align om de kenmerken van specifieke objecten in de vervormde student-data te aligneren met die van de leraar.
     • Doel: Zorgen dat de leerling object-gerichte kenmerken effectief kan extraheren, zelfs bij occlusie of slechte zichtbaarheid.

3. Totale Loss Functie:
   De totale trainingsdoelstelling combineert de standaard detectieloss ($L_{det}$) met de twee distillatielosses:
   $$L_{total} = L_{det} + \alpha L_{global} + \beta L_{instance}$$
   Waarbij $\alpha$ en $\beta$ hyperparameters zijn die de balans bepalen (in het paper ingesteld op 1.0).

Belangrijkste Bijdragen

1. Nieuwe Architectuur: Introductie van CD-FKD, een methode die cross-domein kennisdistillatie toepast voor SDG in objectdetectie.
2. Dubbele Distillatie: Een uniek kader dat zowel globale context als instance-specifieke kenmerken distilleert, waardoor het model robuust is tegen zowel achtergrondruis als objectvervorming.
3. Efficiëntie: De methode vereist slechts één bron-domein, maar bereikt prestaties die vergelijkbaar zijn met of beter zijn dan methoden die meerdere domeinen nodig hebben.
4. Complementair Effect: Het verbetert niet alleen de generalisatie naar onbekende doelen, maar verbetert ook de prestaties op het oorspronkelijke bron-domein (in tegenstelling tot veel augmentatiemethoden).

Resultaten

De methode is geëvalueerd op het diverse weather dataset (urban scenes) met Daytime-Clear als bron-domein en vier doel-domeinen (Night-Clear, Dusk-Rainy, Night-Rainy, Daytime-Foggy).

• Algemene Prestatie: CD-FKD behaalde een gemiddelde mAP@0.5 van 38.3% over de vier doel-domeinen.
  • Dit is een verbetering van 11.1% ten opzichte van de baseline (Faster R-CNN).
  • Het overtreft de huidige state-of-the-art (DivAlign) met 2.8%.
• Bron-domein Prestatie: Op het bron-domein (Daytime-Clear) behaalde CD-FKD 62.7%, wat hoger is dan de baseline (54.9%) en alle andere vergeleken methoden. Dit bevestigt dat de methode geen "source forgetting" veroorzaakt.
• Kwalitatieve Analyse: Visuele vergelijkingen tonen aan dat CD-FKD minder False Negatives (gemiste objecten) en False Positives heeft in extreme omstandigheden (bijv. nacht met regen) vergeleken met Faster R-CNN en DivAlign.
• Ablatie Study:
  • Het gebruik van zowel corruptie als downscaling bleek essentieel voor kleine objectdetectie.
  • Het combineren van $L_{global}$ en $L_{instance}$ gaf de beste resultaten; het gebruik van slechts één van beide leverde minder verbetering op.
  • Heatmap visualisaties tonen aan dat CD-FKD meer focust op objecten en minder op irrelevante achtergrondruis.

Betekenis en Impact

CD-FKD biedt een praktische en robuuste oplossing voor het kritieke probleem van domeinverschuiving in objectdetectie. Door generalisatie te bereiken met slechts één bron-domein, verlaagt het de kosten en complexiteit van dataverzameling aanzienlijk. De methode is direct toepasbaar in veiligheidskritieke toepassingen zoals autonoom rijden (waar weersomstandigheden variëren) en videobewaking, waar betrouwbare detectie onder alle omstandigheden essentieel is. Het bewijst dat kennisdistillatie, wanneer correct toegepast met diversificatie, een krachtig middel is om de robuustheid van diepe leermodellen te vergroten zonder de oorspronkelijke prestaties te offeren.