Coarse-to-Fine Hierarchical Alignment for UAV-based Human Detection using Diffusion Models

Hieronder volgt een gedetailleerde technische samenvatting van het paper "Coarse-to-Fine Hierarchical Alignment for UAV-based Human Detection using Diffusion Models", geschreven in het Nederlands.

1. Het Probleem

De detectie van mensen op beelden verkregen door onbemande luchtvaartuigen (UAV's) wordt ernstig belemmerd door een gebrek aan geannoteerde data. Het verzamelen en labelen van echte luchtfoto's is duur en tijdrovend, terwijl de omstandigheden (hoogte, perspectief, verlichting) extreem variabel zijn.

• Synthetische Data als oplossing: Om dit tekort op te vullen, wordt vaak gebruikgemaakt van synthetische data gegenereerd door game-engines. Deze data is goedkoop en bevat perfecte labels.
• De Sim2Real Kloof: Er bestaat echter een grote kloof tussen synthetische en echte beelden (Sim2Real gap). Detectoren getraind op synthetische data presteren slecht in de echte wereld vanwege verschillen in belichting, textuur en lage-niveau uiterlijk.
• Beperkingen van bestaande methoden: Bestaande oplossingen op basis van diffusiemodellen hebben twee grote nadelen:
  1. Ze vereisen vaak veel echte data voor fine-tuning (niet geschikt voor 'few-shot' scenario's).
  2. Ze beschadigen vaak de semantische structuur van kleine objecten (zoals mensen op grote afstand) tijdens de globale stijltransformatie, wat leidt tot artefacten en hallucinaties die de detectie onmogelijk maken.

2. Methodologie: CFHA (Coarse-to-Fine Hierarchical Alignment)

De auteurs introduceren CFHA, een nieuw raamwerk dat synthetische beelden vertaalt naar de realistische domein van UAV-beelden, waarbij de originele geometrische labels strikt behouden blijven. Het raamwerk ontkoppelt expliciet de globale stijl (kleur, verlichting) van de lokale inhoud (objectdetails) en werkt in drie opeenvolgende fasen:

Fase I: Global Style Transfer (GST)

• Doel: Het aligneren van macroscopische verschijningskenmerken (kleurpalet, verlichting, atmosferische nevel) tussen synthetische beelden en een kleine set echte referentiebeelden.
• Techniek: Dit gebeurt in de latente ruimte van een diffusiemodel (Stable Diffusion) via DDIM-inversie.
• Mechanisme: Een structuur-bewust cross-attention mechanisme berekent attention-weights om gestileerde features te extraheren en te fuseren met de content-features.
• Resultaat: Een globaal gestileerd beeld dat er realistisch uitziet, maar waarbij de ruimtelijke structuur en bounding-box annotaties van de originele synthetische data volledig intact blijven.

Fase II: Local Refinement (LR)

• Doel: Het herstellen van gedetailleerde, fotorealistische kenmerken voor kleine menselijke instanties die door Fase I vaak onscherp of vervormd zijn.
• Techniek: Een super-resolutie diffusiemodel wordt gebruikt.
• Proces:
  1. Beelden worden opgeschaald (factor 2).
  2. Object-gerichte patches worden geïsoleerd.
  3. Automatische beeldbeschrijvingen (image captioning) genereren tekst-prompten.
  4. Een diffusiemodel (fine-tuned met LoRA - Low-Rank Adaptation) verrijkt de visuele kwaliteit van deze patches op basis van de prompts, terwijl de achtergrond gefixeerd blijft.

Fase III: Hallucination Removal (HR)

• Doel: Het filteren van gegenereerde artefacten en "hallucinaties" (niet-bestaande mensen of onrealistische poses) die door de generatieve processen zijn ontstaan.
• Techniek: Gebruik van CLIP (Contrastive Language-Image Pre-training) voor semantische filtering.
• Proces:
  1. Een prototypische referentievector wordt berekend die de verdeling van echte menselijke instanties weergeeft, verankerd aan een tekst-prompt (bijv. "een foto van een persoon genomen door een drone").
  2. Elke gegenereerde menselijke instantie wordt vergeleken met deze referentie in de embedding-ruimte.
  3. Instanties die statistisch afwijken van de echte verdeling worden verwijderd (gemaskerd) uit de dataset en de annotaties.

3. Belangrijkste Bijdragen

1. Unificatie van Globale en Lokale Alignering: CFHA is het eerste framework dat zowel de globale stijl als de lokale content-kloof systematisch aanpakt in een few-shot setting, specifiek voor UAV-detectie.
2. Few-shot Diffusie-gebaseerde Vertaling: Het ontwikkelt een adaptatiemethode die slechts een handvol echte referentiebeelden nodig heeft, wat cruciaal is voor scenario's waar data schaars is.
3. State-of-the-Art Prestaties: Het framework overtreft bestaande Sim2Real-baselines aanzienlijk door een balans te vinden tussen realisme en het behoud van detecteerbare objectkenmerken.

4. Experimentele Resultaten

De methode is getest op vier publieke UAV-benchmarks: Okutama-Action, Semantic Drone, VisDrone2018 en Manipal-UAV.

• Prestatieverbetering: CFHA behaalde gemiddeld +7.3% verbetering op mAP@50 en +4.1% op mAP@95 ten opzichte van niet-getransformeerde baselines.
• Specifieke resultaten:
  • Op de Semantic Drone dataset steeg de mAP@50 van 18.6 naar 32.7 (+14.1 punten).
  • Op Okutama steeg de mAP@50 van 64.6 naar 68.2.
• Ablatie-studie:
  • Alleen GST (stijltransformatie) verslechterde de prestaties omdat het kleine objecten beschadigde.
  • De combinatie van alle drie de fasen (GST + LR + HR) was noodzakelijk voor optimale resultaten.
  • Interessant: Hoewel de lokale verfijning (LR) de globale beeldkwaliteit (gemeten via FID) lichtjes kon verslechteren door een verschil in stijl tussen voor- en achtergrond, leidde dit tot een enorme stijging in detectieprestaties. Dit bevestigt dat lokale realisme rond objecten belangrijker is dan globale visuele consistentie voor detectietaken.

5. Betekenis en Conclusie

Dit paper biedt een oplossing voor een van de grootste uitdagingen in UAV-vision: het trainen van robuuste detectoren met weinig echte data. Door de Sim2Real-kloof niet als één groot probleem te zien, maar te ontleden in globale stijl en lokale inhoud, en deze stapsgewijs aan te pakken met diffusiemodellen, kunnen synthetische data effectief worden gebruikt voor real-world toepassingen.

De belangrijkste inzichten zijn:

• Globale stijltransformatie alleen is onvoldoende en zelfs schadelijk voor kleine objecten.
• Lokale verfijning is essentieel om de detecteerbaarheid van kleine mensen te herstellen.
• Het filteren van hallucinaties is cruciaal om de dataset schoon te houden voor training.

Deze aanpak maakt het mogelijk om kostenefficiënt en nauwkeurig UAV-systemen te ontwikkelen voor zoek- en reddingsoperaties, rampenbestrijding en stedelijke bewaking, zonder de noodzaak van enorme datasets met handmatige annotaties.