Pose-dIVE: Pose-Diversified Augmentation with Diffusion Model for Person Re-Identification

Probleemstelling

Person Re-Identification (Re-ID) is een cruciale technologie voor surveillance-systemen om individuen over meerdere camera's heen te herkennen. Een van de grootste uitdagingen voor het generaliseren van Re-ID-modellen naar real-world scenario's is de variatie in menselijke houdingen (poses) en camera-zichtpunten (viewpoints).

Bestaande datasets (zoals Market-1501 en MSMT17) lijden onder een gebrek aan diversiteit:

1. Beperkte Houdingen: Ze bevatten voornamelijk standaard loop- of staande houdingen, wat leidt tot overfitting op deze specifieke poses.
2. Beperkte Viewpoints: De camera's staan vaak op vaste hoeken (meestal horizontaal), met weinig variatie in elevatie of azimut.
3. Bias: Dit resulteert in modellen die slecht presteren wanneer ze geconfronteerd worden met nieuwe houdingen of camerahoeken die niet in de trainingsdata voorkomen.

Het verzamelen van nieuwe, diverse datasets is duur en roept privacyproblemen op. Bestaande augmentatiemethoden (zoals GANs) gebruiken vaak alleen poses binnen de bestaande dataset of beperken zich tot horizontale rotaties, waardoor ze de onderliggende bias niet effectief oplossen.

Methodologie: Pose-dIVE

De auteurs stellen Pose-dIVE voor, een nieuwe data-augmentatiestrategie die gebruikmaakt van diffusiemodellen om trainingsdata te genereren met een veel bredere variatie aan poses en viewpoints dan oorspronkelijk beschikbaar was.

Het proces verloopt in drie hoofdstappen:

1. SMPL-gebaseerde Conditionering:

   • In plaats van alleen 2D-skeletten te gebruiken (die diepteinformatie missen), gebruikt het framework het SMPL-model (Skinned Multi-Person Linear model) om 3D-meshes van mensen te genereren.
   • Uit deze 3D-meshes worden 2D-representaties gerenderd, waaronder:
     • Dieptekaarten (Depth maps): Bevatten impliciete viewpoint-informatie.
     • Oppervlaktenormaal-kaarten (Surface normals): Vangen gedetailleerde vormkarakteristieken.
     • Skeletten: Voor de houding.
   • Deze kaarten dienen als conditionele input voor het generatieve model.

2. Diversificatie van Poses en Viewpoints:

   • Viewpoints: De camera-hoeken (elevatie en azimut) worden willekeurig bemonsterd uit een uniforme verdeling, waardoor nieuwe hoeken worden gegenereerd die niet in de originele dataset zaten.
   • Poses: In plaats van alleen poses uit de Re-ID-dataset te gebruiken, worden poses gehaald uit externe bronnen (bijv. dansvideo's zoals Everybody Dance Now). Dit introduceert dynamische en zeldzame houdingen in de trainingsdata.

3. Generatief Model (Diffusion):

   • Het framework maakt gebruik van een fine-tuned Stable Diffusion model.
   • Architectuur: Het gebruikt een twee-branch U-Net structuur (geïnspireerd op Animate Anyone):
     • Een Reference U-Net verwerkt de originele afbeelding om de identiteit (kleding, gezicht, accessoires) te behouden.
     • Een Denoising U-Net genereert de nieuwe afbeelding, geleid door de SMPL-afgeleide condities (pose en viewpoint).
   • Via een attention-mechanisme wordt de identiteit van de referentie-afbeelding gedeeld met de genererende tak, terwijl de pose en viewpoint onafhankelijk worden gecontroleerd.

Kernbijdragen

• Integratie van Externe Poses: Pose-dIVE is de eerste methode die systematisch externe, dynamische poses (buiten de Re-ID-domein) integreert in de augmentatie, in plaats van te vertrouwen op de beperkte poses binnen de dataset.
• Gecombineerde Viewpoint-Augmentatie: Het model varieert zowel de elevatie als de azimut, wat resulteert in een veel realistischere en bredere verdeling van camera-hoeken.
• Identiteitsbehoud met Diffusie: Door gebruik te maken van pre-trained Stable Diffusion in combinatie met een referentie-branch, slaagt het erin om hoge kwaliteit afbeeldingen te genereren die de identiteit van de persoon behouden, zelfs bij extreme pose-veranderingen.
• Onafhankelijkheid van het Re-ID-model: De gegenereerde dataset kan worden gebruikt om elk bestaand Re-ID-model te trainen, zonder de architectuur van het Re-ID-model zelf te hoeven aanpassen.

Resultaten

De auteurs hebben hun methode getest op standaard benchmarks (Market-1501, MSMT17, CUHK03) en op aangepaste, uitdagende testsets.

• Prestatieverbetering: Het trainen van state-of-the-art modellen (zoals CLIP-ReID en SOLIDER) met de Pose-dIVE dataset leidt tot significante verbeteringen.
  • Op een gecureerde real-world testset werd een verbetering van +13.6 mAP en +11.0 Rank-1 behaald ten opzichte van modellen getraind op de originele dataset.
  • Op standaard benchmarks werden consistente verbeteringen gezien (bijv. +1.7 mAP op Market-1501 voor CLIP-ReID).
• Generalisatie:
  • Extreme splits: Op datasets waar trainings- en testsets geen overlap hebben in viewpoint of pose (MSMT17-S), presteerde Pose-dIVE aanzienlijk beter dan baselines, wat aantoont dat het model leert om pose- en viewpoint-varianties te negeren.
  • Niet-pedestriane data: Op een dataset met ongewoon menselijk gedrag (bijv. geweld of zelfverwonding), waar de poses sterk afwijken van normaal lopen, toonde Pose-dIVE de grootste verbetering, wat de robuustheid van de methode bewijst.
• Vergelijking met andere methoden:
  • Het presteerde beter dan het simpelweg vergroten van de dataset met meer bestaande real-world beelden (die vaak dezelfde bias hebben).
  • Het overtrof GAN-gebaseerde methoden in het behoud van identiteit en het genereren van scherpe, realistische beelden met complexe accessoires (zoals rugzakken).

Betekenis en Conclusie

Pose-dIVE adresseert een fundamenteel probleem in Person Re-ID: de beperkte diversiteit in trainingsdata. Door gebruik te maken van de kracht van pre-trained diffusiemodellen en 3D-mesh-gidsen (SMPL), slaagt het erin om de verdeling van poses en viewpoints in datasets te "herverdelingen" naar een meer uniforme en realistische verdeling.

De belangrijkste implicatie is dat Re-ID-modellen niet langer hoeven te vertrouwen op de beperkte data die beschikbaar is in surveillance-camerasetups, maar kunnen leren van synthetisch gegenereerde, diverse scenario's. Dit leidt tot modellen die veel robuuster zijn in de praktijk, waar camera's en menselijke bewegingen onvoorspelbaar zijn. De methode biedt een schaalbare oplossing voor het overwinnen van dataset-bias zonder de noodzaak van kostbare nieuwe datacollecties.