Leveraging Prior Knowledge of Diffusion Model for Person Search

Technische Samenvatting: DiffPS (Diffusion Prior Knowledge for Person Search)

Probleemstelling
Person search omvat de gezamenlijke taken van het detecteren van voetgangers in ongecropte scènes en het heridentificeren (re-ID) van hen tegenover een query. Bestaande state-of-the-art methoden vertrouwen voornamelijk op op ImageNet voorgetrainde backbones (bijv. ResNet50, ConvNeXt) en delen een enkele backbone feature stream voor zowel detectie als re-ID. Deze aanpak vertoont twee kritieke beperkingen:

1. Suboptimale Feature-representatie: ImageNet backbones zijn getraind voor categorische herkenning op afbeeldingen met één dominant object en eenvoudige achtergronden. Bijgevolg hebben ze moeite met het vastleggen van de precieze lokalisatiekenmerken en instance-level discriminerende features die vereist zijn voor person search in complexe, rommelige scènes met overlappende individuen.
2. Optimalisatieconflict: Het delen van een backbone voor twee fundamenteel verschillende doelstellingen—detectie (het onderscheiden van mensen van de achtergrond) en re-ID (het onderscheiden van specifieke identiteiten)—creëert conflicterende gradiënt-updates. Dit dwingt de gedeelde parameters om tegenstrijdige representaties te leren, wat convergentie belemmert en de prestaties voor beide sub-taken verslechtert.

Methodologie
De auteurs stellen DiffPS voor, een framework dat de prior knowledge van een voorgetraind diffusiemodel (specifiek Stable Diffusion v2-1) benut om deze problemen op te lossen. In plaats van de backbone te fine-tunen, bevriest DiffPS het voorgetrainde diffusiemodel en extraheert het taakspecifieke features, waardoor het optimalisatieconflict wordt geëlimineerd. Het framework is gebouwd op een analyse van vier sleutelkenmerken van diffusie-priors: tekst-conditionering, timestep-gevoeligheid, hiërarchische structuur en vorm-bias (shape bias).

Op basis van deze analyse integreert DiffPS drie gespecialiseerde modules:

1. Diffusion-Guided Region Proposal Network (DGRPN):

   • Doel: Verbetering van de persoon-lokalisatie.
   • Mechanisme: Maakt gebruik van de sterke uitlijning tussen diffusie-features en tekst-embeddings. Het extraheert cross-attention maps geassocieerd met de "person" token uit de up-stage van de UNet. Deze maps worden gedrempelde om regio's met een hoge betrouwbaarheid te identificeren, omgezet in Gaussische distributies en gebruikt om de detectie-specifieke feature map te moduleren. Dit stuurt de Region Proposal Network (RPN) aan om zich te concentreren op relevante persoon-regio's terwijl achtergrondruis wordt onderdrukt.

2. Multi-Scale Frequency Refinement Network (MSFRN):

   • Doel: Het mitigeren van de "vorm-bias" die inherent is aan diffusiemodellen, waarbij componenten met lage frequentie (globale structuur) vaak domineren over fijnmazige texturen.
   • Mechanisme: Extraheert multi-scale feature maps uit de up-stage van de UNet. Het maakt gebruik van een hiërarchische frequentie-decompositiestrategie met behulp van Discrete Wavelet Transform (DWT) om features te scheiden in lage-frequentie en hoge-frequentie sub-bands. Een Sub-band Refinement Block (SRB) versterkt specifiek de hoogfrequente componenten (cruciaal voor identiteitsdiscriminatie) voordat de features worden gereconstrueerd via Inverse DWT. Dit zorgt voor het behoud van fijnmazige details die noodzakelijk zijn voor re-ID.

3. Semantic-Adaptive Feature Aggregation Network (SFAN):

   • Doel: Het benutten van de semantische uitlijning tussen diffusie-features en tekst om robuuste persoon-representaties te creëren.
   • Mechanisme: Berekent de cosinus-gelijkenis tussen de verfijnde feature map en vooraf gedefinieerde tekst-embeddings (bijv. "head," "shirts," "pants," "shoes") afgeleid van de CLIP text encoder. Deze gelijkenissen generen ruimtelijke semantische maps die relevante lichaamsdelen accentueren. Het netwerk aggregeert deze part-based features met behulp van leerbare gewichten, waardoor achtergrondruis en occlusies effectief worden onderdrukt terwijl informatieve lichaamsregio's worden benadrukt.

Belangrijkste Bijdragen

• Nieuw Framework: Het artikel introduceert DiffPS, het eerste werk dat de prior knowledge van voorgetrainde diffusiemodellen specif으로 voor de person search taak benut.
• Oplossing voor Optimalisatieconflict: Door de diffusie-backbone te bevriezen en taakspecifieke branches te gebruiken, ontkoppelt DiffPS volledig de optimalisatie van detectie en re-ID, waardoor de gradiënt-interferentie die bestaande shared-backbone methoden teistert, wordt voorkomen.
• Gespecialiseerde Modules: De voorstel van DGRPN, MSFRN en SFAN past diffusie-priors effectief aan de specifieke eisen van lokalisatie en fijnmazige identiteitsherkenning aan.
• State-of-the-Art Prestaties: Het framework bereikt nieuwe state-of-the-art resultaten op standaard benchmarks zonder dat de backbone voor de specifieke taak gefine-tuned hoeft te worden.

Experimentele Resultaten
De auteurs hebben DiffPS geëvalueerd op de CUHK-SYSU en PRW datasets.

• CUHK-SYSU: DiffPS bereikte 97.8% mAP en 98.4% Top-1 nauwkeurigheid, waarmee het vorige methoden (bijv. SeqNeXt+GFN, SEAS) met aanzienlijke marges overtreft.
• PRW: Het model bereikte 62.0% mAP en 91.0% Top-1 nauwkeurigheid, waarmee het de op één na beste methode met 1.5% mAP overtrof.
• Ablatie-studies:
  • Conflictresolutie: In tegen tegenover gestelde geval van ontkoppelde methoden zoals DMRNet, die nog steeds last hebben van prestatievermindering wanneer taken gezamenlijk worden geoptimaliseerd, behield DiffPS een identieke prestatie of de taken gezamenlijk of afzonderlijk werden geoptimaliseerd, wat de eliminatie van gradiënt-conflict bevestigt.
  • Effectiviteit van Modules: Het verwijderen van MSFRN of SFAN leidde tot meetbare dalingen in mAP en Top-1, wat de noodzaak van frequentie-verfijning en semantische aggregatie valideert.
  • Timestep-analyse: De studie bevestigde dat features geëxtraheerd bij eerdere timesteps (of t=0) de fijnmazige details en semantische structuur behouden die het meest gunstig zijn voor person search, in tegen tegenovergestelde geval van latere timesteps waar ruis domineert.

Betekenis
Het artikel beweert dat DiffPS het potentieel van voorgetrainde diffusiemodellen als krachtige, algemene backbones voor visuele taken buiten beeldgeneratie aantoont. Door de rijke ruimtelijke context en fijnmazige details die in diffusie-priors besloten liggen volledig uit te buiten, adresseert het framework de beperkingen van traditionele ImageNet backbones. Bovendien vestigt het een nieuw paradigma voor multi-task learning waarbij taakspecifieke features kunnen worden geëxtraheerd uit een bevroren, voorgetraind model, wat de inherente optimalisatieconflicten in shared-backbone architecturen volledig oplost. Deze aanpak zet een nieuwe standaard voor person search prestaties terwijl het een efficiëntere trainingsstrategie biedt die geen uitgebreide backbone fine-tuning vereist.