An Empirical Study of Validating Synthetic Data for Text-Based Person Retrieval

Probleemstelling

Text-Based Person Retrieval (TBPR) is een taak waarbij een specifiek persoon wordt geïdentificeerd uit een galerij van afbeeldingen op basis van een tekstuele beschrijving. De huidige onderzoeksparadigma's zijn afhankelijk van grote verzamelingen van echte menselijke afbeeldingen met handmatige tekstuele annotaties. Dit brengt twee fundamentele uitdagingen met zich mee:

1. Privacyzorgen: Het verzamelen en opslaan van surveillancebeelden van mensen roept ernstige privacykwesties op.
2. Annotatie-last: Het handmatig labelen van duizenden afbeeldingen met gedetailleerde tekst is uiterst arbeidsintensief en kostbaar.

Bestaande pogingen om synthetische data te gebruiken, vertrouwen vaak nog steeds op echte data als basis (bijvoorbeeld om modellen te fine-tunen of als referentie voor generatie), waardoor ze de beperkingen van privacy en data-afhankelijkheid niet volledig oplossen. Er ontbreekt een systematisch onderzoek naar de haalbaarheid van puur synthetische data (zonder enige toegang tot echte data) en de effectiviteitsgrenzen van synthetische data in verschillende scenario's.

Methodologie

De auteurs stellen een unificerend data-synthesepijplijn voor die volledig kan opereren zonder echte persoonsdata. Het framework bestaat uit vier hoofdstappen:

1. Inter-klassige afbeeldingsgeneratie (Inter-class Image Generation):

   • Doel: Het genereren van diverse afbeeldingen met verschillende identiteiten.
   • Prompt Constructie: In plaats van handmatige annotaties te gebruiken, wordt een automatische strategie ontwikkeld. Er worden vijf sjablonen gebruikt: één "plain" sjabloon (gedetailleerde beschrijving van hoofd tot teen) en vier "rough" sjablonen (gericht op uiterlijk, beroep, locatie en staat). Deze worden aangevuld met Large Language Models (LLM's) zoals Qwen2 om de prompts te uit te breiden en meer diversiteit te creëren.
   • Generatie: Stable Diffusion (SD) wordt gebruikt om afbeeldingen te genereren op basis van deze prompts.
     • Scenario 1 (Geen data): SD wordt gebruikt met offline prompts.
     • Scenario 2 (Beperkte data): SD wordt few-shot gefine-tuned op een klein aantal echte paren (bijv. 8) met behoud van de oorspronkelijke taalvaardigheid via een specifieke loss-functie (reconstructie + prior preservation).
     • Scenario 3 (Veel data): SD wordt gefine-tuned op een groot dataset.

2. Intra-klassige afbeeldingsaugmentatie (Intra-class Image Augmentation):

   • Doel: Het creëren van variaties binnen dezelfde identiteit om de diversiteit te vergroten.
   • Techniek: Er wordt gebruikgemaakt van text-driven image editing via cross-attention manipulatie in het diffusion-model.
   • Editie-dimensies:
     • Lokaal: Veranderen van specifieke elementen (bijv. achtergrond van straat naar vliegveld).
     • Globaal: Veranderen van de stijl (bijv. naar olieverfschilderij).
     • Niet-rigide: Veranderen van houding (bijv. van staan naar rennen).

3. Tekstgeneratie:

   • Multimodale Large Language Models (MLLM's) zoals InternVL en MiniCPM worden gebruikt om tekstuele beschrijvingen te genereren voor de synthetische afbeeldingen.
   • Om homogeniteit te voorkomen, wordt gebruikgemaakt van variabele instructies (een pool van 121 templates) in plaats van één vaste instructie.

4. Data Denoising:

   • Aangezien synthetische data ruis bevat (bijv. ontbrekende ledematen of dubbele hoofden), worden YOLOv8 en tekstfilters gebruikt om onvolledige of irrelevante data te verwijderen voordat het de basislijn-modellen bereikt.

Belangrijkste Bijdragen

1. Eerste Unificerende Pijplijn voor TBPR: De auteurs presenteren de eerste data-synthesepijplijn die TBPR-modellen kan trainen in scenario's waarbij geen enkele echte persoonsdata beschikbaar is.
2. Systematisch Empirisch Onderzoek: Het artikel biedt het eerste uitgebreide onderzoek naar de effectiviteit van synthetische data over het volledige spectrum van data-beschikbaarheid:
   • S1: Geen echte data (Privacy-beperkt).
   • S2: Beperkte data (Minimal-resource, bijv. 8 paren).
   • S3: Overvloedige data (Academische standaard).
3. Openbaarmaking: De code en de gegenereerde grote datasets (SynTBPR-S1, S2, S3) zijn open-source beschikbaar gesteld.

Resultaten

De experimenten zijn uitgevoerd op drie standaard datasets: CUHK-PEDES, ICFG-PEDES en RSTPReid, en vergeleken met state-of-the-art methoden (zoals IRRA, RaSa, AUL).

• Prestatie zonder Echte Data (S1): Het gebruik van puur synthetische data (1,5 miljoen afbeeldingen) resulteerde in een aanzienlijke prestatieverbetering ten opzichte van een model dat op geen data was getraind. Het synthetische model bereikte bijvoorbeeld een Rank-1 score van 54,30% op CUHK-PEDES (tegenover 22,27% voor de baseline zonder data).
• Prestatie met Beperkte Data (S2): In scenario's met slechts 8 echte paren faalde de baseline om te convergeren. Door synthetische data te genereren op basis van deze 8 paren en deze te combineren, kon het model succesvol worden getraind en presteerde het sterk.
• Complementair Effect (S3): Zelfs bij overvloedige echte data verbeterde het toevoegen van synthetische data de prestaties verder, hoewel de meerwaarde kleiner was dan in data-scarce scenario's.
• Vergelijking met SOTA: De methode, zelfs wanneer getraind met synthetische data, concurreerde met of versloeg bestaande methoden die volledig afhankelijk waren van grote hoeveelheden echte data.
• Cross-Domein en Zeldzame Omgevingen: De pijplijn bleek effectief voor cross-domein retrieval (trainen op bron, testen op doel) en voor het simuleren van zeldzame omgevingen (bijv. sneeuw), waar echte data schaars is.

Betekenis en Impact

Dit onderzoek is van cruciaal belang voor de toekomst van TBPR en computer vision in het algemeen:

• Privacy en Ethiek: Het biedt een oplossing voor de privacyproblematiek door modellen te kunnen trainen zonder ooit echte menselijke beelden te hoeven zien of op te slaan.
• Democratisering: Het maakt TBPR-toepassingen mogelijk in situaties waar data verzamelen onmogelijk of te duur is (bijv. zeldzame weersomstandigheden, specifieke beroepen, of nieuwe locaties).
• Paradigmaverschuiving: Het bewijst dat generatieve AI niet alleen een hulpmiddel is om bestaande data te verrijken, maar een volledig alternatief kan zijn voor data-aanlevering.
• Richtinggevend: Het onderzoek identificeert de grenzen van synthetische data (bijv. domeinverschillen en rekenkosten) en biedt strategieën (zoals ruisbestendige leerstrategieën) om deze te mitigeren.

Samenvattend toont dit werk aan dat synthetische data, gegenereerd via een zorgvuldig ontworpen pijplijn, een praktische en krachtige vervanging of aanvulling kan zijn voor echte data in Text-Based Person Retrieval, waardoor de afhankelijkheid van handmatige annotaties en privacy-inbreukende datasets wordt verminderd.