Technische Samenvatting: ReGenHuman

Probleemstelling

Het anonimiseren van mensgerichte videodata is een cruciale maar onderbelichte uitdaging. Bestaande privacyregels (bijv. HIPAA, GDPR) en de kwetsbaarheid van getrainde modellen voor privacyinbreuken (bijv. membership inference) maken robuuste anonimisering noodzakelijk. Huidige technieken kampen echter met een fundamentele afruil:

• Redactie/Vervaging: Traditionele methoden (vervagen, pixelatie, zwart maken) behouden de temporele consistentie maar vernietigen de semantische bruikbaarheid, waardoor de data onbruikbaar wordt voor downstream-taken zoals actieherkenning of video question answering (VQA).
• Generatieve Bewerking: Veel eerdere generatieve benaderingen bewerken pixels frame voor frame of conditioneren op originele afbeeldingen. Dit leidt tot temporele incoherentie (flikkerende identiteiten), anatomisch onrealistische outputs of onvoldoende privacygaranties omdat originele identiteitskenmerken (kleding, loopje, achtergrond) vaak blijven bestaan of doorsijpelen.

Het kernprobleem is het gebrek aan een pipeline die tegelijkertijd Privacy (onherkenbaar), Kwaliteit (temporeel consistent en fotorealistisch) en Bruikbaarheid (behoud van semantische inhoud voor downstream AI) realiseert.

Methodologie: ReGenHuman

De auteurs stellen ReGenHuman voor, een "regenerate, don't edit"-paradigma. In plaats van de originele pixels te modificeren, synthetiseert het systeem menselijke regio's volledig vanaf nul met behulp van identiteitsvrije structurele aanwijzingen. De pipeline bestaat uit drie stadia:

1. Extractie van Conditioneringssignalen

Vanuit een invoervideo extraheert het systeem vier anonieme componenten:

• Menselijke Instantie Maskers ($M$): Gegenereerd door SAM3, die de exacte ruimtelijke regio van de persoon definiëren.
• 2D Pose Skeletons ($P$): Gegenereerd door DWPose, die de beweging en houding van het onderwerp vastleggen.
• Monoculaire Diepte ($D$): Gegenereerd door Video Depth Anything, die 3D-scènegeometrie en context biedt zonder texturen of tekst te onthullen.
• Tekstbeschrijving ($y$): Een gedetailleerde beschrijving van de scène gegenereerd door een visie-taalmodel.

2. Constructie van Structurele Conditionering

De geëxtraheerde signalen worden samengesteld tot twee afzonderlijke conditioneringsvideo's om de generatie te sturen:

• StructHuman: Combineert het pose-skelet met de originele achtergrond en objecten (niet-menselijke pixels). Dit behoudt een rijke scènecontext terwijl de mens wordt geanonimiseerd.
• StructAll: Vervangt de achtergrond door de dieptekaart. Dit levert een volledig geanonimiseerd frame op waarbij geen originele pixels meer aanwezig zijn, waarbij enkel geometrie en pose behouden blijven.
• Privacygarantie: In beide gevallen wordt de menselijke regio grijs gemaakt voordat de pose wordt toegevoegd. Cruciaal is dat de conditionering $c_t$ alleen afhankelijk is van de pose $P_t$ binnen het menselijke masker, en niet van de originele videopixels $x_t$. Dit biedt een architecturale privacygarantie: originele menselijke verschijning kan niet naar de output stromen.

3. Video-to-Video Diffusion Fine-Tuning

Het systeem maakt gebruik van VACE (Video Anytime Controllable Editing), een uitbreiding van het Wan video-diffusiemodel.

• Architectuur: Het model gebruikt een Video Condition Unit (VCU) om structurele signalen (diepte, pose, masker) samen met tekstprompts te injecteren.
• Trainingsstrategie: De pre-getrainde DiT-backbone en Context Blocks zijn bevroren. Alleen LoRA (Low-Rank Adaptation) adapters worden gefinetuned op de HOIGen-1M dataset (een corpus van 1 miljoen+ mens-object interactie video's).
• Inferentie: Het model genereert de geanonimiseerde video door een latente representatie te denoisen, geconditioneerd op de structurele overlays en de tekstbeschrijving, wat zorgt voor temporele coherentie en anatomische realisme zonder ooit de originele menselijke pixels te "zien".

Belangrijkste Bijdragen

1. Eerste Realistische, Temporeel Consistente Pipeline: ReGenHuman is de eerste methode die volledige lichaams-video-anonimiseringen genereert die zowel fotorealistisch als temporeel stabiel zijn, waarbij de flikkering en anatomische fouten van eerdere generatieve methoden worden vermeden.
2. "Regenerate, Don't Edit"-Paradigma: Het paper introduceert een nieuwe aanpak waarbij de menselijke regio wordt gesynthetiseerd vanuit identiteitsvrije structurele inputs. Dit verschuift de privacygarantie van statistische obscuratie naar architecturaal ontwerp, waardoor wordt gegarandeerd dat originele pixels de output niet kunnen bereiken.
3. Verenigde Drie-Assen Evaluatie: De auteurs stellen een uitgebreid evaluatieprotocol vast dat Privacy (identiteit/tekstgelijkenis, kleding-veranderende re-ID), Kwaliteit (VBench-metrieken, realisme, anatomie) en Bruikbaarheid (zero-shot Video Question Answering) meet.

Experimentele Resultaten

Geëvalueerd op de HOIGen-1M dataset en klinische beelden (MedVideoCap-55K), presteert ReGenHuman beter dan huidige baselines (inclusief DeepPrivacy2, FADM en klassieke redactiemethoden) op alle drie de assen:

• Privacy: ReGenHuman brengt lichaams-re-identificatie (gebruikmakend van CSCI-V op CCVID) terug naar bijna toevalsniveau (mAP ~2,5%), wat zelfs "blackout"-methoden aanzienlijk overtreft. Het is de enige methode die effectief zowel tekst als achtergrondkenmerken tegelijkertijd anonimiseert.
• Kwaliteit: De methode behaalt state-of-the-art scores in Subject Consistency, Human Anatomy en Realisme. In tegen tegenstelling tot frame-voor-frame generatoren, behoudt het temporele gladheid en geometrische consistentie.
• Bruikbaarheid: In zero-shot Video Question Answering (VQA) taken behoudt ReGenHuman een hoge nauwkeurigheid (slechts ~4-5% degradatie vergeleken met de originele video), terwijl klassieke redactiemethoden enorme dalingen lijden (>12%). Opvallend is dat het model generaliseert naar klinische settings zonder hertraining, wat robuustheid in scenario's met hoge inzet demonstreert.

Betekenis en Claims

Het paper claimt dat ReGenHuman een nieuwe standaard zet voor video-anonimisering door de langdurige afruil tussen privacy en bruikbaarheid op te lossen. Door mensen te regenereren vanuit structurele kenmerken, maakt de methode de grootschalige vrijgave van gevoelige mensgerichte data (bijv. in ziekenhuizen, klaslokalen en surveillance) mogelijk die voorheen onbruikbaar was vanwege privacyzorgen.

De auteurs benadrukken dat hun architecturale privacygarantie het anonimiseringsproces controleerbaar maakt; privacyprofessionals kunnen verifiëren dat de conditioneringsinputs geen private informatie bevatten, wat garandeert dat de output vrij is van identiteitslekken. Hoewel de auteurs beperkingen erkennen met betrekking tot de generatiesnelheid (niet real-time) en potentiële pose-gebaseerde re-identificatierisico's, stellen zij dat dit werk een fundamentele baseline biedt voor toekomstig onderzoek naar diffusie-gebaseerde video-anonimisering en ethische gegevensdeling.