Technische Samenvatting: 3D FaceShell

Probleemdefinitie

De snelle uitrol van fotorealistische 3D-gezichtsavatars voor toepassingen zoals telepresence en animatie heeft een nieuw type privacykwetsbaarheid gecreëerd. In tegenstelling tot statische 2D-afbeeldingen zijn 3D-gezichtsmodellen persistente assets die gerenderd kunnen worden onder willekeurige gezichtspunten en lichtomstandigheden. Tegelijkertijd zijn Vision-Language Models (VLM's) geëvolueerd tot krachtige open-ended semantische redeneerders die in staat zijn om gevoelige attributen (bijv. leeftijd, etniciteit, geslacht, expressie) af te leiden uit gerenderde afbeeldingen zonder taakspecifieke fine-tuning.

Bestaande verdedigingsmechanismen zijn fundamenteel niet afgestemd op dit dreigingslandschap. De meeste methoden voor gezichtsanonimisering en adversariële cloaking opereren in de 2D-beeldruimte en beschermen slechts een specifieke rendering; een verandering van gezichtspunt omzeilt deze verdedigingen onmiddellijk. Bovendien richtten eerdere 3D-adversariële aanvallen zich primair op identiteitsdetectoren of objectdetectoren, en falen ze in het adresseren van de specifieke uitdaging van identiteitsbehoudende semantische manipulatie binnen de embedding spaces van VLM's. Het kernprobleem is het manipuleren van de hoogwaardige semantische interpretatie van een 3D-gezichtsavatar door een VLM, terwijl de onderliggende geometrische getrouwheid, de gezichtsidentiteit en het fotorealistische uiterlijk over alle mogelijke gezichtspunten strikt behouden blijven.

Methodologie: 3D FaceShell

De auteurs stellen 3D FaceShell voor, een framework dat direct opereert in de parameterrruimte van 3D Gaussian Splatting (3DGS)-representaties. De methode introduceert een leerbare, additieve "Gaussian shell" aan het originele 3D-gezichtsmodel om gerichte semantische mismatch in VLM's te induceren zonder de basisgeometrie te vervormen.

Kerncomponenten

1. Multi-Attributed Target Image Generation:
   Om de semantische verschuiving te sturen, synthetiseert het systeem een doelafbeelding ($I_{tar}$) die de gewenste (tegenovergestelde) attributen bezit terwijl de bronpose behouden blijft. Dit wordt bereikt door de structurele pose uit het brongezicht te extraheren met OpenPose en een text-to-image diffusiemodel (Stable Diffusion) te conditioneren met een multi-attribuut prompt. Deze gesynthetiseerde afbeelding dient als semantisch anker in de embedding space, waarbij puur tekstgestuurde uitlijning wordt vervangen door beeldgebaseerde embedding supervisie.

2. Gaussian Shell Initialisatie:
   Het framework initialiseert een secundaire set van $N_{shell}$ hulp-Gaussians nabij het oppervlak van het vooraf geoptimaliseerde baseline 3DGS-gezicht ($G_s$). Cruciaal is dat de baseline Gaussians gedurende de optimalisatie bevroren blijven om ervoor te zorgen dat de onderliggende geometrie en identiteit nooit worden vervormd. De shell Gaussians worden geïnitialiseerd met ruimtelijke gemiddelden dicht bij het baseline oppervlak, en hun covariantie en rotatie zijn bevroren. Optimalisatie is beperkt tot de uiterlijke attributen (kleur en opaciteit) van de shell, waardoor de perturbaties puur additief en gelokaliseerd zijn.

3. Multi-View Adversarial Training:
   De shell-parameters worden geoptimaliseerd om de feature embeddings van gerenderde views van het geperturbeerde 3D-model ($x_\delta$) uit te lijnen met de embeddings van de doelafbeelding ($I_{tar}$).

   • Multi-View Consistentie: Het model rendert $K$ verschillende views onder een vooraf gedefinieerde cameraset $\Pi$ tijdens de training om cross-view consistentie af te dwingen.
   • Multi-Encoder Supervisie: Om robuustheid tegen black-box VLM's te garanderen, maakt de training gebruik van features van meerdere visuele encoders (SigLIP en CLIP).
   • Augmentatie: Stochastische augmentaties (kwantiseringsruis, willekeurige crops, kleurjittering) worden toegepast om overfitting op specifieke gezichtspunten te voorkomen.

4. Gezichtsbewuste Regularisatie:
   Om identiteit en fotorealisme te behouden, minimaliseert de optimalisatie een totale verliesfunctie bestaande uit:

   • Feature Alignment Loss ($\mathcal{L}_{feature}$): Minimaliseert de afstand tussen de geperturbeerde view embeddings en de doel-embeddings in de VLM-ruimte.
   • Landmark Consistency ($\mathcal{L}_{landmarks}$): Bestraft pixel-niveau afwijkingen in identiteit-kritieke regio's (ogen, neus, lippen) om identiteitsdrift te voorkomen.
   • Chroma-Constrained Texture Regularization ($\mathcal{L}_{chroma}$): Brengt textuurperturbaties naar de YUV-ruimte en bestraft luminantie ($Y$) afwijkingen zwaar om hoogfrequente artefacten en onnatuurlijke helderheidsveranderingen te onderdrukken.
   • Dynamic Opacity Clamping: Een progressief schema vermindert geleidelijk de maximaal toegestane opaciteit van de shell Gaussians, waardoor de perturbatie richting transparantie wordt geduwd om visuele intrusie te minimaliseren.

Belangrijkste Bijdragen

Het artikel formaliseert en adresseert de uitdaging van het verdedigen van 3D-gezichtsavatars tegen VLM-gebaseerde attribuutinferentie via drie primaire bijdragen:

1. Probleemformalisering: De auteurs definiëren de uitdaging van het manipuleren van de VLM-perceptie van semantische gezichtsattributen onder strikte eisen van identiteits- en geometriebehoud, wat verschilt van eerdere 3D-aanvallen op detectoren of algemene VLM-aanvallen die de visuele kwaliteit verslechteren.
2. 3D FaceShell Framework: Een nieuwe additieve Gaussian shell-benadering die ruimtelijk verdeelde, minimaal waarneembare perturbaties injecteert in 3DGS-representaties. Door in de parameterrruimte te optimaliseren met multi-view embedding alignment, bereikt het view-consistente semantische sturing terwijl de baseline geometrie onaangetast blijft.
3. Empirische Validatie: De demonstratie dat semantische manipulatie en perceptuele getrouwheid niet wederzijds uitsluitend zijn in 3D. De methode bereikt sterke cross-view robuustheid en superieure identiteitsbehoud vergeleken met state-of-the-art 2D semantische aanval baselines.

Experimentele Resultaten

De methode werd geëvalueerd op een benchmark van 100 celebrity gezichtsavatars (afgeleid van IMDB-WIKI) geconverteerd naar 3DGS, getest tegen vier black-box VLM's (VideoLLaMA3, LLaVA-NeXT, LLaVA-OV, BLIP-2) en een commercieel model (Gemini-2.5-Flash).

• Semantische Prestaties: 3D FaceShell behaalt competitieve Injection Rates (IR) en Mismatch Rates (MR). Zo behaalde het op VideoLLaMA3 een IR van 48,7% en een MR van 66,4%, vergelijkbaar met agressieve 2D baselines zoals M-Attack (47,4% IR, 69,6% MR).
• Perceptuele en Identiteitsbehoud: Het primaire voordeel ligt in het behoud. Vergeleken met de sterkste 2D baseline (V-Attack), verbeterde 3D FaceShell de LPIPS (perceptuele afstand) met +71,5% en de Identity Similarity met +88,9%. Op het commerciële Gemini-model behield het een LPIPS van 0,1499 (vs. 0,4039 voor V-Attack) terwijl het een identiteitsgelijkenis van 0,7629 behield.
• Cross-View Generalisatie: Multi-view training bleek cruciaal voor de effectiviteit. Een model dat alleen op een frontaal gezichtspunt is getraind, leed aan een sterke prestatiedaling op ongeziene validatie-views, terwijl de multi-view benadering een robuuste generalisatie behield (bijv. +55,6% hogere relatieve IR op ongeziene views voor VideoLLaMA3).
• Ablatie-studies: Het verwijderen van data-augmentaties veroorzaakte drastische dalingen in de succesratio van de aanval. Het verwijderen van chroma of landmark restricties degradeerde de perceptuele kwaliteit en identiteitsgelijkenis aanzienlijk, wat de noodzaak van de regularisatiemechanismen bevestigt. Multi-encoder supervisie bleek ook essentieel voor generalisatie over verschillende VLM-architecturen.

Betekenis en Claims

Het artikel claimt dat 3D FaceShell een belangrijke stap voorwaarts is in 3D privacyverdediging door te bewijzen dat semantische sturing en visuele getrouwheid niet wederzijds uitsluitend hoeven te zijn. In tegenstelling tot eerdere methoden die de bruikbaarheid van de 3D-asset opofferen (door vorm of textuur te vervormen) om een model te misleiden, slaagt 3D FaceShell erin de semantische interpretatie van de VLM te manipuleren terwijl het menselijk herkenbare uiterlijk en de geometrische structuur intact blijven.

De auteurs positioneren dit werk als een noodzakelijke evolutie van 2D-verdedigingen, die gemakkelijk worden omzeild door van gezichtspunt te veranderen, naar een 3D-native oplossing die de asset zelf beschermt. Zij concluderen dat hoewel het huidige framework statische avatars verdedigt, de methodologie de basis legt voor toekomstige uitbreidingen naar 4D Gaussian Splatting om dynamische, animeerbare avatars te beschermen tegen continue semantische inferentie in videoformaten.