Technische Samenvatting: Hoofdgelijkheid

Probleemdefinitie

Conventionele gezichtsherkenningssystemen zijn ontworpen om identiteitsinvariante embeddings te leren, waarbij variaties binnen dezelfde identiteit, zoals kapsel, make-up of veroudering, bewust worden onderdrukt om alle samples van een persoon in één compact cluster te laten samenvallen. Hoewel deze aanpak effectief is voor biometrische verificatie, faalt deze in scenario's die verschijningsgevoelige consistentie vereisen, zoals video-generatie, reenactment en bewerking. In deze contexten is het doel niet alleen om de wettelijke identiteit te verifiëren, maar om te waarborgen dat een sequentie visueel dezelfde persoon afbeeldt, zelfs wanneer verschijningskenmerken veranderen.

Huidige modellen worstelen met gehele-hoofdgelijkheid omdat:

1. Ze verschillende verschijningsstaten van dezelfde identiteit laten samenvallen in één representatie, waardoor ze niet kunnen onderscheiden tussen een persoon met en zonder bril of met verschillende kapsels.
2. Ze last hebben van aanzienlijke prestatiedalingen bij de overstap van uitgelijnde gezichtscrops naar niet-uitgelijnde gehele-hoofdafbeeldingen (distributiewisseling).
3. Ze geen hiërarchische gelijkheidsordening kunnen afdwingen waarbij samples van dezelfde identiteit met verschillende verschijningsstaten (bijvoorbeeld verschillende kapsels) hoger worden gerangschikt dan samples van verschillende identiteiten, zelfs als laatstgenoemden vergelijkbare visuele kenmerken delen.

Het artikel introduceert Hoofdgelijkheid, een nieuwe formulering die identiteitsgerichte herkenning uitbreidt naar gestructureerde modellering van de verschijning van het gehele hoofd. Het streeft ernaar gestructureerde variaties in verschijning binnen dezelfde identiteit te behouden, terwijl identiteitsdiscriminatie en invariantie voor storende factoren (verlichting, achtergrond, lichte pose) worden gehandhaafd.

Methodologie

Het voorgestelde raamwerk adresseert het probleem via een Dual-CLS Vision Transformer-architectuur in combinatie met hiërarchische gelijkheidsopdracht en identiteitsbewuste distillatie.

1. Probleemformulering

De taak wordt gedefinieerd door drie paarrelaties in de embeddingruimte:

• $R_1$: Dezelfde identiteit, dezelfde verschijningsstaat (dichtst bij elkaar).
• $R_2$: Dezelfde identiteit, verschillende verschijningsstaten (intermediaire afstand).
• $R_3$: Verschillende identiteiten (verst van elkaar).

Het doel is het leren van een embeddingfunctie $f_\theta$ die de hiërarchische ordening afdwingt:
$$s_\theta(R_1) > s_\theta(R_2) > s_\theta(R_3)$$
waarbij $s_\theta$ de cosinusgelijkheid is. Dit zorgt ervoor dat identiteitsconsistentie de verschijningsgelijkheid domineert, maar dat verschijningsstaten binnen dezelfde identiteit nog steeds onderscheidbaar blijven.

2. Architectuur: Dual-CLS Vision Transformer

De ruggengraat is een Vision Transformer (ViT) vooraf getraind met AdaFace. In tegenstelling tot standaard gezichtsherkenningssystemen die één classificatietoken gebruiken, hanteert dit model twee leerbare CLS-tokens:

• $CLS_{id}$: Geoptimaliseerd voor identiteitsbehoud.
• $CLS_{head}$: Geoptimaliseerd voor verschijningsgevoelige hoofdgelijkheid.

Beide tokens delen dezelfde ruggengraatparameters, maar worden via aparte projectiekoppen ($g_{id}$ en $g_{head}$) geprojecteerd naar aparte embeddings ($z_{id}$ en $z_{head}$).

• $z_{id}$: Wordt bij inferentie gebruikt voor zowel identiteitsverificatie als gelijkheidsrangschikking. Het wordt getraind met zowel distillatie als hiërarchisch verlies.
• $z_{head}$: Een hulpembedding die alleen tijdens training wordt gebruikt om verschijningsgevoelige signalen te leveren; het wordt bij inferentie verworpen.

3. Trainingsstrategie

De trainingspijplijn omvat drie kerncomponenten:

1. Op distillatie gebaseerde identiteitsuitlijning: Om de distributie-kloof te overbruggen tussen uitgelijnde gezichtscrops (gebruikt bij vooraftraining) en gehele-hoofdingangen, wordt de $z_{id}$-tak uitgelijnd met een bevroren leraarnetwerk (AdaFace-ViT) dat is getraind op uitgelijnde gezichten. Het verlies wordt gedefinieerd als $L_{align} = 1 - \cos(z_t, z_{id})$.
2. Hiërarchische gelijkheidsverlies: Een op Softplus gebaseerd meer-niveau marginverlies dwingt de ordening $R_1 > R_2 > R_3$ af. Dit wordt toegepast op zowel $z_{id}$ als $z_{head}$ om identiteits- en verschijningsrepresentaties gezamenlijk te structureren.
3. Datasetconstructie: Een benchmarkdataset (HeadSim-Head) is samengesteld uit langdurige video's. Zwakke supervisie voor verschijningsstaten is afgeleid van temporele groepering (frames binnen hetzelfde korte videosegment worden verondersteld dezelfde verschijningsstaat te delen). De dataset dekt diverse poses, occlusies en temporele veranderingen.

Belangrijkste Bijdragen

1. Taakdefinitie: Introductie van Hoofdgelijkheid, een formulering die verder gaat dan identiteitsinvariante gezichtsherkenning om gestructureerde verschijning van het gehele hoofd te modelleren, waarbij variaties binnen dezelfde identiteit expliciet worden behouden.
2. Benchmark: Constructie van een grootschalige dataset uit langdurige video's met zwak gesuperviseerde verschijningsstaten, die diverse poses, occlusies en temporele veranderingen dekt.
3. Methodologie: Voorstellen van een eenvoudige maar effectieve Dual-CLS Vision Transformer-baseline die identiteitsbewuste distillatie combineert met hiërarchische gelijkheidsopdracht om identiteitsbehoud en verschijningsgevoelige gelijkheid gezamenlijk te modelleren.
4. Empirische bevindingen: Aantonen dat conventionele gezichtsherkenningmodellen geen verschijningsafhankelijke gelijkheid kunnen vastleggen, terwijl de voorgestelde methode sterke gehele-hoofdmatching bereikt zonder de capaciteiten voor identiteitsverificatie op te offeren.

Experimentele Resultaten

Prestaties bij Gezichtverificatie

Bij het aanpassen van gezichtsherkenningmodellen aan gehele-hoofdingangen lijden standaardmodellen onder een ernstige prestatiedaling.

• AdaFace-ViT: De Verificatiegraad (VR) bij FAR=$10^{-3}$ daalt van 0,914 (uitgelijnd gezicht) naar 0,078 (geheel hoofd).
• Gedistilleerde AdaFace: De voorgestelde distillatiebenadering herstelt de prestaties, met een VR van 0,912 bij FAR=$10^{-3}$ op gehele-hoofdingangen, wat dicht in de buurt komt van de baseline voor uitgelijnde gezichten.

Prestaties bij Hoofdgelijkheid

Op de HeadSim-Head-dataset presteert de voorgestelde methode beter dan baselines bij het onderscheiden van gestructureerde verschijningsstaten:

• Onze methode: Bereikt een VR van 0,862 bij FAR=$10^{-3}$ en een AUC van 0,996.
• TransReID-ViT: Hoewel het sterke gelijkheidsprestaties bereikt (0,749 VR), faalt het bij identiteitsverificatie (0,025 VR op VoxCeleb2), wat aangeeft dat het te zwaar leunt op globale verschijningsaanwijzingen en identiteitsdiscriminatie mist.
• Vanilla AdaFace: Presteert slecht (0,326 VR) omdat het verschijningsvariaties laat samenvallen.

Ablatiestudies

De studie bevestigt dat tokenniveau-ontkoppeling (Dual-CLS) superieur is aan scheiding op hoofdniveau of gedeelde embeddings.

• Dual-CLS (Onze methode): 0,962 VR bij FAR=$10^{-3}$.
• Dual-Head (Gesplitst): 0,762 VR. De scheiding van koppen zonder tokenniveau-ontkoppeling leidt tot onvoldoende identiteitssupervisie voor de gelijkheidstak.
• Gedeelde Embedding: 0,892 VR. Een enkele representatie worstelt om de conflicterende doelstellingen van invariantie en behoud van variatie in evenwicht te brengen.

Betekenis en Beweringen

Het artikel beweert dat Hoofdgelijkheid een kritieke kloof vult tussen gezichtsgelijkheid en holistische gelijkheid op hoofdniveau, wat essentieel is voor toepassingen zoals video-generatie en bewerking waarbij visuele consistentie tussen frames vereist is ondanks veranderingen in gezichtshoek of styling.

De auteurs benadrukken dat hun aanpak:

• Expliciet vastlegt variaties in verschijning binnen dezelfde identiteit in plaats van deze te onderdrukken.
• Hiërarchische ordening afdwingt, waarbij ervoor wordt gezorgd dat identiteitsconsistentie de primaire factor blijft, terwijl toch onderscheid tussen verschillende verschijningsstaten mogelijk blijft.
• Haalbaarheid aantoont: De resultaten tonen aan dat gestructureerde modellering van gehele-hoofdgelijkheid haalbaar is met een relatief eenvoudig raamwerk dat gebruikmaakt van zwakke supervisie uit langdurige video's en distillatie uit gevestigde gezichtsherkenningmodellen.

Het artikel erkent beperkingen, waarbij wordt opgemerkt dat verschijningsstaten zwak gesuperviseerd zijn (potentieel ruisgevoelig) en dat de huidige hiërarchie een proxy is voor menselijke perceptie in plaats van een perfect model van subjectief oordeel. Het voorgestelde raamwerk wordt gepresenteerd als een baseline voor deze nieuwe taak.