💻 computer science

FaceLiVTv2: An Improved Hybrid Architecture for Efficient Mobile Face Recognition

Dit paper introduceert FaceLiVTv2, een verbeterde hybride architectuur voor mobiele gezichtsherkenning die door de introductie van de Lite MHLA-module en RepMix-blokken de afweging tussen nauwkeurigheid en efficiëntie optimaliseert en aanzienlijk snellere inferentie biedt dan bestaande methoden.

Oorspronkelijke auteurs: Novendra Setyawan, Chi-Chia Sun, Mao-Hsiu Hsu, Wen-Kai Kuo, Jun-Wei Hsieh

Gepubliceerd 2026-04-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Novendra Setyawan, Chi-Chia Sun, Mao-Hsiu Hsu, Wen-Kai Kuo, Jun-Wei Hsieh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

📱 FaceLiVTv2: De Slimme Portretfotograaf voor je Telefoon

Stel je voor dat je een fotograaf hebt die gezichten moet herkennen. In het verleden waren deze fotografen twee soorten:

De Zware Reus: Een fotograaf met een enorme rugzak vol apparatuur (zware computers). Hij ziet alles perfect, maar hij is te zwaar om mee te nemen op een wandeling (je telefoon). Hij is te traag en leegt je batterij in no-time.
De Snelle Loper: Een fotograaf met een heel lichte tas. Hij is supersnel, maar omdat hij niet goed kan kijken naar de hele omgeving, mist hij soms details. Hij herkent iemand wel als ze recht voor hem staan, maar niet als ze schuin staan of als het donker is.

FaceLiVTv2 is de nieuwe, perfecte mix van deze twee. Het is een slim algoritme dat speciaal is ontworpen om op mobiele telefoons te draaien: het is lichtgewicht, snel, maar kijkt net zo scherp als de zware reus.

Hier zijn de drie geheimen van deze nieuwe "fotograaf":

1. De "Lite MHLA": De Slimme Kijker zonder Zware Brillen

Vroeger gebruikten de slimme modellen (Transformers) een ingewikkelde manier om naar het hele gezicht te kijken. Het was alsof ze elke seconde een nieuwe bril opzetten en weer afzetten om te focussen. Dat kostte veel tijd en energie.

De oplossing: FaceLiVTv2 gebruikt iets genaamd Lite MHLA.
De analogie: In plaats van die zware bril, geeft de fotograaf nu een simpele, snelle instructie: "Kijk naar dit stukje van het gezicht, en vermenigvuldig het met een getal." Het is alsof je in plaats van een ingewikkeld recept te lezen, gewoon een snelle notitiekaartje pakt.
Het resultaat: De fotograaf is veel sneller, maar kijkt nog steeds naar het hele gezicht (niet alleen naar de neus of de ogen), waardoor hij mensen herkent zelfs als ze schuin staan.

2. De RepMix: De "Vouw-En-Sla" Techniek

Om details te zien (zoals de vorm van de kaaklijn), moet de fotograaf ook goed kijken naar kleine stukjes. De oude methode had twee aparte wegen voor het kijken: één voor details en één voor het grote plaatje. Dat was inefficiënt.

De oplossing: FaceLiVTv2 gebruikt RepMix.
De analogie: Stel je voor dat je een brief schrijft. Eerst schrijf je de tekst op een los vel papier (tijdens het trainen). Maar zodra je klaar bent, plakt je dat vel direct op je hoofdbrief en gooi je het losse papier weg. Voor de lezer (je telefoon) ziet het eruit alsof het altijd één brief was.
Het resultaat: Tijdens het leren is het slim en uitgebreid, maar op je telefoon is het één strakke, snelle instructie. Geen onnodige stappen, alleen pure snelheid.

3. De GDConv: De Magische Zoomlens

Veel oude modellen keken naar een gezicht en maakten er één groot gemiddelde van. Alsof je een foto van een stad maakt en dan zegt: "Het is een beetje grijs en er staan wat gebouwen." Je mist de specifieke details.

De oplossing: FaceLiVTv2 gebruikt een GDConv-head.
De analogie: In plaats van een gemiddelde te maken, heeft deze fotograaf een magische lens die zegt: "Wacht even, die neus is heel belangrijk, die oogleden zijn minder belangrijk." Hij geeft gewicht aan de belangrijke delen van het gezicht.
Het resultaat: De herkenning wordt veel scherper, vooral bij moeilijke situaties (zoals oude foto's of mensen van opzij).

🏆 Wat heeft dit opgeleverd?

De onderzoekers hebben hun nieuwe "fotograaf" getest tegen de beste concurrenten in de wereld. De resultaten zijn indrukwekkend:

Snelheid: Het is 22% sneller dan de vorige versie (FaceLiVTv1).
Vergelijking: Het is tot 30% sneller dan andere populaire mobiele modellen (zoals GhostFaceNet), terwijl het net zo goed of zelfs beter presteert.
Accuraatheid: Het herkent gezichten beter, zelfs als ze oud zijn, van opzij staan, of als de foto wazig is (zoals bij bewakingscamera's).

🚀 Conclusie

FaceLiVTv2 is als het ware de Tesla van gezichtsherkenning: hij rijdt net zo snel als een raceauto (hoog prestatievermogen), maar verbruikt net zo weinig brandstof als een elektrische auto (weinig batterij en geheugen nodig).

Dit betekent dat je telefoon in de toekomst gezichten nog sneller en betrouwbaarder kan herkennen, zonder dat je telefoon heet wordt of je batterij in een uur leeg is. Het is een grote stap voorwaarts voor veiligheid en gemak in onze dagelijkse digitale wereld.

Probleemstelling

Gezichtsherkenning (Face Recognition - FR) is een cruciale biometrische technologie voor mobiele en embedded apparaten. Echter, het implementeren van nauwkeurige FR-modellen op deze apparaten stuit op strenge beperkingen op het gebied van latentie, geheugen en energieconsumptie.

Bestaande CNN-modellen (zoals MobileFaceNet) zijn efficiënt maar hebben een beperkt receptief veld, waardoor ze moeite hebben met het modelleren van lange-afstandsafhankelijkheden (bijv. bij grote pose-variaties of occlusies).
Transformers (ViT) bieden wel globale context, maar hun standaard zelf-attentie mechanismen zijn computationeel te zwaar voor real-time mobiele toepassingen.
Hybride modellen proberen dit op te lossen, maar vaak blijft er een compromis nodig tussen modelgrootte, discriminatievermogen en inferentiesnelheid. De voorganger van dit werk, FaceLiVTv1, had nog redundantie in zijn Multi-Head Linear Attention (MHLA) module en een suboptimale integratie van lokale en globale features.

Methodologie: FaceLiVTv2 Architectuur

FaceLiVTv2 is een geoptimaliseerde hybride CNN-Transformer architectuur die is ontworpen voor efficiënte globale-lokale feature interactie. De kern van de verbeteringen ligt in drie hoofdcomponenten:

Lite MHLA (Lightweight Multi-Head Linear Attention):
- Dit is een vernieuwde versie van de MHLA-module uit FaceLiVTv1. In plaats van een complexe MLP-achtige twee-laags lineaire structuur met niet-lineaire activering, gebruikt Lite MHLA een enkele lineaire projectie gecombineerd met een affine rescale-transformatie.
- Het vervangt zware normalisatielagen (zoals LayerNorm) door een lichte affine schaling (vermenigvuldiging met $\alpha$ en optellen van $\beta$ ), wat redundantie reduceert en de stabiliteit van de training verbetert zonder het representatievermogen te verliezen.
- Dit elimineert de noodzaak voor Q/K/V-projecties en softmax-normalisatie, wat de complexiteit drastisch verlaagt.
GDConv Head (Global Depthwise Convolution):
- Traditionele hybride modellen gebruiken vaak Global Average Pooling (GAP) aan het einde, wat alle ruimtelijke locaties gelijk behandelt.
- FaceLiVTv2 vervangt dit door een GDConv-laag (Global Depthwise Convolution) met een kernelgrootte die overeenkomt met de ruimtelijke resolutie. Dit stelt het model in staat om adaptieve ruimtelijke aggregatie te leren, waarbij het kan focussen op discriminatieve lokale gebieden in het gezicht, wat essentieel is voor open-set herkenning.
RepMix (Reparameterized Token Mixer) & Unified Structuur:
- De architectuur gebruikt RepMix-blokken voor lokale feature extractie. Tijdens training bestaat dit uit parallelle takken (DW3x3 en DW1x1), maar tijdens inferentie worden deze structureel herparameteriseerd tot één enkele convolutie. Dit verlaagt de latentie zonder nauwkeurigheid te verliezen.
- De architectuur is een co-design: de eerste twee stadia gebruiken alleen RepMix voor lage-niveau patronen, terwijl de laatste twee stadia RepMix combineren met Lite MHLA om lokale structuur en lange-afstandsinteracties te integreren.

Kernbijdragen

Introductie van Lite MHLA: Een geoptimaliseerde formule die redundantie reduceert en globale context-modellering verbetert ten opzichte van het originele FaceLiVT-ontwerp.
Gecombineerde Architectuur: Een nieuw ontwerp dat een verfijnde embedding-head (GDConv), reparameteriseerde convolutiemixers en Lite MHLA integreert voor een beter evenwicht tussen nauwkeurigheid en latentie.
Uitgebreide Validatie: Extensieve experimenten op acht uitdagende benchmarks (LFW, CA-LFW, CP-LFW, CFP-FP, AgeDB-30, IJB-B, IJB-C, TinyFace) tonen aan dat FaceLiVTv2 zijn voorganger en recente state-of-the-art (SOTA) modellen overtreft.
Mobiele Efficiëntie: Validatie op echte hardware (iPhone 15 Pro, Jetson AGX Orin) bevestigt dat het model geschikt is voor real-time implementatie.

Resultaten

De experimenten tonen overtuigende resultaten op het gebied van nauwkeurigheids-efficiëntie trade-offs:

Nauwkeurigheid: FaceLiVTv2-S (Small) bereikt een gemiddelde nauwkeurigheid van 96.69% op vijf FR-benchmarks, wat een verbetering is ten opzichte van FaceLiVTv1 en concurrenten zoals GhostFaceNet en EdgeFace.
Snelheid op Mobiel:
- FaceLiVTv2 reduceert de inferentie-latentie op een iPhone 15 Pro met 22% ten opzichte van FaceLiVTv1.
- Het is tot 30.8% sneller dan GhostFaceNets op mobiele apparaten.
- Het levert verbeteringen van 20-41% in latentie ten opzichte van EdgeFace en KANFace, terwijl het een hogere nauwkeurigheid behoudt.
Laag-resolutie prestaties: Op de TinyFace-benchmark (zeer lage resolutie) presteert FaceLiVTv2-XS (slechts 90 MFLOPs) aanzienlijk beter dan MobileFaceNet en andere compacte modellen, zonder gebruik te maken van speciale technieken zoals distillatie of beeldherstel.
Vergelijking met zware modellen: FaceLiVTv2-L (Large) bereikt bijna dezelfde nauwkeurigheid als zware modellen zoals ResNet200-TopoFR, maar vereist 13,9x minder parameters en 76,1x minder FLOPs.

Betekenis en Impact

FaceLiVTv2 biedt een praktische en direct inzetbare oplossing voor real-time gezichtsherkenning op hulpbronnen-beperkte platforms. Door de specifieke aandacht voor het elimineren van redundantie in attention-mechanismen (Lite MHLA) en het verbeteren van de ruimtelijke aggregatie (GDConv), slaagt het erin om de kloof te overbruggen tussen de hoge nauwkeurigheid van zware transformers en de snelheidseisen van mobiele CNN's. Dit maakt het een belangrijke referentie voor het ontwerpen van efficiënte, deploybare biometrische systemen in de toekomst.