🤖 machine learning

Learning from a single labeled face and a stream of unlabeled data

Dit artikel adresseert de uitdaging van one-class gezichtsherkenning vanuit één gelabelde afbeelding door een niet-parametrisch algoritme voor te stellen dat een stroom van overvloedige ongelabelde data benut om een aanzienlijk hogere recall te bereiken met bijna nul valse positieven in vergelijking met bestaande baselines.

Oorspronkelijke auteurs: Branislav Kveton, Michal Valko

Gepubliceerd 2026-05-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Branislav Kveton, Michal Valko

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een beveiliger probeert te leren één specifieke persoon (laten we hem "Bob" noemen) te herkennen, zodat hij een deur kan openen. Maar er is een addertje onder het gras: je hebt slechts één enkele foto van Bob om aan de beveiliger te tonen.

Normaal gesproken heb je honderden foto's nodig om te leren hoe Bob eruitziet: Bob die lacht, Bob die fronsen, Bob met een hoed, Bob in de regen. Zonder die foto's zou de beveiliger een vreemde die een beetje op Bob lijkt, kunnen verwarren met de echte, of Bob niet herkennen als hij een slechte haardag heeft.

Dit artikel presenteert een slimme oplossing voor dat probleem. Het is alsof je de beveiliger een live videostream geeft van een drukke straat waar Bob af en toe voorbij loopt, gemengd met duizenden willekeurige voorbijgangers. De beveiliger weet niet wie de voorbijgangers zijn, maar hij weet wel wie Bob is.

Hier is hoe de methode uit het artikel, genaamd Online Manifold Tracking (OMT), werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: Het Dilemma van "Één Foto"

De meeste gezichtsherkenningssystemen zijn als studenten die een heel handboek moeten studeren om een toets te halen. Als je ze slechts één pagina geeft (één foto), zakken ze. Ze kunnen niet raden hoe Bob's gezicht verandert als hij lacht of zijn hoofd draait, omdat ze die variaties nooit hebben gezien.

2. De Oplossing: Leren van de Menigte (Zonder Labels)

De auteurs beseften dat we, hoewel we slechts één foto van Bob hebben, een videostream hebben met veel mensen.

De Gelabelde Foto: Dit is Bob's "identiteitskaart".
De Ongelabelde Stream: Dit is een menigte mensen die voorbij loopt. We weten niet wie ze zijn, maar we weten dat ze (meestal) niet Bob zijn.

Het systeem gebruikt deze menigte om de "vorm" van Bob's gezicht te leren. Denk hier als volgt over na:
Stel je voor dat Bob's gezicht bestaat in een 3D-ruimte. De enkele foto is slechts één punt in die ruimte. De videostream toont ons een wolk van punten. Sommige punten zijn Bob (gelijkend op de foto), en sommige zijn vreemden (zeer verschillend).

De taak van het algoritme is om een bel om de enkele foto van Bob te tekenen.

Als een nieuw gezicht in de videostream binnen de bel valt, is het waarschijnlijk Bob.
Als het buiten de bel valt, is het waarschijnlijk een vreemde.

3. De "Slimme Bel" (Online Manifold Tracking)

De bel is niet statisch; hij leeft en ademt. Terwijl de video afspeelt, doet het systeem twee dingen:

Het filtert: Het besteedt alleen aandacht aan gezichten die enigszins lijken op de originele foto van Bob. Het negeert de voorbijgangers direct.
Het in kaart brengt: Voor de gezichten die op Bob lijken, maakt het een "kaart" van hoe Bob's gezicht verandert. Als Bob in de video lacht, breidt de kaart zich uit om die glimlach te omvatten. Als hij zijn hoofd draait, rekt de kaart zich uit om die hoek te omvatten.

Het artikel noemt dit "Online Manifold Tracking".

"Manifold" is een chique wiskundig woord voor de "vorm" of het "oppervlak" van alle mogelijke manieren waarop Bob's gezicht eruit kan zien.
"Tracking" betekent dat het systeem deze vorm in real-time bijwerkt naarmate nieuwe videoframes binnenkomen.

4. De "Zink" (Omgaan met Fouten)

Een lastig deel hiervan is: Wat als een vreemde er zeer veel op lijkt? Het systeem moet een manier hebben om te zeggen: "Dit lijkt op Bob, maar het is te ver weg om hem te zijn."

De auteurs hebben een "zink" (zoals een zwart gat) toegevoegd aan hun wiskundemodel.

Stel je een willekeurige wandeling voor. Als je begint bij een gezicht dat op Bob lijkt, zet je stappen richting vergelijkbare gezichten.
Als je dicht bij Bob bent, word je uiteindelijk "geabsorbeerd" door Bob (je zegt: "Ja, dat is hem!").
Als je ver weg bent (een vreemde), vangt de "zink" je voordat je Bob bereikt. Dit voorkomt dat het systeem in de war raakt door mensen die toevallig een beetje op Bob lijken.

5. De Resultaten: Hoe goed werkte het?

De onderzoekers testten dit op 43 verschillende personen met video-opnames.

De Opstelling: Ze gaven het systeem één foto per persoon en een videostream van die persoon, gemengd met vreemden.
De Uitkomst: Het systeem identificeerde de juiste persoon 90% van de tijd correct, terwijl het bijna nul fouten (vals-positieven) maakte.
De Vergelijking: Dit was 15% beter dan de standaard "Fisherfaces"-methode (een veelgebruikte gezichtsherkenningstechniek) toen beide dezelfde enkele foto kregen.

6. Waarom Dit Belangrijk Is (Volgens Het Artikel)

Geen Zware Training: In tegenstelling tot andere systemen die eerst enorme databases in een lab moeten trainen, leert dit systeem onderweg. Het is alsof je fietsen leert terwijl je eigenlijk fietst, in plaats van eerst een handleiding te lezen.
Snel: Het kan een gezicht in ongeveer 0,05 seconden verwerken, wat snel genoeg is voor gebruik in real-time (zoals het ontgrendelen van een telefoon).
Flexibel: Het gaat er niet van uit dat Bob er altijd hetzelfde uitziet. Het past zich aan veroudering, baarden of expressies aan, omdat het leert van de videostream zelf.

Samenvattende Analogie

Denk aan de oude manier van gezichtsherkenning als het proberen om één enkele foto van een vriend te memoriseren om hem in een menigte te herkennen. Je zou waarschijnlijk falen als hij een hoed droeg of een ander kapsel had.

De methode uit dit artikel is alsof je je vriend een magneet geeft. Je laat de magneet (de enkele foto) vallen in een rivier water (de videostream). De magneet trekt alle ijzervijlsel (gezichten die op je vriend lijken) aan en creëert een cluster. Zelfs als het vijlsel verspreid is of beweegt, weet de magneet welke stukjes bij het cluster horen en welke gewoon stof zijn (vreemden). Het bouwt een dynamisch, levend model van je vriend op door simpelweg toe te kijken hoe hij door de menigte beweegt, zonder dat er een bibliotheek met foto's nodig is om mee te beginnen.

1. Probleemdefinitie

Het paper adresseert het uitdagende probleem van gezichtsherkenning op basis van één gelabelde afbeelding per persoon, specifiek in een open-wereld setting waarbij:

Eén Positief Label: Slechts één afbeelding van een specifieke doelwitpersoon is gelabeld.
Geen Negatieve Labels: Alle andere individuen in de datastroom zijn ongelabeld. Het systeem kan geen expliciete "negatieve" voorbeelden (andere mensen) modelleren omdat de set van potentiële imitatoren oneindig en onbekend is.
Datastroom: Het systeem ontvangt een continue stroom van ongelabelde videodata (bijvoorbeeld van een webcam) naast de enkele gelabelde afbeelding.
Beperkingen: De oplossing moet online zijn (data in real-time verwerken), niet-parametrisch zijn (geen aannames doen over de verdeling van gezichten) en robuust zijn tegen conceptdrift (veroudering, expressies, belichting).

Dit wordt geformuleerd als een One-Class Classification probleem, waarbij het doel is om een beslissingsgrens (een hypersfeer) te leren die de doelklasse omvat terwijl het uitschieters verworpt, zonder expliciete training op negatieve voorbeelden.

2. Methodologie: Online Manifold Tracking (OMT)

De auteurs stellen Online Manifold Tracking (OMT) voor, een niet-parametrisch algoritme dat de structuur van het gezichtsmanifold on-the-fly leert met behulp van de stroom van ongelabelde data. De methode bestaat uit twee hoofdfasen:

A. Online Data Quantisatie (Manifold Benadering)

Om de potentieel oneindige datastroom efficiënt te verwerken, gebruikt OMT Online k-Center Clustering om de data te samenvatten.

Representatieve Gezichten: Het algoritme onderhoudt een set van $k$ representatieve gezichten ( $u_t$ ) die de waargenomen data dekken.
Generalisatiestraal ( $R$ ): Een gezicht $x_t$ wordt alleen in aanmerking genomen voor clustering als het binnen een generalisatiestraal $R$ van het enkele gelabelde voorbeeld $x_l$ valt. Dit zorgt ervoor dat het model niet te ver extrapoleert naar irrelevante gebieden van de kenmerkruimte.
Adaptieve Dekking: Als een nieuw gezicht ver genoeg van alle huidige representanten verwijderd is (afstand $> r$ , waarbij $r$ de dekradius is), wordt het toegevoegd aan de set. Als de setgrootte $k$ overschrijdt, wordt de dekradius $r$ verdubbeld en worden de representanten herverdeeld om een minimale afstand tussen hen te behouden.
Complexiteit: Deze stap zorgt ervoor dat de modelgrootte begrensd blijft ( $O(k)$ ) en niet groeit met de tijd.

B. Identiteitsinferentie (Grafgebaseerde Random Walk)

Zodra de data is gekwantiseerd, infereert het algoritme de identiteit van een nieuw gezicht met behulp van een random walk op een graf.

Grafconstructie: De graf bestaat uit de $k$ representatieve gezichten plus het enkele gelabelde gezicht ( $x_l$ ).
Zink-vertex: Om het gebrek aan negatieve labels op te vangen, wordt een speciale zink-vertex ( $x_0$ ) geïntroduceerd. Deze fungeert als een "negatieve" attractor. Ongelabelde knopen worden verbonden met $x_0$ met een gewicht $\gamma$ .
Absorptiekansen: Het algoritme berekent de kans dat een random walk die start bij een ongelabeld gezicht $x_t$ $x_{t}$ , zal worden geabsorbeerd door het gelabelde gezicht $x_l$ $x_{l}$ versus de zink $x_0$ $x_{0}$ .
- Als de walk wordt geabsorbeerd door $x_l$ , is het gezicht waarschijnlijk het doelwit.
- Als het wordt geabsorbeerd door $x_0$ , is het waarschijnlijk een uitschieter.
Harmonische Oplossing: De absorptiekansen worden in gesloten vorm berekend met behulp van de combinatorische Laplaciaan van de graf:
$f = (L_{uu} + \gamma I_u)^{-1} W_{ul}$
waarbij $W$ de similariteitsmatrix is, $L$ de Laplaciaan, en $\gamma$ de dissimilariteit met de zink regelt.
Besluit: Een gezicht wordt geclassificeerd als positief als de absorptiekans een drempelwaarde $\epsilon$ overschrijdt.

3. Belangrijkste Bijdragen

Nieuwe Probleemformulering: Het paper formaliseert gezichtsherkenning als een one-class classificatieprobleem in een open-wereld setting met één gelabeld voorbeeld en een stroom van ongelabelde data, waarbij het gebrek aan negatieve voorbeelden wordt aangepakt.
Online Manifold Tracking (OMT): Een nieuw algoritme dat het laag-dimensionale manifold van gezichten in real-time bijhoudt zonder offline training of uitgebreide gelabelde data te vereisen.
Niet-parametrische Adaptatie: De methode maakt geen aannames over de gezichtsverdeling, waardoor het zich op natuurlijke wijze kan aanpassen aan veranderingen in expressie, houding en veroudering.
Complementariteit met Kenmerken: De auteurs tonen aan dat OMT geen vervanging is voor discriminatieve kenmerken, maar een complementaire laag. Het kan worden toegepast bovenop bestaande kenmerken (zoals Fisherfaces) om de prestaties te verbeteren.
Efficiëntie: Het algoritme heeft een gebonden tijd- en ruimtecomplexiteit ( $O(k^3)$ per stap, onafhankelijk van de totale tijd $t$ ), waardoor het geschikt is voor real-time toepassingen (ongeveer 0,05 seconde per gezicht).

4. Experimentele Resultaten

De methode werd geëvalueerd op het VidTIMIT dataset met 43 personen. De opzet omvatte het invoegen van willekeurige "uitschieter"-gezichten van andere personen in de videostream van de doelwitpersoon om een realistische, ruizige omgeving te simuleren.

Prestaties:
- OMT behaalde een True Positive Rate (TPR) van 90% bij een False Positive Rate (FPR) van bijna nul ( $10^{-4}$ ).
- Dit vertegenwoordigt een verbetering van 15% ten opzichte van Fisherfaces bij dezelfde FPR.
- Het presteerde significant beter dan een standaard 1-Nearest Neighbor (1-NN) classifier getraind op dezelfde enkele gelabelde afbeelding (50% hogere TPR).
Equivalentie met Supervised Learning: De prestaties van OMT (getraind op 1 gelabeld + ongelabelde data) waren vergelijkbaar met een 5-NN classifier getraind op 5 gelabelde afbeeldingen, wat effectief betekent dat het "leerde" wat gelijkstaat aan 4 extra gelabelde voorbeelden uit de ongelabelde stroom.
Robuustheid: De methode toonde robuuste prestaties, zelfs wanneer parameters (zoals $R$ , $k$ , en $\sigma$ ) niet perfect waren afgestemd.
Snelheid: Het systeem verwerkte video in real-time en herkende gezichten gemiddeld in ongeveer 0,02 tot 0,05 seconde.

5. Betekenis en Conclusie

Dit werk is significant omdat het een kritieke bottleneck in praktische gezichtsherkenning oplost: het onvermogen om grote, gelabelde datasets te verzamelen voor elke gebruiker (bijvoorbeeld voor authenticatie op persoonlijke apparaten of beveiliging op luchthavens).

Praktijktoepasbaarheid: Het maakt beveiligde authenticatiesystemen mogelijk die het gezicht van een gebruiker kunnen leren vanuit één ID-afbeelding en zich in de loop van de tijd aanpassen met behulp van de eigen videofeed van de gebruiker, zonder expliciet te hoeven trainen op "impostor"-data.
Theoretisch Inzicht: Het toont aan dat ongelabelde data effectief kan worden benut om de geometrie van een class-manifold te leren, zelfs bij afwezigheid van negatieve voorbeelden, door grafgebaseerde semi-supervised learning technieken aan te passen voor online settings.
Toekomstige Richtingen: De auteurs suggereren OMT uit te breiden naar lokale gezichtskenmerken (ogen, neus) in plaats van holistische afbeeldingen, wat de nauwkeurigheid in scenario's met één afbeelding verder zou kunnen verbeteren.

Kortom, OMT biedt een computatiefficiënte, robuuste en zeer nauwkeurige oplossing voor one-shot gezichtsherkenning in dynamische, open-wereld omgevingen.