A saccade-inspired approach to image classification using visiontransformer attention maps

Dit artikel presenteert een door menselijke oogbewegingen geïnspireerde methode voor beeldclassificatie die, gebruikmakend van DINO-attentiekaarten, de verwerking beperkt tot relevante beeldregio's en zo een efficiëntere prestatie bereikt die de volledige beeldverwerking kan evenaren of zelfs overtreffen.

De kern

Kortom: Hoe een computer kan "kijken" zoals wij, zonder alles te hoeven zien

Stel je voor dat je een enorme, rommelige kamer binnenloopt en je moet een specifieke spijker vinden. Een traditionele computer doet alsof hij een camera heeft die de hele kamer in één keer vastlegt, pixel voor pixel, en dan alles tegelijk analyseert. Dat kost veel energie en tijd, alsof je elke hoek van de kamer met een vergrootglas afzoekt, zelfs de plekken waar je weet dat er niets ligt.

Mensen doen dit anders. Ons oog heeft een klein, super-scherp middelpunt (de fovea) en een wazige rand. We schieten onze ogen razendsnel van de ene naar de andere plek (dit noemen we saccades), zodat we alleen de interessante dingen scherp zien en de rest negeren.

Deze paper onderzoekt hoe we kunstmatige intelligentie (AI) diezelfde slimme, energiezuinige manier van kijken kunnen leren.

De Sterke Speler: DINO

De onderzoekers gebruiken een speciaal type AI genaamd DINO. Je kunt DINO vergelijken met een kunstenaar die duizenden schilderijen heeft bekeken, maar nooit iemand heeft verteld wat er op staat. Toch heeft hij geleerd om automatisch te focussen op de belangrijkste onderdelen: een gezicht, een auto, of een hond.

Wanneer DINO naar een foto kijkt, maakt hij een soort "aandachtskaart" (een attention map). Dit is als een warmtekaart die laat zien waar het AI-brein naar kijkt. Interessant genoeg kijkt DINO bijna precies naar dezelfde plekken als een mens zou doen, zonder dat iemand hem dat ooit heeft geleerd.

Het Experiment: Het "Blik" van de AI

De onderzoekers wilden weten: Kan deze AI een foto herkennen als we hem niet de hele foto geven, maar alleen de stukjes waar hij naar kijkt?

Ze deden dit als volgt:

1. De Eerste Blik: DINO kijkt naar de hele foto en zegt: "Hier is iets interessants!" (bijvoorbeeld op een hond).
2. De Saccade (De Sprong): In plaats van de hele foto te verwerken, snijdt de computer alleen dat stukje uit (een vierkantje van 48x48 pixels) en geeft dat aan een "herkenningsmachine".
3. De Volgende Blik: Als de machine nog niet zeker is, kijkt DINO weer: "Oké, en hier nog iets!" en voegt een nieuw stukje toe.
4. Herhaling: Dit gaat door totdat de machine zeker weet wat het is.

De Verbluffende Resultaten

Wat bleek eruit?

• Snelheid en Efficiëntie: De AI kon de foto vaak al herkennen na slechts een paar "blikken". Hij had vaak minder dan de helft van de pixels nodig om het juiste antwoord te geven.
• Beter dan willekeurig: Als je willekeurige stukjes van de foto zou kiezen (alsof je blindelings met een blinddoek op de foto wijst), zou de AI veel meer stukjes nodig hebben om het juiste antwoord te vinden. De "DINO-blik" was veel slimmer.
• Soms zelfs beter dan de hele foto: Dit is het meest gekke deel. Soms gaf de AI het juiste antwoord als hij alleen de belangrijkste stukjes zag, maar gaf hij een fout antwoord als hij de hele foto zag!
  • De Analogie: Stel je voor dat je een foto ziet van een hond in een drukke menigte. Als je alleen naar de hond kijkt, weet je direct: "Dat is een hond." Maar als je de hele menigte ziet, kan de AI verward raken door de mensen omheen en denken: "Oh, misschien is het een menigte." Door alleen te focussen op het belangrijkste, wordt de AI soms scherper.

Waarom is dit belangrijk?

1. Energiebesparing: Computers hoeven niet meer de hele foto te verwerken. Ze kunnen "slapen" over de saaie randen en alleen wakker worden voor de interessante delen. Dit is heel belangrijk voor batterijduur op telefoons en drones.
2. Biologische inspiratie: Het bewijst dat we niet hoeven na te bootsen hoe een mens precies kijkt om slim te zijn. DINO is niet gemaakt om menselijk te zijn, maar zijn manier van focussen werkt net zo goed, en soms zelfs beter voor het herkennen van objecten.
3. De Toekomst: De onderzoekers zeggen dat we dit nog slimmer kunnen maken. In plaats van twee keer te rekenen (eerst kijken waar, dan herkennen), zouden we in de toekomst een systeem kunnen bouwen dat direct weet waar het moet kijken, net als ons brein.

Conclusie

Deze paper laat zien dat we AI kunnen leren om te "kijken" in plaats van alleen maar te "scannen". Door te focussen op de belangrijke stukjes van een beeld, kunnen we computers slimmer, sneller en zuiniger maken. Het is alsof we de computer een bril geven die alleen de scherpe details laat zien en de rest in de mist laat verdwijnen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "A saccade-inspired approach to image classification using vision transformer attention maps" in het Nederlands.

Probleemstelling

Het menselijke visuele systeem presteert opmerkelijk goed binnen strikte metabole beperkingen. Dit wordt mogelijk gemaakt door een selectief aandachtmechanisme: de hoge resolutie-fovea wordt via snelle oogbewegingen (saccades) continu herpositioneerd op relevante delen van het beeld, terwijl de rest van het beeld met lagere resolutie wordt verwerkt. In tegenstelling hiermee verwerken conventionele kunstmatige visiesystemen (zoals CNN's en Vision Transformers) vaak het volledige beeld met uniforme resolutie. Dit is computationeel en energetisch kostbaar en negeert de redundantie in visuele input.

De kernvraag van dit onderzoek is of de zelf-attentie-mechanismen van Vision Transformers (ViTs), specifiek het DINO-model (Distillation with NO labels), kunnen worden gebruikt om een biologisch geïnspireerde, selectieve verwerkingsstrategie te ontwikkelen. Het doel is om te bepalen of het selectief verwerken van slechts de meest informatieve beeldregio's (geleid door attentiekaarten) leidt tot efficiënte beeldherkenning zonder aanzienlijke verlies aan nauwkeurigheid.

Methodologie

De auteurs hebben een experimenteel raamwerk ontwikkeld dat saccades simuleert op basis van de attentiekaarten van een voorgeïntegreerd DINO-model (een zelf-supervisie ViT).

1. Model en Data:

   • Het DINO-model (zonder labels) wordt gebruikt om attentiekaarten te genereren. Deze kaarten tonen welke beeldpatches (tokens) het model als belangrijk beschouwt voor de taak.
   • De dataset is ImageNet-1K (validatieset). Afbeeldingen worden geresize naar 224x224 pixels en vervolgens in patches van 16x16 pixels verdeeld (14x14 tokens).

2. Saccade-mechanisme:

   • Attentie-extractie: Een afbeelding wordt door het DINO-model gevoerd om de attentiekaarten van de [CLS]-token (de token die de globale taak-informatie verzamelt) te verkrijgen. De kaarten van meerdere heads worden samengevoegd door de maximale waarde per locatie te nemen.
   • Selectie: De locatie met de hoogste attentiewaarde definieert een vierkante regio ("fovea") van 3x3 of 5x5 tokens (48x48 of 80x80 pixels).
   • Inhibitie van terugkeer: Na het selecteren van een regio wordt het corresponderende gebied in de attentiekaart onderdrukt (waarden op een negatieve constante gezet) om te voorkomen dat dezelfde locatie direct opnieuw wordt geselecteerd. Dit simuleert het menselijke mechanisme van "inhibition of return".
   • Sequentiële blootstelling: Het proces wordt herhaald, waarbij bij elke stap een nieuwe regio wordt onthuld en toegevoegd aan de reeds geselecteerde regio's.

3. Classificatie en Evaluatie:

   • De geselecteerde regio's worden sequentieel aan een lineaire classifier (gebaseerd op de DINO-architectuur) gevoerd.
   • Vergelijking: De prestaties van deze "attentie-gestuurde saccades" worden vergeleken met:
     • Willekeurige fixaties: Regio's worden willekeurig geselecteerd.
     • Volledige afbeelding: De prestatie van het model op het hele beeld.
     • Andere Saliency-modellen: Vergelijking met GBVS (klassiek bottom-up) en UNISAL (diep leermodel voor menselijke blik).
   • Metrieken: Classificienauwkeurigheid, zekerheid (gebaseerd op entropie van de output), en het percentage van het beeld dat zichtbaar is.

4. Variaties:

   • Analyse van verschillende lagen in het transformer-netwerk (van laag tot hoog).
   • Analyse met lagere inputresoluties (128x128, 112x112, 96x96) om te testen of goedkopere features voldoende zijn.

Belangrijkste Bijdragen

• Validatie van ViT-attentie voor actieve visie: Het artikel demonstreert dat de interne attentiekaarten van een zelf-supervisie ViT (DINO) effectief kunnen dienen als een "saliency map" om informatieve beeldregio's te selecteren, zelfs zonder expliciete training op oogvolgingsdata.
• Superioriteit ten opzichte van bestaande modellen: DINO's attentiekaarten presteren beter in het leiden van saccades voor classificatie dan gespecialiseerde modellen voor menselijke blikvoorspelling (zoals UNISAL) en klassieke modellen (GBVS).
• Efficiëntie vs. Nauwkeurigheid: Het toont aan dat een groot deel van de classificienauwkeurigheid behouden kan blijven met minder dan de helft van de beeldpixels, wat de weg vrijmaakt voor energie-efficiëntere, neuromorfe verwerking.
• Interessant fenomeen van cumulatieve nauwkeurigheid: Het onderzoek onthult dat de cumulatieve nauwkeurigheid (het percentage afbeeldingen dat minstens één keer correct wordt geclassificeerd tijdens de saccade-sequentie) de nauwkeurigheid van het verwerken van het volledige beeld kan overtreffen.

Resultaten

• Nauwkeurigheid: Attentie-gestuurde saccades leiden tot een veel snellere stijging in classificienauwkeurigheid dan willekeurige selectie, vooral in de eerste paar stappen. Hoewel de prestaties uiteindelijk plateauën onder de volledige beeldnauwkeurigheid, wordt een groot deel van de oorspronkelijke nauwkeurigheid bereikt met slechts een fractie van de pixels.
• Cumulatieve Prestatie: Een verrassende bevinding is dat wanneer men kijkt naar het totaal aantal afbeeldingen dat correct wordt geclassificeerd op enig moment tijdens de saccades, dit percentage hoger ligt dan wanneer het volledige beeld direct wordt verwerkt. Dit suggereert dat bepaalde zeer discriminatieve regio's in het volledige beeld "verwaterd" worden door minder relevante informatie, terwijl sequentiële blootstelling de focus op deze cruciale delen mogelijk maakt.
• Zekerheid (Certainty): Modellen tonen een hogere zekerheid (lagere entropie) bij attentie-gestuurde selectie vergeleken met willekeurige selectie, zelfs wanneer beide correct classificeren.
• Lagen en Resolutie: Attentiekaarten van diepere lagen presteren beter. Interessant genoeg werken zelfs attentiekaarten van lagere resolutie (bijv. 8x8 tokens) en eerdere lagen redelijk goed, wat suggereert dat goedkopere berekeningen mogelijk zijn voor het sturen van saccades.
• Vergelijking met Saliency-modellen: DINO presteerde consistent beter (ongeveer 5% hoger) dan UNISAL en GBVS in het leiden van saccades, zelfs wanneer de DINO-architectuur werd vervangen door een ResNet-50 classifier. Dit wijst erop dat DINO's manier van aandacht toewijzen specifiek effectiever is voor classificatietaken dan het simuleren van menselijke blik.

Betekenis en Toekomstperspectief

Dit werk biedt een brug tussen biologische visie en kunstmatige intelligentie door te laten zien dat de zelf-attentie in ViTs een natuurlijke basis vormt voor actieve visie.

• Efficiëntie: Het biedt een route naar "neuromorfe" verwerking waarbij rekenkracht alleen wordt ingezet voor relevante beelddelen, wat essentieel is voor energie-arme toepassingen.
• Interpreteerbaarheid: Het bevestigt dat ViT-attentiekaarten niet alleen wiskundige artefacten zijn, maar daadwerkelijk semantisch relevante informatie bevatten die overeenkomt met menselijke waarneming.
• Beperkingen en Richting: De huidige implementatie vereist twee doorlopen (een voor attentie, een voor classificatie), wat niet optimaal is. Toekomstig werk moet zich richten op het integreren van recurrente mechanismen (zoals KV-cache) en het ontwikkelen van "early-exit" strategieën, zodat het model kan stoppen zodra voldoende zekerheid is bereikt. Ook het trainen van modellen specifiek voor sequentiële blikselectie zou de efficiëntie verder kunnen verhogen.

Kortom, de studie bewijst dat het imiteren van saccades via ViT-attentiekaarten een veelbelovende strategie is voor het ontwikkelen van slimme, energie-efficiënte beeldverwerkingssystemen.