EVA: Bridging Performance and Human Alignment in Hard-Attention Vision Models for Image Classification

Probleemstelling: De "Alignment Tax"

Traditionele computerzichtmodellen worden geoptimaliseerd voor maximale classificatie-nauwkeurigheid, vaak door het volledige beeld parallel te verwerken. Dit leidt echter tot een fundamenteel probleem: de "alignment tax" (alignatie-taks).

• Het dilemma: Naarmate de nauwkeurigheid van een model verbetert (vooral door sterke feature-extractoren), wordt het gedrag van de "scanpath" (de volgorde van oogbewegingen of fixaties) vaak minder menselijk.
• Interpreteerbaarheid: Menselijke visie is selectief; we verzamelen informatie sequentieel via saccades en fixaties. Hard-attention modellen proberen dit na te bootsen, maar vaak ten koste van de prestaties. Bestaande post-hoc uitlegtools (zoals saliency maps) zijn vaak onbetrouwbaar.
• De vraag: Kan men een model ontwerpen dat zowel hoge classificatie-nauwkeurigheid behaalt als menselijke scanpaths genereert, zonder dat er expliciete oogbewegingsdata (gaze supervision) nodig is voor het trainen?

Methodologie: Het EVA-architectuur

De auteurs introduceren EVA (EVA: Bridging Performance and Human Alignment), een neuroscience-geïnspireerd "hard-attention" testbed. Het model is ontworpen om de trade-off tussen prestatie en menselijke gelijkenis meetbaar en instelbaar te maken.

Kerncomponenten van EVA:

1. Minimale Fovea-Periferie Representatie:
   • In plaats van het hele beeld te verwerken, neemt het model een reeks "glimpses" (flitsen) waar.
   • Het gebruikt een CNN voor de foveale input (hoge resolutie, centraal) en een lichte encoder voor de periferische input (lagere resolutie, context).
2. Twee-laags Recurrente Backbone:
   • Onderste RNN ($h^1_t$): Regelt de sampling en voorspelt de volgende fixatielocatie.
   • Bovenste RNN ($h^2_t$): Integreert de sequentiële bewijzen voor de uiteindelijke classificatie.
3. Variance Control via Predictive Error (Neuromodulatie):
   • In plaats van een vaste variantie voor de stochastische fixatiekeuze, past EVA de variantie ($\sigma_t$) dynamisch aan op basis van de voorspellingsfout.
   • Hoog onzekerheid (groot verschil tussen korte en lange termijn gemiddelde fout) leidt tot hogere variantie (meer exploratie).
   • Lage onzekerheid leidt tot lagere variantie (stabieler sampling). Dit stabiliseert het leerproces.
4. Adaptieve Gating:
   • Een "gate" regelt de informatieflow van de onderste RNN (sampling) naar de bovenste RNN (classificatie).
   • Deze gate wordt beïnvloed door bottom-up signalen, top-down feedback en de huidige variantie. Dit helpt om te balanceren tussen het verzamelen van nieuwe informatie en het integreren van bestaande kennis.

Training:

• EVA wordt uitsluitend getraind met standaard classificatielabels (geen gaze-supervisie).
• De loss functie bestaat uit een cross-entropy loss voor classificatie en een REINFORCE-loss voor het beleid van de fixaties, waarbij de beloning 1 is bij correcte classificatie en 0 anders.
• Tijdens training wordt de voorspellingsfout gebruikt voor de variance control; tijdens inferentie wordt een zelf-gegenereerde foutsignaal gebruikt.

Belangrijkste Bijdragen

1. Formalisatie van de Alignment Tax: Het paper kwantificeert empirisch dat het verbeteren van representatiestrength vaak leidt tot minder menselijke scanpaths.
2. EVA als Mechanistisch Testbed: Het introduceert een architectuur die deze trade-off expliciet maakt en oplost door middel van architecturale beperkingen (variance control en gating) zonder de trainingsdoelstelling te veranderen.
3. Supervisie-vrij Menselijk Gedrag: Het bewijst dat menselijke scanpaths kunnen ontstaan in een taakgedreven systeem zonder dat het model ooit menselijke oogbewegingen heeft gezien tijdens het trainen.

Resultaten

De evaluatie is uitgevoerd op drie datasets: CIFAR-10, ImageNet-100 en COCO-Search18.

• CIFAR-10 (Dichte menselijke gaze annotaties):
  • EVA bereikt de hoogste classificatienauwkeurigheid onder hard-attention baselines (79,77%), terwijl het tegelijkertijd een sterke alignatie met menselijke scanpaths behaalt (gemeten via DTW, NSS, en de center-debiased GCS).
  • Ablatiestudies:
    • Verwijdering van de CNN-feature extractor verlaagt de nauwkeurigheid drastisch.
    • Verwijdering van variance control of gating behoudt de nauwkeurigheid maar verslechtert de menselijke gelijkenis van de scanpaths aanzienlijk.
    • Dit bevestigt dat CNN's de nauwkeurigheid drijven, terwijl variance control en gating de menselijke scanpaths herstellen.
• ImageNet-100 (Schalbaarheid):
  • EVA schaalt succesvol naar hogere resoluties en complexe natuurlijke beelden, waarbij het strikte foveatie-beperkingen respecteert (minder FLOPs dan dichte logit-baselines zoals Saccader).
• COCO-Search18 (Cross-task Generalisatie):
  • Een cruciale test: EVA werd getraind op COCO-classificatie (alleen labels) en getest op de zoektaak in COCO-Search18 zonder finetuning of gaze-supervisie.
  • Resultaat: EVA genereerde scanpaths die sterk overeenkwamen met menselijke zoekgedrag, wat aantoont dat het geleerde sampling-beleid overdraagbaar is naar verschillende gedragsregimes.

Betekenis en Conclusie

Het paper biedt een principieel kader voor betrouwbare en mensinterpreteerbare actieve visie.

• Interpreteerbaarheid: In plaats van een "black box" te zijn, biedt EVA een auditbaar record van welke informatie het model heeft opgevraagd om tot een beslissing te komen. Gebruikers kunnen de volgorde van de "flitsen" inspecteren.
• Design Inzicht: Het toont aan dat de spanning tussen prestatie en menselijke gelijkenis niet onvermijdelijk is, maar kan worden beheerd door specifieke architecturale mechanismen (zoals variance control) in te bouwen.
• Toekomstperspectief: EVA vormt een basis voor systemen waarin mens en machine samenwerken (human-in-the-loop), waarbij het model zijn redeneringsproces transparant maakt door middel van zijn oogbewegingen.

Kortom, EVA slaagt erin om de "alignment tax" te verlagen door een model te bouwen dat niet alleen goed kijkt (nauwkeurigheid), maar ook op een manier kijkt die voor mensen begrijpelijk en voorspelbaar is, puur door het optimaliseren van de taaknauwkeurigheid.