Screening Is Effective for Visual Recognition

Stel je voor dat je een robot probeert te leren om een kat te herkennen in een foto. In de wereld van kunstmatige intelligentie is dit een taak voor "computer vision" (computervisie). Een lange tijd was de beste manier om dit te doen het gebruik van een speciaal soort brein genaamd een Vision Transformer (ViT). Denk aan een ViT als een supergeorganiseerde bibliothecaris die een foto neemt, deze in honderden kleine vierkante puzzelstukjes (patches) hakt, en vervolgens probeert het hele verhaal te begrijpen door elk stukje aan elk ander stukje te vragen om met elkaar te praten. De bibliothecaris gebruikt een regel genaamd "self-attention" om te beslissen welke stukjes belangrijk zijn. Het is als een klaslokaal waar elke leerling zijn hand opsteekt en de leraar (de bibliothecaris) moet beslissen wie er mag spreken. De leraar gebruikt een systeem genaamd "softmax" om de spreektijd te verdelen. Het probleem is dat dit systeem de leraar dwingt om ook wat tijd te geven aan iedereen, zelfs aan de leerlingen die fluisteren over het weer of uit het raam staren. In een foto van een kat kunnen die "fluisterende" stukjes de grasmat op de achtergrond of een wazige muur zijn. Omdat de leraar niet "nee" kan zeggen tegen hen, worden ze in het uiteindelijke verhaal gemengd, wat de robot soms in verwarring brengt over waar hij eigenlijk naar kijkt.

Dit is waar een nieuw idee genaamd "Screening" (Schermen) om de hoek komt kijken. Oorspronkelijk uitgevonden voor het lezen van tekst, is Screening als een strenge uitsmijter bij een club. In plaats van het schijnwerperlicht over iedereen te verdelen, controleert de uitsmijter de identiteitsbewijzen (relevantie) van elke persoon aan de hand van een specifieke regel. Als je niet aan de standaard voldoet, kom je er niet in. Je krijgt een harde "nee". Dit paper, getiteld "Screening Is Effective for Visual Recognition" door Shunya Shimomura en Kazuhiro Hotta van Meijo University, stelt een grote vraag: Kunnen we deze "uitsmijter"-stijl van Screening gebruiken voor afbeeldingen, niet alleen voor woorden? Ze stellen een nieuw model voor genaald VisionScreen. In plaats van elk puzzelstukje te laten strijden om aandacht, laat VisionScreen elk stukje onafhankelijk beslissen of zijn buren daadwerkelijk relevant zijn. Als een stukje achtergrondgras niet belangrijk is voor de kat, kan VisionScreen het expliciet uit het gesprek trappen. De auteurs suggereren dat de robot door dit te doen puur op de kat kan focussen, de ruis negeert en beter wordt in het herkennen van dingen zonder een groter, ingewikkelder brein nodig te hebben.

Het Nieuwe Model: VisionScreen

De auteurs bouwden VisionScreen om het "klaslokaal-competitieprobleem" van standaard ViT's op te lossen. In een normale ViT, als een stukje van het oor van de kat praat met een stukje van de achtergrond, kan het stukje van de achtergrond nog steeds een klein beetje aandacht krijgen, simpelweg omdat het stukje van het oor met iemand praat. Het is een relatief spel; je krijgt alleen aandacht als je beter bent dan de andere ruisende stukjes. VisionScreen verandert de regels naar een absoluut spel. Het vraagt: "Is dit stukje relevant?" Als het antwoord "nee" is, is de relevantiescore nul en wordt het stukje volledig genegeerd.

Om dit werkend te krijgen voor afbeeldingen, moesten het team creatieve techniek toepassen. Afbeeldingen zijn tweedimensionale rasters (zoals een schaakbord), terwijl de oorspronkelijke Screening werd ontworpen voor eendimensionale regels tekst (zoals een zin). De auteurs hebben het mechanisme uitgebreid om de 2D-ruimte aan te kunnen. Ze introduceerden een "spatial softmask", die werkt als een flexibele, onzichtbare bubbel rond elk puzzelstukje. Binnen deze bubbel kan het stukje met zijn buren praten. De grootte van deze bubbel staat niet vast; het model leert hoe groot de bubbel moet zijn voor een specifieke taak. Sommige delen van het model hebben misschien een kleine bubbel nodig om fijne details (zoals snorharen) te bekijken, terwijl andere delen een enorme bubbel nodig hebben om het hele lichaam van de kat te zien.

Wat Ze Vonden

Het team testte VisionScreen op twee beroemde beelddatasets: ImageNet-1k (een enorme collectie van 1,2 miljoen afbeeldingen) en CIFAR-100 (een kleinere set van 60.000 afbeeldingen met 100 verschillende categorieën). Ze vergeleken hun nieuwe model met een standaard, kleine versie van de Vision Transformer genaamd ViT-Tiny/16.

De resultaten waren veelbelovend. Op ImageNet-1k behaalde VisionScreen een top-1 nauwkeurigheid van 72,5%, terwijl de standaard ViT-Tiny/16 slechts 68,1% bereikte. Dat is een winst van 4,4 procentpunt. Op de kleinere CIFAR-100 dataset scoorde VisionScreen 52,4%, waarmee het de standaard van 50,3% versloeg. Opvallend genoeg deed VisionScreen dit met iets minder parameters (ongeveer 5,4 miljoen vergeleken met de 5,7 miljoen van de ViT). Dit suggereert dat het model niet alleen beter werd omdat het groter was; het werd beter omdat het slimmer was in waar het zijn aandacht op vestigde.

Het Verschil Zien

Om te begrijpen waarom VisionScreen beter werkte, keken de auteurs onder de motorkap. Ze visualiseerden hoe het model de afbeeldingen "zag". Bij het bekijken van een foto van een vis (specifiek een Tench), leek de standaard ViT afgeleid te raken. Het besteedde aandacht aan de hengel en de molen op de achtergrond, waardoor deze details werden gemengd in zijn idee van wat een vis is. Het was also laat de bibliothecaris in de war raakte door de achtergrondruis.

In contrast hiermee was VisionScreen veel gefocuster. Het verwierp expliciet de visuitrusting en het achtergrondwater, en concentreerde de aandacht bijna volledig op de vis zelf. De visualisaties lieten zien dat VisionScreen zijn aandacht niet dun over de hele afbeelding verspreidde. In plaats daarvan creëerde het scherpe, duidelijke verbindingen tussen de relevante delen van de vis. Dit suggereert dat door absolute relevantie (de uitsmijter) te gebruiken in plaats van relatieve competitie (de klasstemming), het model heeft geleerd om "spurious correlations" (schijncorrelaties) te negeren — die accidentele verbindingen tussen een kat en een specif kind type gras, of een vis en een hengel.

De Kleine Lettertjes

De auteurs merken er voorzichtig bij op dat hoewel deze resultaten sterk zijn, ze gebaseerd zijn op specifieke experimenten. Ze trainden de modellen vanaf nul op deze datasets en vonden dat VisionScreen niet alleen hogere scores behaalde, maar ook een lagere "validation loss" (een maatstaf voor fouten) vertoonde tijdens de training, wat suggereert dat het leerproces stabieler was. Ze testten ook een "gating" mechanisme (een schakelaar die kenmerken aan- of uitzet) en vonden dat het verwijderen hiervan de nauwkeurigheid met 0,7 procentpunt verlaagde, wat suggereert dat deze schakelaar helpt om de focus te verfijnen.

De paper beweert echter niet dat dit de definitieve oplossing is voor alle computer vision. De auteurs suggereren dat deze methode een krachtig alternatief is voor de huidige standaard, een manier om modellen te bouwen die efficiënter zijn en minder vatbaar voor afleiding. Ze concluderen dat Screening effectief kan zijn voor visuele herkenning, en een nieuwe weg biedt waarbij modellen leren om "nee" te zeggen tegen irrelevante informatie, net zoals een goede lezer de ruis in een bibliotheek negeert om zich op het verhaal te concentreren.