Part-Coverage and Faithfulness Decouple in ViT Token Pruning for Fine-Grained Visual Categorization

In de wereld van kunstmatige intelligentie is er een groeiende klasse modellen die ontworpen zijn om naar afbeeldingen te kijken en deze te begrijpen, net zoals een mens dat doet. Deze systemen, bekend als Vision Transformers, scannen een afbeelding niet pixel voor pixel in een rechte lijn. In plaats daarvan hakken ze de afbeelding in veel kleine vierkante stukjes, waarbij elk stukje wordt behandeld als een afzonderlijke eenheid van informatie, of een "token". Het model verwerkt al deze tokens vervolgens gezamenlijk, waarbij het afweegt hoeveel aandacht elk stukje verdient om tot een definitieve beslissing te komen. Deze aanpak is ongelooflijk krachtig voor taken zoals het identificeren van een specifieke vogelsoort of een zeldzaam automodel, waarbij het verschil tussen twee categorieën zo subtiel kan zijn als de kromming van een snavel of de vorm van een koplamp. Echter, omdat deze modellen elk afzonderlijk stukje bekijken, kunnen ze erg traag en rekentechnisch duur worden, vooral bij het werken met afbeeldingen met een hoge resolutie. Om ze te versnellen, hebben ingenieurs een techniek ontwikkend die token pruning wordt genoemd. Dit is een methode om de minder belangrijke stukjes vroegtijdig weg te gooien, waarbij alleen de meest relevante worden behouden om tijd en energie te besparen. De kritische vraag is altijd geweest: hoe bepalen we welke stukjes het belangrijkst zijn?

Jarenlang vertrouwde de standaardmanier om deze beslissing te nemen op een specif으로 signaal binnen het model, waarbij het systeem in feite werd gevraagd te kijken naar waar zijn eigen "focus" van nature naartoe werd getrokken. Onderzoekers gingen ervan uit dat als het model aandacht besteedde aan een stukje, dat stukje wel de cruciale details voor identificatie moest bevatten. Een nieuw onderzoek daagt deze langgekoesterde aanname echter uit. De onderzoekers ontdekten dat de methode die wordt gebruikt om te beslissen welke stukjes behouden blijven voor snelheid, niet noodzakelijkerwijs dezelfde methode is die ervoor zorgt dat het model daadwerkelijk naar de juiste delen van het object kijkt. Ze ontdekten dat een systeem dat geoptimaliseerd is om de stukjes te behouden die het beste overeenkomen met de fysieke vorm van een vogel of een auto, vaak beslissingen neemt die even betrouwbaar zijn als het standaard systeem, maar met een totaal andere interne logica. Sterker nog, de twee doelen — het behouden van de juiste fysieke onderdelen en het behouden van de juiste logica voor het uiteindelijke antwoord — kunnen verschillende kanten op trekken, wat betekent dat het hulpmiddel dat wordt gebruikt om het model te versnellen, de werkelijke reden waarom het model werkt, kan verbergen.

Het team achter dit onderzoek, gevestigd aan universiteiten in Ghana, zette zich af om dit uiteenlopende verband te testen met behulp van fine-grained visual classification, een vakgebied dat gewijd is aan het onderscheiden van zeer gelijkaardige zaken, zoals verschillende modellen van vliegtuigen of rassen van vogels. Ze gebruikten een standaard, kleinere versie van het Vision Transformer-model en testten dit op drie bekende datasets: afbeeldingen van vogels, auto's en vliegtuigen. Hun doel was om twee verschillende manieren te vergelijken om de kwaliteit van een pruning-systeem te beoordelen. De eerste maatstaf keek naar "part coverage" (onderdeeldekking), wat simpelweg controleert of de stukjes die het model heeft behouden, daadwerkelijk overlappen met de echte, fysieke onderdelen van het object, zoals de vleugels van een vliegtuig of de grille van een auto. De tweede maatstaf keek naar "faithfulness" (getrouwheid), wat controleert of de uiteindelijke beslissing van het model hetzelfde blijft of het nu de volledige afbeelding ziet of alleen de geprunede versie. Als een pruning-methode echt goed is, zou deze op beide punten goed moeten scoren.

De onderzoekers testten verschillende strategieën om te beslissen welke stukjes behouden blijven. Eén strategie gebruikte het standaard "attention"-signaal, wat de standaardmethode is die de meeste systemen vandaag de dag gebruiken. Ze testten ook een nieuwe strategie die keek naar hoe de interne staat van het model veranderde wanneer de invoer licht werd aangepast, een techniek die een diepere, directere relatie tussen de afbeelding en het uiteindelijke antwoord vastlegt. Toen ze de experimenten uitvoerden, waren de resultaten verrassend. De nieuwe strategie, die gebruikmaakte van dit diepere interne signaal, was aanzienlijk beter in het behouden van de stukjes die de werkelijke onderdelen van de objecten dekten. Op de vliegtuigdataset verbeterde deze nieuwe methode bijvoorbeeld de dekking van de werkelijke vliegtuigonderdelen met meer dan zes procentpunten vergeleken met de standaardmethode. Toch, toen ze de getrouwheid controleerden — het vermogen van het geprunede model om dezelfde correcte beslissing te nemen als het volledige model — waren de twee methoden bijna identiek. De nieuwe methode maakte het model niet minder betrouwbaar; het zorgde er simpelweg voor dat het model vaker naar de juiste dingen keek zonder het uiteindelijke oordeel te veranderen.

Dit bevinding onthult een verborgen kloof in hoe deze systemen momenteel worden geëvalueerd. Lange tijd heeft het vakgebied aangenomen dat als een pruning-methode de nauwkeurigheid van een model behoudt, het ook naar de juiste delen van de afbeelding kijkt. De studie laat zien dat dit niet altijd waar is. Een systeem kan accuraat zijn terwijl het naar de verkeerde stukjes kijkt, of het kan accuraat zijn terwijl het naar de juiste stukjes kijkt maar een andere interne weg gebruikt om daar te komen. De onderzoekers introduceerden een nieuw kader om deze kloof te meten, die ze "decoupling" (ontkoppeling) noemen. Ze ontdekten dat deze kloof het meest zichtbaar is wanneer het model naar de afbeelding kijkt tijdens een specifieke, intermediaire fase van zijn verwerking. Als het model te vroeg of te laat in zijn verwerkingsketen kijkt, verdwijnt het verschil tussen de twee methoden. Ze ontdekten ook dat dit effect het sterkst is wanneer het model gedwongen wordt zeer efficiënt te zijn, waarbij slechts een klein deel van de oorspronkelijke afbeeldingstukjes wordt behouden.

De studie sloot ook zorgvuldig de mogelijkheid uit dat deze verbeteringen simpelweg te danken waren aan het feit dat de nieuwe methode over meer computerkracht of extra parameters beschikte om mee te leren. Door hun nieuwe methode te vergelijken met een versie die dezelfde extra capaciteit had maar niet was getraind met het specifieke nieuwe signaal, bevestigden ze dat de verbetering kwam door de specifieke manier waarop het model werd geleerd naar de afbeelding te kijken, en niet alleen door het hebben van meer instrumenten. Ze ontdekten dat de standaardmethode, die vertrouwt op de natuurlijke aandacht van het model, vaak er niet in slaagde de meest kritieke delen van het object vast te leggen wanneer het model werd gedwongen efficiënt te zijn. In contrast hiermee selecteerde de nieuwe methode consequent de stukjes die overeenkwamen met de fysieke kenmerken die mensen zouden gebruiken om het object te identificeren.

Deze ontdekking is belangrijk omdat het verandert hoe we deze AI-systemen bouwen en vertrouwen. Als een ontwikkelaar een snel systeem wil maken voor het identificeren van vogelsoorten, kan hij niet simpelweg aannemen dat de standaard pruning-methode voldoende is. Hij krijgt misschien een snel systeem dat werkt, maar het negeert misschien juist de veren of de snavelvormen die de soort definiëren. De studie suggereert dat door een ander trainingssignaal te gebruiken, ze een systeem kunnen krijgen dat net zo snel en net zo accuraat is, maar dat ook daadwerkelijk naar de snavel en vleugels van de vogel kijkt. De onderzoekers benadrukken dat dit geen magische oplossing is die voor elke situatie werkt; het effect hangt sterk af van de specifieke grootte van het model en hoeveel van de afbeelding wordt behouden. Echter, voor de specifieke soorten kleine, efficiënte modellen die in veel praktische toepassingen worden gebruikt, biedt de nieuwe aanpak een duidelijk pad naar betere prestaties.

De onderzoekers merkten ook op dat dit fenomeen niet universeel is. Wanneer ze een veel grotere, krachtigere versie van het model testten, verdween het verschil tussen de twee methoden. Dit suggereert dat het probleem specifiek is voor de beperkingen van kleinere, snellere modellen die vaak in praktische toepassingen worden gebruikt. In deze kleinere modellen is de standaardmanier om te beslissen wat behouden moet worden niet zo precies als het zou kunnen zijn. De studie biedt een duidelijke kaart voor ingenieurs: als je wilt dat je model snel is en je wilt ook dat het naar de juiste delen van de afbeelding kijkt, moet je het nieuwe trainingssignaal gebruiken. Als je alleen geeft om de uiteindelijke snelheid en nauwkeurigheid, kan de oude methode misschien nog steeds werken, maar je neemt het risico dat het model zijn beslissingen om de verkeerde redenen neemt.

Uiteindelijk brengt dit werk een nieuw niveau van helderheid in het vakgebied van computer vision. Het laat zien dat efficiëntie en uitlegbaarheid niet altijd hetzelfde zijn. Een model kan efficiënt zijn zonder transparant te zijn, en het kan transparant zijn zonder efficiënt te zijn. Door deze twee doelen van elkaar te scheiden, hebben de onderzoekers de wetenschappelijke gemeenschap een betere manier gegeven om deze systemen te meten en te verbeteren. Ze hebben aangetoond dat we met de juiste training zowel onze cake kunnen hebben als deze kunnen opeten: een systeem dat snel genoeg is om op een telefoon te draaien, accuraat genoeg om een zeldzame vogel te identificeren, en eerlijk genoeg om ons precies te laten zien naar welk deel van de vogel het kijkt. Dit is een belangrijke stap voorwaarts in het maken van kunstmatige intelligentie die niet alleen krachtig, maar ook begrijpelijk en betrouwbaar is.