Doomed to Re-Annotate, Forever: The ImageNet Story

Stel je voor dat je een robot probeert te leren hoe hij de wereld ziet, net zoals een kind dat leert dieren te herkennen in een dierentuin. Om dit te doen, heb je een enorme fotoboek nodig waarin elke foto is gelabeld met de juiste naam van wat erin te zien is. In de wereld van computer vision wordt dit "fotoboek" ImageNet genoemd. Al meer dan een decennium is het de gouden standaard, de ultieme test om te zien of de ogen van een robot scherper worden. De test is simpel: laat de robot een plaatje zien en vraag: "Wat is het belangrijkste ding op deze foto?" Als de robot het juiste woord raadt, krijgt hij een punt. Deze score, de "Top-1 nauwkeurigheid" genoemd, is de scorebord voor elke grote doorbraak in kunstmatige intelligentie.

Er is echter een addertje onder het gras. Stel je voor dat je fotoboek is geschreven door een gehaaste menigte mensen die niet veel van dieren wisten en per uur werden betaald. Ze zouden misschien een tweede dier in de struiken missen, een speelgoedhond een echte hond noemen, of een reflectie in een spiegel labelen als het eigenlijke object. Na verloop van tijd stapelen deze kleine fouten zich op. Als het testboek slordig is, kun je niet echt zien of de robot slim is of dat hij gewoon geluk had met het raden van de slordige antwoorden. Dit artikel duikt in dat slordige fotoboek om te zien hoe slordig het echt is en of we het kunnen opruimen zonder het scorebord te breken.

De Grote ImageNet-Opruiming: Een Verhaal over Slordige Labels en Slimme Robots

Beschouw de ImageNet-1k dataset als een gigantisch, 50.000 pagina's tellend fotoalbum dat de hele wereld van AI heeft gebruikt om zijn ogen te trainen. Jarenlang hebben onderzoekers dit album behandeld als een heilige tekst, uitgaande van de veronderstelling dat elk label perfect was. Maar de auteurs van dit artikel, een team van de Tsjechische Technische Universiteit in Praag, besloten met een vergrootglas naar het geheel te kijken. Ze stelden een eenvoudige, angstaanjagende vraag: Wat als de antwoorden in ons testboek fout zijn?

Ze keken niet alleen even naar een paar pagina's; ze hebben de volledige validatieset vanaf nul opnieuw geannoteerd. Dit betekent dat ze elke van de 50.000 afbeeldingen opnieuw hebben bekeken, maar dit keer met een veel slimmere, zorgvuldigere aanpak. Ze realiseerden zich dat de oude manier van labelen — waarbij een mens slechts één woord voor een plaatje moest kiezen — was als het proberen te beschrijven van een chaotisch feest door alleen de persoon te benoemen die het dichtst bij de deur staat. Je zou de DJ, de taart of de kat op de tafel kunnen missen.

De Grote Onthulling: Het Album Was een Bende
Toen ze hun werk voltooid hadden, ontdekten ze dat de originele labels verre van perfect waren.

• Het "Fout Antwoord" Percentage: Ongeveer 12% van de afbeeldingen had een volledig verkeerd label. Het is alsof een foto van een kat als een hond wordt gelabeld.
• Het "Ontbrekende Items" Percentage: Een enorme 33,3% van de afbeeldingen bevatte eigenlijk meerdere belangrijke dingen, maar de oude labels kozen er slechts één. Als een foto een hond, een bal en een hek had, zei het oude label misschien alleen "hond", waarbij de rest werd genegeerd.
• Het "Geen Match" Percentage: Verrassend genoeg bevatte 3,8% van de afbeeldingen zelfs niets uit de lijst van 1.000 categorieën waarvoor ze getest moesten worden. Dit waren gewoon lege bladen of dingen die niet aan de regels voldeden.

Om dit te herstellen, creëerde het team ReImageNet. In plaats van mensen te dwingen om één winnaar te kiezen, stond er multilabel annotatie toe. Ze lieten annotatoren zeggen: "Oké, er is een hond, een bal en een hek." Ze voegden ook speciale "attributen" toe om lastige situaties aan te pakken:

• Reflectie: Als je een gezicht in een spiegel ziet, is dat een gezicht? Ja, maar het is een reflectie.
• Rendition (Weergave): Is dat een echt pistool of een speelgoedpistool? Het label moet het verschil weten.
• Crowd (Menigte): Als er vijftig mensen in een foto staan, tellen we ze dan allemaal? Ze creëerden een speciale tag voor groepen zodat annotators niet vijftig piekleine boxen hoefden te tekenen.

Het "Mens + Robot" Team
Een van de meest interessante delen van hun verhaal is hoe ze het deden. Ze huurden niet gewoon een menigte vreemden op het internet in (een methode genaamd crowdsourcing) en hoopten op het beste. Ze ontdekten dat crowdsourcing vaak tot verwarring leidt omdat de regels te moeilijk uit te leggen zijn in een kort handboek.

In plaats daarvan bouwden ze een "dream team". Ze huurden een kleine groep getrainde experts in en gaven hen een superkracht: AI-assistenten. Ze gebruikten krachtige AI-modellen (zoals GPT-4o en anderen) om eerst naar de foto's te kijken en te suggereren wat er te zien was. Vervolgens zouden de menselijke experts die suggesties controleren. Het was een samenwerking: de AI was de snelle, onvermoeibare verkenner, en de mens was de zorgvuldige redacteur. Het artikel vond dat deze combinatie de beste manier was om labels van hoge kwaliteit te krijgen. De AI alleen was niet perfect, en de mensen alleen waren te traag, maar samen bereikten ze een nieuw niveau van nauwkeurigheid.

Wat Gebeurde Er Toen Ze de Robots Testten?
Zodra ze de nieuwe, schone labels hadden, lieten ze de oude AI-modellen de test opnieuw doorlopen. De resultaten waren een mix van "oeps" en "wow".

• De Oude Garde (Supervised Modellen): De traditionele AI-modellen, die getraind waren op de slordige oude labels, verbeterden nauwelijks. Hun scores gingen met slechts 0,05% tot 1,2% omhoog. Het lijkt erop dat ze al goed hadden geleerd om de slordige antwoorden te raden.
• De Nieuwe Generatie (MLLM's): De nieuwere, meer geavanceerde modellen (Multimodale Large Language Models) zagen een enorme sprong. Hun scores namen met 5% tot 6% toe. Dit suggereert dat deze slimmere modellen eigenlijk verward waren door de oude, slordige labels. Toen de labels werden opgeschoond, lieten ze eindelijk zien hoe slim ze werkelijk waren.

De "Inzoomen" Verrassing
Het team deed ook iets slims: ze knipten de specifieke objecten uit de foto's (zoals het uitknippen van een foto van alleen de hond) en testten de robots op die kleine stukjes. Ze ontdekten dat de oude stijl robots erg slecht werden in het herkennen van dingen wanneer de achtergrond weg was. Hun nauwkeurigheid daalde met wel 33%. Dit betekent dat die robots vertrouwden op de achtergrond (zoals weten dat een hond meestal op gras staat) in plaats van daadwerkelijk het object te herkennen. De nieuwe, slimmere modellen waren hier veel beter in, wat bewees dat ze het object daadwerkelijk "zagen".

Het Rimpeleffect
Het artikel waarschuwt ons ook dat deze rommel niet alleen in ImageNet zit. Omdat zoveel andere tests zijn gebouwd met ImageNet als blauwdruk, zijn de fouten als een virus verspreid. De auteurs schatten dat deze afgeleide tests 1,7 tot 5,8 keer meer fouten bevatten dan het origineel. Het is alsof je een nieuw huis bouwt met een blauwdruk die de verkeerde afmetingen heeft; het nieuwe huis zal net zo scheef zijn.

De Conclusie
De auteurs concluderen dat we niet zomaar in één keer een perfecte test kunnen maken. Het is geen eenmalige klus; het is een proces. Je moet blijven controleren, blijven verfijnen en de beste tools die beschikbaar zijn blijven gebruiken. Ze betogen dat de dagen van "one-shot" labeling voorbij zijn. Om de toekomst van AI te bouwen, hebben we een partnerschap nodig tussen zorgvuldige mensen en krachtige AI, die constant elkaars werk controleren.

Kortom, het artikel vertelt ons dat we AI voor een lange tijd hebben beoordeeld op een test die vol typfouten zat. Nu we de typfouten hebben hersteld, zien we dat sommige AI eigenlijk veel slimmer is dan we dachten, terwijl anderen gewoon goed waren in het raden van de foute antwoorden. En de les voor iedereen? Vertrouw een testboek niet alleen omdat het oud is; soms moet je het herschrijven.