Doomed to Re-Annotate, Forever: The ImageNet Story

Immagina di dover insegnare a un robot come vedere il mondo, proprio come un bambino che impara a riconoscere gli animali allo zoo. Per farlo, hai bisogno di un enorme libro illustrato dove ogni foto è etichettata con il nome corretto di ciò che contiene. Nel mondo della visione artificiale, questo "libro illustrato" è chiamato ImageNet. Per oltre un decennio, è stato lo standard di riferimento, il test definitivo per vedere se gli occhi di un robot stanno diventando più acuti. Il test è semplice: mostra al robot un'immagine e chiedi: "Qual è la cosa principale in questa foto?". Se il robot indovina la parola corretta, ottiene un punto. Questo punteggio, chiamato "accuratezza Top-1", è stato il tabellone segnapunti per ogni grande progresso nell'intelligenza artificiale.

Tuttavia, c'è un problema. Immagina se il tuo libro illustrato fosse stato scritto da una folla frettolosa di persone che non sapevano molto di animali e venivano pagate a ore. Potrebbero mancare un secondo animale nascosto tra i cespugli, chiamare un cane giocattolo un vero cane, o etichettare il riflesso di uno specchio come l'oggetto reale. Con il tempo, questi piccoli errori si accumulano. Se il libro del test è disordinato, non puoi davvero capire se il robot sia intelligente o se sia stato solo fortunato a indovinare le risposte disordinate. Questo articolo analizza proprio quel libro illustrato disordinato per vedere quanto sia realmente un pasticcio e se possiamo pulirlo senza rompere il tabellone segnapunti.

La Grande Pulizia di ImageNet: Una Storia di Etichette Disordinate e Robot Intelligenti

Pensa al dataset ImageNet-1k come a un gigantesco album fotografico di 50.000 pagine che l'intero mondo dell'IA ha utilizzato per addestrare i suoi occhi. Per anni, i ricercatori hanno trattato questo album come un testo sacro, assumendo che ogni etichetta fosse perfetta. Ma gli autori di questo articolo, un team della Facoltà di Ingegneria Tecnica di Praga, hanno deciso di passare una lente d'ingrandimento su tutto quanto. Si sono posti una domanda semplice, ma terrificante: E se le risposte nel nostro libro di testo fossero sbagliate?

Non si sono limitati a dare un'occhiata a poche pagine; hanno ri-annotato l'intero set di validazione da zero. Ciò significa che hanno esaminato nuovamente ogni singola una delle 50.000 immagini, ma questa volta con un approccio molto più intelligente e attento. Si sono resi conto che il vecchio modo di etichettare — dove un essere umano doveva scegliere un unico termine per un'immagine — era come cercare di descrivere una festa caotica nominando solo la persona in piedi più vicina alla porta. Si potrebbe perdere il DJ, la torta o il gatto sul tavolo.

La Grande Rivelazione: L'Album Era un Disastro
Quando hanno terminato il lavoro, hanno scoperto che le etichette originali erano tutt'altro che perfette.

• Il tasso di "Risposta Sbagliata": Circa il 12% delle immagini aveva l'etichetta completamente errata. È come una foto di un gatto etichettata come un cane.
• Il tasso di "Elementi Mancanti": Un incredibile 33,3% delle immagini conteneva in realtà molteplici cose importanti, ma le vecchie etichette ne sceglievano solo una. Se una foto mostrava un cane, una palla e una recinzione, la vecchia etichetta poteva dire solo "cane", ignorando il resto.
• Il tasso di "Nessuna Corrispondenza": Sorprendentemente, il 3,8% delle immagini non conteneva nemmeno nulla tra le 1.000 categorie che dovevano essere testate. Erano semplicemente fogli bianchi o cose che non rientravano nelle regole.

Per risolvere il problema, il team ha creato ReImageNet. Invece di costringere gli esseri umani a scegliere un unico vincitore, hanno permesso le annotazioni multilabel. Hanno permesso agli annotatori di dire: "Ok, c'è un cane, una palla e una recinzione". Hanno anche aggiunto "attributi" speciali per gestire situazioni complicate:

• Riflesso: Se vedi un volto in uno specchio, è un volto? Sì, ma è un riflesso.
• Rappresentazione: Quella è una pistola vera o un giocattolo? L'etichetta deve conoscere la differenza.
• Folla: Se ci sono cinquanta persone in una foto, le contiamo tutte? Hanno creato un tag speciale per i gruppi in modo che gli annotatori non dovessero disegnare cinquanta minuscole caselle.

Il Team "Umano + Robot"
Uno degli aspetti più interessanti della loro storia è come l'hanno fatto. Non hanno semplicemente assunto una folla di sconosciuti su internet (un metodo chiamato crowdsourcing) sperando nel meglio. Hanno scoperto che il crowdsourcing spesso porta a confusione perché le regole sono troppo difficili da spiegare in un breve manuale.

Inveve, hanno costruito un "team dei sogni". Hanno assunto un piccolo gruppo di esperti formati e hanno dato loro un superpotere: assistenti IA. Hanno utilizzato modelli di IA potenti (come GPT-4o e altri) per guardare prima le foto e suggerire cosa ci fosse dentro. Poi, gli esperti umani avrebbero controllato quei suggerimenti. È stata una collaborazione: l'IA era la sentinella veloce e instancabile, e l'umano era l'editor attento. L'IA era la parte veloce e instancabile, l'umano era l'editor attento, ma insieme hanno raggiunto un nuovo livello di accuratezza. L'IA da sola non era perfetta, e gli umani da soli erano troppo lenti, ma insieme hanno raggiunto un nuovo livello di precisione.

Cosa è Successo Quando Hanno Testato i Robot?
Una volta ottenute le nuove etichette pulite, hanno sottoposto i vecchi modelli di IA al test un'altra volta. I risultati sono stati un misto di "ops" e "wow".

• La Vecchia Guardia (Modelli Supervisionati): I modelli di IA tradizionali, che erano stati addestrati sulle vecchie etichette disordinate, non sono migliorati molto. I loro punteggi sono aumentati solo dello 0,05% - 1,2%. Sembra che avessero già imparato abbastanza bene a indovinare le risposte disordinate.
• I Nuovi Arrivati (MLLM): I modelli più recenti e avanzati (Modelli Linguistici di Grandi Dimensioni Multimodali) hanno visto un salto enorme. I loro punteggi sono aumentati del 5% - 6%. Questo suggerisce che questi modelli più intelligenti erano in realtà confusi dalle vecchie etichette disordinate. Quando le etichette sono state pulite, hanno finalmente mostrato quanto fossero davvero intelligenti.

La Sorpresa dello "Zoom"
Il team ha anche fatto una cosa astuta: ha ritagliato gli oggetti specifici dalle foto (come ritagliare l'immagine di un solo cane) e ha testato i robot su questi piccoli pezzi. Hanno scoperto che i vecchi tipi di robot diventavano terribili nel riconoscere le cose quando lo sfondo veniva rimosso. La loro accuratezza è scesa fino al 33%. Questo significa che quei robot si affidavano allo sfondo (come sapere che un cane si trova solitamente sull'erba) piuttosto che riconoscere effettivamente il cane. I nuovi modelli più intelligenti erano molto più bravi in questo, dimostrando di "vedere" davvero l'oggetto.

L'Effetto Domino
L'articolo avverte anche che questo disordine non riguarda solo ImageNet. Poiché molti altri test sono stati costruiti usando ImageNet come modello, gli errori si sono diffusi come un virus. Gli autori stimano che questi test derivati abbiano da 1,7 a 5,8 volte più errori rispetto all'originale. È come se avessi costruito una nuova casa usando un progetto che aveva le misure sbagliate; la nuova casa sarebbe altrettanto storta.

La Conclusione
Gli autori concludono che non possiamo costruire un test perfetto in un colpo solo. Non è un lavoro da una tantum; è un processo. Devi continuare a controllare, continuare a perfezionare e continuare a usare i migliori strumenti disponibili. Sostengono che i giorni dell'etichettatura "in un colpo solo" siano finiti. Per costruire il futuro dell'IA, abbiamo bisogno di una partnership tra umani attenti e IA potenti, che controllino costantemente il lavoro l'uno dell'altro.

In breve, l'articolo ci dice che per molto tempo abbiamo valutato l'IA su un test pieno di refusi. Ora che abbiamo corretto i refusi, vediamo che alcune IA sono in realtà molto più intelligenti di quanto pensassimo, mentre altre erano solo brave a indovinare le risposte sbagliate. E la lezione per tutti è: non fidarti di un libro di testo solo perché è vecchio; a volte, devi riscriverlo.