L'Insegnante Invisibile nella Macchina

Immaginate di cercare di insegnare a un robot a riconoscere un gatto. Ai vecchi tempi, avreste dovuto mostrargli migliaia di foto e catalogare manualmente ognuna di esse come "gatto" o "non gatto". Questo è come assumere un tutor umano per ogni singola lezione. Ma recentemente, gli scienziati hanno scoperto un modo per lasciare che il robot impari da solo, senza che un essere umano indichi lo schermo. Questo si chiama apprendimento auto-supervisionato (self-supervised learning). Il robot guarda un'immagine, crea due versioni leggermente diverse di essa (come un ritaglio o un cambio di colore) e cerca di capire che queste due versioni sono in realtà lo stesso oggetto. Impara confrontando "amici" (immagini simili) con "estranei" (immagini diverse).

Tuttavia, c'è un problema. Se gli "estranei" sono troppo ovvi — come mostrare la foto di un tostapane accanto a un gatto — il robot non impara nulla di nuovo. È come un quiz in cui le risposte sono troppo facili: non diventi più intelligente. Per imparare profondamente, il robot ha bisogno di estranei "difficili": immagini che sembrano quasi un gatto, ma non lo sono. È qui che entrano in gioco i Vision Transformer. Questi sono un nuovo tipo di architettura cerebrale per i computer che sono incredibilmente bravi a individuare schemi nelle immagini, un po' come i nostri occhi che si concentrano su dettagli specifici in una stanza affollata. La grande domanda che i ricercatori si pongono è: come possiamo rendere queste potenti macchine ancora più capaci di apprendere, fornendo loro il giusto tipo di pratica difficile?

---

La Grande Idea del Paper: Creare i Perfetti "Villain" Finti

Questo articolo, intitolato "Unsupervised Training of Vision Transformers with Synthetic Negatives", non inventa un modo completamente nuovo per costruire un cervello robotico. Invece, gli autori — ricercatori dell'Imperial College di Londra — hanno deciso di esaminare una parte specifica del processo di apprendimento che tutti avevano in un certo senso ignorato: l'esempio "negativo".

Nel mondo del machine learning, un "negativo" è semplicemente un esempio di qualcosa che non è l'obiettivo. Se stai insegnando a un modello a riconoscere un cane, una foto di un gatto è un negativo. Di solito, i computer prendono semplicemente negativi casuali da un mucchio di altre immagini. Ma gli autori si sono resi conto che questi negativi casuali sono spesso troppo facili. Sono come scegliere una persona a caso in una folla per confrontarla con una celebrità specifica; è ovvio che non siano la stessa persona.

Gli autori si sono chiesti: e se potessimo creare dei "negativi difficili sintetici"? Questi non sono foto reali scattate da una fotocamera. Sono invece esempi "finti" creati matematicamente che si trovano proprio sul limite di essere confondenti. Sembrano quasi l'obiettivo, costringendo il computer a strizzare davvero gli occhi per distinguere le piccole differenze.

Pensate a come ci si allena per un torneo di arti marziali. Se vi allenate solo contro avversari molto più deboli di voi, non diventerete mai bravi. Ma se vi allenate contro un partner che è solo leggermente migliore di voi, o che imita perfettamente le vostre mosse, dovete imparare molto più velocemente. Il metodo degli autori, che chiamano SynBY, agisce come un partner di allenamento intelligente. Prende le immagini "estranee" che il computer sta già osservando, trova quelle che sono le più confondenti (i negativi più "difficili") e poi le mescola insieme per creare un nuovo esempio super impegnativo. Questo nuovo esempio viene poi reintrodotto nel sistema per rendere il processo di apprendimento più duro ed efficace.

Come lo hanno testato e cosa hanno scoperto

Il team ha testato questa idea utilizzando due tipi popolari di Vision Transformer: DeiT-S e Swin-T. Hanno eseguito i loro esperimenti su un enorme dataset chiamato ImageNet, che contiene milioni di immagini. Hanno confrontato il loro nuovo metodo (SynBY) con il modo standard di procedere (MoBY).

I risultati sono stati promettenti. Quando hanno utilizzato i loro negativi difficili sintetici, sia i modelli DeiT-S che Swin-T sono diventati leggermente più bravi nel riconoscere le immagini. Nello specifico, i modelli hanno migliorato la loro precisione dello 0,2% rispetto al metodo standard. Sebbene questa cifra possa sembrare piccola, nel mondo dell'IA di alto livello, un piccolo incremento come quello è un grande evento perché significa che i modelli stanno imparando caratteristiche più "discriminative": stanno diventando più bravi a individuare i dettagli sottili che rendono un gatto un gatto e non un cane.

Gli autori hanno anche osservato come i modelli stavano pensando. Hanno visualizzato l' "attenzione" dei modelli (quali parti dell'immagine il computer stava focalizzando). Hanno scoperto che, con i loro negativi sintetici, i modelli hanno iniziato a concentrarsi su parti dell'immagine più specifiche e significative, piuttosto che sulla forma generale. È come se il robot fosse passato dal guardare una massa informe dicendo "quello è un animale" al guardare i baffi e le orecchie dicendo "quello è sicuramente un gatto".

Cosa hanno escluso e cosa rimane sconosciuto

Uno dei risultati più interessanti del paper è ciò che gli autori non hanno avuto bisogno di fare. I metodi precedenti spesso richiedevano una serie di "trucchi" extra per mantenere stabile l'apprendimento, come cambiare il modo in cui il computer elabora i dati o utilizzare impostazioni molto specifiche. Gli autori hanno scoperto che, utilizzando i loro negativi difficili sintetici, potevano in realtà abbandonare molti di questi truchi extra. Gli esempi difficili "finti" erano così validi nell'insegnare al modello che il sistema non aveva bisogno di molto altro aiuto per restare in carreggiata. Ciò suggerisce che i negativi sintetici agiscono come un potente regolatore naturale, semplificando l'intero processo.

Tuttavia, il paper è attento a non esagerare con l'entusiasmo per i risultati. Gli autori ammettono che i loro test dettagliati sono stati eseguiti su un sottoinsieme più piccolo di immagini chiamato ImageNet-100 per alcuni esperimenti, e non hanno ancora testato questo approccio su compiti più complessi come la comprensione dei video o la combinazione di immagini con il testo. Notano anche che, sebbene i modelli siano migliorati, non sono ancora bravi quanto i modelli addestrati con etichette umane (apprendimento supervisionato). Il paper suggerisce che si tratti di un passo avanti solido, ma non è una soluzione magica che risolve tutto.

La Conclusione

In breve, questo paper suggerisce che se volete che un computer impari davvero bene dalle immagini senza l'aiuto umano, non dovete limitarvi a lanciarvi contro di esso esempi casuali. Dovete dargli quelli "difficili" apposta. Creando matematicamente esempi finti e sfidanti che si trovano proprio sul confine della confusione, gli autori hanno dimostrato che i Vision Transformer possono imparare a vedere il mondo con una messa a fuoco più nitida. È un piccolo ma efficace accorgimento: rendi la pratica più dura e lo studente diventerà più intelligente.