La vita segreta di una cellula cerebrale

Immagina di cercare di insegnare a un computer a riconoscere un gatto in una foto. Costruisci un cervello digitale composto da strati di piccoli e semplici processori chiamati "neuroni". Nella versione standard di questi cervelli digitali, ogni neurone agzisce come un robot rigido e monomaniacale. Riceve informazioni, elabora i numeri e sputa fuori un'unica risposta definitiva: un numero specifico. Se il robot dice "0,8", quella è l'unica verità che conosce. Non sa se sta indovinando, se la foto è sfocata o se ha solo una brutta giornata. È un mondo di certezza assoluta, anche quando il mondo è caotico.

Ma la vita reale è piena di "forse". Quando guardi una forma sfocata nella nebbia, non vedi solo "gatto" o "non gatto"; senti un po' di incertezza. Gli scienziati cercano da tempo di insegnare ai computer a provare questa incertezza, solitamente scuotendo l'intero cervello o aggiungendo strati extra di dubbio alla fine del processo. Tuttavia, un nuovo studio suggerisce che potremmo guardare il problema dal punto di vista sbagliato. Invece di rendere incerto l'intero cervello, e se rendessimo incerti i piccoli blocchi costruttivi individuali? Questa ricerca pone una domanda semplice e giocosa: e se ogni singolo neurone nel cervello digitale non fosse un robot rigido, ma un piccolo scommettitore che tiene in tasca diverse possibilità?

Incontra EVE: Il neurone che tiene aperte le sue opzioni

In questo articolo, un ricercatore di nome Yves Ruffenach introduce un nuovo tipo di neurone digitale chiamato EVE. Pensa a un neurone standard come a un operaio di fabbrica che stampa lo stesso pezzo specifico ogni volta. EVE, invece, è come un operaio che non si limita a stampare un pezzo; crea un'intera scatola di versioni leggermente diverse di quel pezzo, ne sceglie una a caso e poi la usa per costruire lo strato successivo.

L'articolo chiama questo un "neurone distribuzionale". Invece di trasmettere un singolo numero (come 5,0), EVE trasmette una distribuzione — un'intera nuvola di numeri possibili. Lo fa avendo una "posteriore" interna (una parola altisonante per la sua attuale migliore ipotesi di ciò che potrebbe essere vero) e una "prior" (ciò che pensa sia generalmente possibile). Campiona uno stato "latente" casuale da questa nuvola, usa quello stato casuale per svolgere il suo lavoro e poi trasmette il risultato. Fondamentalmente, il neurone è addestrato a mantenere oneste le proprie ipotesi interne utilizzando una penalità di "regolarizzazione KL", che è come un insegnante che rimprovera gentilmente il neurone se inizia a indovinare selvaggiamente senza un buon motivo.

Lo studio testa questa idea in tre fasi distinte, come uno scienziato che zooma su una singola cellula, poi costruisce un intero organo e infine lo inserisce in una macchina complessa.

Fase 1: Il microscopio
Per prima cosa, i ricercatori hanno isolato un singolo neurone per vedere cosa potesse fare da solo. Hanno impostato un gioco in cui l'obiettivo era prevedere numeri che avevano una quantità specifica e variabile di "rumore" (casualità) associato. Hanno confrontato EVE con altri tre tipi di neuroni:

1. Un neurone deterministico standard e noioso (il robot rigido).
2. Un neurone deterministico "corrispondente" che aveva la stessa potenza di calcolo ma nessuna casualità.
3. Un neurone speciale "eteroschedastico" che gli era stato esplicitamente ordinato di prevedere l'incertezza alla fine del processo.

I risultati sono stati affascinanti. Il robot standard era abbastanza bravo a indovinare il numero, ma terribile nel capire quanto fosse incerto. Il robot "corrispondente" era altrettanto incerto dello standard. Ma EVE? Era una stella. Mentre indovinava i numeri con la stessa precisione del potente robot corrispondente, è diventato incredibilmente bravo a tracciare la vera incertezza. Infatti, si è allineato al vero schema di rumore il 93,9% delle volte, mentre il robot standard era appena sopra lo zero. EVE ha dimosto che un singolo neurone poteva imparare a contenere l'incertezza dentro di sé, non solo all'output.

Fase 2: Lo stack profondo
Successivamente, i ricercatori si sono chiesti: "Funziona se impili 128 di questi neuroni l'uno sull'altro?". Hanno costruito una rete neurale massiccia e profonda (128 strati profondi, con 128 neuroni in ogni strato) per prevedere l'efficienza energetica degli edifici. Questo è un vero test di "composizione": questi neuroni incerti possono lavorare insieme senza che l'intero sistema collassi nel caos?

La risposta è stata un "sì" fragoroso, ma con una precisazione. Quando hanno testato la rete profonda, EVE ha migliorato significativamente la capacità del modello di gestire l'incertezza. Ha ridotto la "Negative Log Likelihood" (un punteggio che misura quanto bene il modello preveda l'intero intervallo di possibilità) di circa il 18,8% e ha migliorato altri punteggi di incertezza tra il 4,5% e l'8,3% in tutti i cinque test eseguiti. Tuttavia, quando si trattava di indovinare il numero esatto (misurato da MSE e MAE), EVE era circa uguale al robot standard, a volte leggermente migliore, a volte leggermente peggiore. La grande vittoria è stata che l'incertezza non è svanita mentre il segnale viaggiava attraverso 128 strati; è rimasta viva e misurabile. I ricercatori hanno notato, tuttavia, che questo comportava un costo: EVE era circa 7,1 volte più lento nell'esecuzione perché doveva gestire tutto quel campionamento e tutta quella matematica extra.

Fase 3: Il ponte Transformer
Infine, i ricercatori hanno provato a inserire EVE in un'architettura "Transformer" moderna, il tipo di cervello usato per i modelli linguistici come quelli che scrivono saggi o chiacchierano con te. Hanno sostituito le parti standard "feed-forward" di un Transformer con i neuroni EVE e hanno chiesto al modello di prevedere la parola successiva in una storia (usando un dataset chiamato PG-19).

I risultati hanno suggerito che EVE può effettivamente essere inserito in questi sistemi complessi e moderni. Il Transformer alimentato da EVE ha migliorato la sua capacità di prevedere la parola successiva (abbassando la "perplessità" da 189,74 a 161,94) e ha avuto più successo nel prevedere la parola giusta (l'accuratezza è passata da 0,1938 a 0,2064). Ha anche prodotto segnali di incertezza Monte Carlo "non degeneri", che è un modo complicato per dire che quando al modello veniva chiesto di indovinare più volte, forniva risposte diverse e interessanti che riflettevano la sua incertezza, invece di ripetere semplicemente lo stesso tentativo. Tuttavia, lo studio ha rilevato che l'incertezza avveniva principalmente nel primo strato della rete; gli strati più profondi non stavano ancora sfruttando appieno il loro potenziale.

Cosa significa questo (e cosa non significa)

L'articolo suggerisce che rendere l'incertezza un'unità fondamentale di computazione, proprio dentro il neurone, è un'idea fattibile e potente. Dimostra che è possibile isolare questo comportamento, costruire reti profonde con esso e persino collegarlo ai modelli di linguaggio più avanzati.

Tuttamente, gli autori sono cauti nel non affermare che si tratti di una soluzione magica. Escludono esplicitamente l'idea che si tratti solo di avere più potenza di calcolo; un neurone standard con la stessa potenza non ha ottenuto gli stessi risultati. Notano anche che, sebbene EVE sia eccellente con l'incertezza, non sempre vince nel semplice compito di essere "giusto" riguardo al numero esatto. Nei test della rete profonda, i tassi di errore standard (MSE e MAE) erano molto vicini, e a volte il modello standard era leggermente migliore. Inoltre, lo studio ammette che l'attuale versione è più lenta e che l'incertezza nell'esperimento del Transformer non era ancora perfettamente bilanciata tra tutti gli strati.

In breve, EVE suggerisce che se vogliamo che i computer comprendano la confusione del mondo, non dovremmo solo aggiungere un pulsante di "dubbio" alla fine. Dovremmo insegnare ai piccoli blocchi costruttivi stessi a tenere aperte alcune possibilità, a campionarle e a imparare a sentirsi a proprio agio con l'ignoto. È un piccolo, giocoso cambiamento nel modo in cui costruiamo i cervelli digitali, ma uno che potrebbe aiutare loro a vedere il mondo un po' più come facciamo noi.