All'interno delle vaste menti digitali dell'intelligenza artificiale moderna, esiste uno strato nascosto di attività che i ricercatori stanno iniziando solo ora a mappare. Questi sistemi, noti come modelli linguistici di grandi dimensioni, non pensano in frasi o paragrafi come fanno gli esseri umani. Inveve, elaborano le informazioni attraverso miliardi di minuscoli interruttori interconnessi chiamati neuroni. Quando chiedi a un computer di scrivere una poesia, risolvere un problema matematico o correggere un errore in una riga di codice, gruppi specifici di questi neuroni si illuminano per svolgere il lavoro. Per anni, gli scienziati hanno lottato per capire quali neuroni siano responsabili di quali compiti. La difficoltà risiede nella scala enorme dell'operazione; questi modelli sono così complessi che osservarli mentre lavorano spesso sembra come cercare di comprendere una città guardando un singolo lampione. I metodi precedenti per trovare gli interruttori giusti erano o troppo lenti per essere pratici o così concentrati su singoli momenti da perdere la visione d'insieme del comportamento del sistema nel tempo.

Un team di ricercatori ha introdotto un nuovo modo per ascoltare queste menti digitali, un metodo che chiamano RACE. Invece di cercare di fare l'ingegneria inversa dell'intero sistema o calcolare l'influenza di ogni singola connessione, questo approccio tratta l'attività interna del modello come un modello statistico. I ricercatori si sono resi conto che i neuroni che servono a uno scopo specifico, come scrivere codice Python o risolvere l'algebra, non si attivano solo casualmente. Al contrario, essi contribuiscono allo stato interno del modello in modo coerente e stabile ogni volta che viene eseguito quel tipo specifico di compito. Tracciando questi contributi coerenti attraverso migliaia di esempi, il team può identificare quali neuroni siano i veri specialisti per un determinato lavoro. Non si tratta di trovare un neurone che si attiva una volta e poi dimentica; si tratta di trovare quelli che si presentano regolarmente al lavoro ogni volta che il modello viene chiamato a fare qualcosa di specifico.

Il cuore di questa scoperta è un cambiamento nel modo in cui gli scienziati misurano l'importanza. Le tecniche più vecchie si affidavano spesso a calcoli complessi che richiedevano al computer di eseguire la propria logica a ritroso, un processo che era incredibilmente lento e computazionalmente costoso. Il nuovo metodo, RACE, funziona in un unico passaggio in avanti, osservando come il modello elabora le informazioni mentre fluiscono naturalmente dall'inizio alla fine. Esamina i piccoli aggiornamenti che ogni neurone apporta al flusso della memoria interna del modello. Se un neurone spinge costantemente il pensiero del modello nella direzione giusta per un compito specifico, riceve un punteggio alto. Se il suo comportamento è erratico o se aiuta solo in rare occasioni, viene ignorato. Ciò consente ai ricercatori di costruire una mappa affidabile delle capacità del modello senza dover fermare e calcolare ogni possibile risultato.

Per testare se questa mappa fosse accurata, i ricercatori hanno eseguito una serie di esperimenti controllati su diversi modelli linguistici di grandi dimensioni, che vanno da modelli più piccoli da 4 miliardi di parametri a massicci modelli da 32 miliardi di parametri. Si sono concentrati su tre aree distinte: scrivere codice informatico, risolvere problemi matematici e controllare comportamenti specifici come l'uso di una particolare struttura di frase. In ogni caso, hanno utilizzato il metodo RACE per identificare i neuroni principali responsabili di quel compito. Successivamente, hanno eseguito un'operazione delicata: hanno temporaneamente messo a tacere quei neuroni specifici mentre il modello era in funzione.

I risultati sono stati sorprendenti. Quando i ricercatori hanno silenziato i neuroni identificati da RACE per i compiti di programmazione, la capacità del modello di scrivere codice corretto è diminuita significamente, mentre la sua capacità di rispondere a domande generali o risolvere problemi matematici è rimasta ampiamente intatta. Lo stesso è accaduto per la matematica; silenziare i neuroni della matematica ha compromesso le sue capacità di ragionamento senza influenzare le sue abilità linguistiche generali. Ciò ha confermato che il metodo aveva isolato con successo i componenti specifici responsabili di tali abilità. Al contrario, quando hanno utilizzato metodi più vecchi e meno precisi per selezionare i neuroni da silenziare, il danno è stato spesso diffuso, danneggiando le prestazioni del modello in modo globale piuttosto che colpire un solo compito.

Una delle scoperte più importanti è stata la differenza tra i due tipi principali di neuroni all'interno di questi modelli. I ricercatori hanno scoperto che i neuroni responsabili del ragionamento matematico e della programmazione erano altamente specializzati e raramente condivisi tra i compiti. Tuttavia, i neuroni coinvolti nell'attenzione — la parte del modello che decide su quali parole concentrarsi — erano molto più generici. Questi neuroni dell'attenzione sembravano essere strumenti riutilizzabili che aiutavano il modello in quasi tutto, dalla scrittura di poesie alla risoluzione di equazioni. Questa distinzione spiega perché alcune parti del modello siano più facili da potare o modificare rispetto ad altre; le parti specializzate sono come strumenti dedicati in un'officina, mentre le parti dell'attenzione sono come le mani che li reggono.

I ricercatori hanno anche scoperto che il loro metodo era incredibilmente efficiente. Mentre le tecniche precedenti richiedevano al computer di eseguire calcoli equivalenti a far girare il modello centoquarantatré volte solo per classificare i neuroni, il nuovo metodo richiedeva meno di una corsa completa. Questa velocità rende possibile analizzare e sottoporre a audit modelli molto più grandi di quanto mai fatto prima. Significa anche che in futuro, gli sviluppatori potrebbero potenzialmente usare questa tecnica per perfezionare i modelli, rimuovendo comportamenti indesiderati o potenziando abilità specifiche senza dover riaddestrare l'intero sistema da zero.

Lo studio ha anche esaminato come questi neuroni specializzati si comportano quando il modello viene interrogato su qualcosa di leggermente diverso da ciò per cui è stato addestrato. Quando i ricercatori hanno testato il modello su nuovi problemi matematici mai visti prima, i neuroni identificati da RACE hanno comunque causato un calo significativo delle prestazioni quando silenziati. Ciò suggerisce che il metodo trova la meccanica fondamentale della competenza, non solo un modello memorizzato per un set specifico di domande. La capacità del modello di generalizzare la sua conoscenza si basa su questi stessi neuroni stabili.

Forse la scoperta più sottile riguardava la capacità del modello di utilizzare scelte stilistiche specifiche, come scrivere codice Python che utilizza un particolare tipo di struttura di lista. I ricercatori hanno addestrato il sistema a riconoscere questo stile specifico e poi hanno silenziato i neuroni corrispondenti. Il risultato è stato un modello che poteva ancora scrivere codice, ma che ha quasi completamente smesso di usare quello stile specifico, anche se poteva ancora scrivere codice corretto in altri modi. Questo livello di precisione suggerisce che il metodo può isolare comportamenti molto ristretti, offrendo un modo per guidare l'output del modello con precisione chirurgica.

I ricercatori riconoscono che il loro metodo non è una soluzione perfetta per ogni problema. Hanno scoperto che funziona meglio per le parti del modello che elaborano le informazioni in modo diretto e additivo, ma è meno efficace nel mappare le interazioni più complesse e sovrapposte che avvengono nei meccanismi di attenzione. Notano anche che il metodo si basa su schemi lineari, il che significa che potrebbe perdere alcuni dei modi più intricati e non lineari in cui i neuroni lavorano insieme. Tuttavia, per la stragrande maggioranza dei compiti testati, l'approccio ha fornito un modo chiaro, affidabile e veloce per capire cosa sta facendo il modello.

Questo lavoro rappresenta un passo avanti significativo nel campo dell'interpretabilità meccanicistica, che mira ad aprire la "scatola nera" dell'intelligenza artificiale. Fornendo un modo per identificare e isolare componenti funzionali specifici all'interno di questi massicci sistemi, i ricercatori hanno dato un nuovo set di strumenti per comprendere, correggere e migliorare la tecnologia che sta influenzando sempre più il nostro mondo. La capacità di individuare esattamente quali parti di un modello siano responsabili di una specifica abilità significa che possiamo andare oltre le supposizioni e iniziare a prendere decisioni informate su come questi sistemi siano costruiti e su come debbano essere utilizzati. Il percorso da seguire non è più quello di cercare di comprendere l'intera città in una volta sola, ma di essere in grado di camminare lungo una strada specifica e sapere esattamente cosa sta accadendo lì.