Nel vasto panorama dell'intelligenza artificiale, gli strumenti più potenti sono i grandi modelli linguistici, spesso chiamati transformer. Questi sistemi imparano leggendo enormi quantità di testo e regolando miliardi di numeri interni, noti come pesi, per fare previsioni migliori su ciò che verrà dopo. Per anni, i ricercatori hanno trattato questi numeri interni come una scatola nera: sapevano che i numeri cambiano durante l'addestramento, ma hanno faticato a comprendere esattamente come la natura del testo letto plasmi tali cambiamenti. Una domanda chiave è rimasta senza risposta: la prevedibilità del testo stesso detta quanto i numeri interni del modello crescano o si spostino? Se un modello legge una storia altamente strutturata e prevedibile rispetto a un groviglio caotico e casuale di parole, la differenza si manifesta nella dimensione dei numeri all'interno della macchina?

Un nuovo studio del ricercatore indipendente Tiexin Ding risponde a questa domanda con un grado sorprendente di precisione. Il ricercatore ha scoperto che la crescita di questi numeri interni segue un modello rigoroso e prevedibile basato interamente su una singola proprietà del testo: quanto sia facile indovinare la parola successiva basandosi sulla precedente. Analizzando un tipo specifico di corruzione del testo, lo studio ha scoperto che più il testo è prevedibile, più i numeri interni del modello si espandono in un modo specifico e misurabile. Questa relazione rimane valida indipendentemente dalla velocità di apprendimento utilizzata durante l'addestramento, suggerendo l'esistenza di una legge fondamentale che connette i dati grezzi alla struttura interna della macchina.

La ricerca è iniziata con un'osservazione semplice sulla forma dei numeri all'interno di un modello addestrato. Quando i ricercatori hanno esaminato la dimensione di questi numeri attraverso i diversi strati del modello, hanno scoperto che seguivano un modello costante noto come distribuzione di Weibull. Questo modello è definito da due valori: un fattore di forma che rimane straordinariamente stabile e un fattore di scala che cambia man mano che il modello apprende. La forma stabile significa che la struttura interna del modello rimane coerente, mentre il fattore di scala variabile agisce come una manopola che alza o abbassa il volume a seconda dell'addestramento. Lo studio si è concentrato su questo fattore di scala, chiedendosi cosa lo spinga a crescere.

Per trovare la risposta, il ricercatore ha progettato un esperimento controllato utilizzando un dataset di testo standard. Invece di addestrare su libri o argomenti diversi, il ricercatore ha mantenuto il testo invariato ma lo ha sistematicamente rimescolato. Ha preso una frazione del testo e ha rimescolato l'ordine delle parole, creando uno spettro di dataset che andava da perfettamente ordinati a completamente caotici. Prima di addestrare qualsiasi modello, ha misurato una statistica specifica per ogni versione del testo: la difficoltà media di indovinare la parola successiva dato il termine precedente. Nel testo pulito, la parola successiva era facile da prevedere; nel testo rimescolato, era quasi impossibile.

I risultati hanno rivelato una chiara relazione matematica tra questa prevedibilità e la crescita dei numeri interni del modello. Lo studio ha scoperto che la crescita del fattore di scala non era casuale, ma seguiva una curva specifica basata sulla differenza tra la prevedibilità del testo e una linea di base di totale casualità. Fondamentalmente, la crescita dei numeri è risultata direttamente proporzionale alla quantità di struttura rimanente nel testo. Inoltre, la difficoltà di prevedere la parola successiva nel testo rimescolato seguiva un particolare schema di saturazione curva man mano che il testo diventava più rimescolato. Quando questi due fatti sono stati combinati, hanno costretto la crescita dei numeri a seguire una precisa curva convessa. Ciò significa che la forma della curva non era stata adattata ai dati per caso, ma era una conseguenza necessaria di come la struttura del testo e il processo di apprendimento interagiscono.

Lo studio ha testato questa legge attraverso diverse velocità di apprendimento, che controllano la rapidità con cui il modello aggiorna i suoi numeri. Quando il ricercatore ha regolato questi parametri di velocità, tutte le diverse sessioni di addestramento si sono sovrapposte su un'unica linea unificata. Questo collasso ha dimostrato che la relazione è una proprietà fondamentale del sistema, non un artefatto di un'impostazione specifica. Il ricercatore ha poi eseguito un test rigoroso per vedere se la legge potesse prevedere il futuro. Utilizzando solo la misurazione pre-addestramento della prevedibilità del testo, ha previsto quanto sarebbero cresciuti i numeri interni in una nuova versione non vista del testo rimescolato. La previsione è stata accurata entro un margine di errore molto piccolo, confermando che le proprietà del testo da sole sono sufficienti a prevedere la crescita interna del modello.

Tuttavia, lo studio ha anche tracciato un confine chiaro su dove questa legge si applichi. Quando il ricercatore ha testato il modello sul codice informatico, la previsione è fallita. Il codice ha una bassa prevedibilità, il che dovrebbe teoricamente portare a una crescita elevata secondo la legge, ma i numeri del modello sono cresciuti molto meno del previsto. Il ricercatore ha identificato che il codice si basa pesantemente sulla ripetizione e sui template piuttosto che sulla ricca mappatura contestuale tipica del linguaggio naturale. Ciò suggerisce che, sebbene la prevedibilità sia un motore principale, un secondo fattore — la ridondanza — gioca anch'esso un ruolo. La legge funziona perfettamente per il testo in cui la parola successiva dipende dal contesto, ma fallisce per il testo in cui la parola successiva è prevedibile semplicemente perché ripete un pattern.

I risultati hanno retto anche quando il ricercatore ha guardato all'interno del modello, analizzando i singoli strati. La stessa relazione tra prevedibilità del testo e crescita dei numeri è apparsa in ogni parte del modello, sebbene la forza dell'effetto variasse. Gli strati responsabili dell'elaborazione del flusso di informazioni mostravano la risposta più forte, mentre altre parti erano meno sensibili. Ciò ha permesso al ricercatore di mappare esattamente dove la struttura del testo veniva scritta nei numeri. Inoltre, lo studio ha testato due diverse architetture di modelli e, sebbene i numeri specifici cambiassero, la forma sottostante della relazione rimaneva la stessa. Questo indica che la legge è una caratteristica robusta di come questi modelli apprendono, indipendentemente dal design specifico della macchina.

In definitiva, questo lavoro fornisce uno strumento chiaro e lungimirante per comprendere l'intelligenza artificiale. Dimostra che è possibile osservare un dataset prima ancora che un modello venga addestrato e prevedere accuratamente come evolveranno i suoi numeri interni. Questo chiude un ciclo di lunga data tra i dati e la macchina, mostrando che la struttura del testo non è solo un input passivo, ma un motore attivo della dinamica interna del modello. Sebbene la legge abbia dei limiti, in particolare con i dati altamente ripetitivi come il codice, essa offre un nuovo modo potente per misurare la qualità e la struttura dei dati di addestramento, trasformando un processo complesso e invisibile in qualcosa che può essere misurato, previsto e compreso con strumenti semplici e concreti.