How Response Parsing Manufactures Scaling Laws: A Replication and Measurement-Validity Audit of Constraint-Tracking Capacity in LLMs

Immaginate un programma informatico capace di leggere un elenco di regole e di seguirle perfettamente, indipendentemente da quanto lunga sia la lista. Questa è la promessa dell'intelligenza artificiale moderna, specificamente di un tipo di sistema chiamato modello linguistico di grandi dimensioni (large language model). Questi programmi sono addestrati su enormi quantità di testo e possono rispondere a domande, scrivere storie o risolvere problemi. Man mano che questi sistemi crescono, con più componenti interni e più dati, diventano generalmente più bravi in compiti complessi. Gli scienziati si sono spesso chiesti se esista un limite netto al numero di istruzioni indipendenti che un singolo modello può contenere nella sua "mente" contemporaneamente. Se date a un modello dieci regole da seguire, è in grado di farlo? E venti? La capacità di seguire le regole cresce costantemente man mano che il modello diventa più grande, o crolla improvvisamente?

Uno studio recente ha sostenuto di aver trovato una risposta precisa a questa domanda. Suggeriva che, man mano che i modelli diventano più grandi, la loro capacità di tracciare più regole cresce secondo un particolare schema matematico, come una curva prevedibile. I ricercatori hanno proposto che un modello piccolo potesse fallire dopo solo poche regole, mentre un modello più grande poteva gestirne molte di più, e che questa relazione seguisse una legge rigorosa. Questa idea era entusiasmante perché offriva un modo per prevedere esattamente quanto sarebbe stato capace un futuro sistema basandosi sulle sue dimensioni. Tuttavia, una nuova indagine ha esaminato attentamente i numeri e i metodi utilizzati per ottenerli, e racconta una storia diversa. Il nuovo lavoro afferma che, sebbene l'idea di base di un limite sia reale, la legge specifica che descrive come quel limite cresca non è supportata dalle prove.

L'indagine è iniziata riesaminando i log dei dati originali, ovvero i registri di ciò che i modelli hanno effettivamente scritto in risposta ai test. I ricercatori hanno costruito un modo nuovo e più rigoroso per leggere queste risposte. Nello studio originale, il programma informatico utilizzato per valutare le risposte aveva una rete di sicurezza: se non riusciva a trovare abbastanza risposte chiare in una risposta, scansionava l'intero testo nuovamente, cercando le parole "sì" o "no" ovunque apparissero. Se trovava tali parole, le contava come risposte corrette, anche se il modello non le aveva mai intese come risposte specifiche alle domande. Questa rete di sicurezza si è attivata in quasi un quarto dei test. In sostanza, ha colmato i vuoti per i modelli, attribuendo crediti per parole scritte per errore o come parte di una frase, piuttosto che come risposte dirette.

Quando i nuovi ricercatori hanno rimosso questa rete di sicurezza e hanno costretto il computer a contare solo le risposte chiaramente e correttamente formattate, i risultati sono cambiati. Il fenomeno di un limite esisteva ancora. Un modello più piccolo faticava e alla fine non riusciva a seguire molte regole, mentre un modello più grande della stessa famiglia performava molto meglio. Ciò ha confermato che l'osservazione centrale era reale: i modelli hanno un limite di capacità e la dimensione conta. Tuttavia, la curva specifica che descriveva come questa capacità cresceva con la dimensione è scomparsa. L'affermazione originale secondo cui la capacità di seguire le regole raddoppiava o triplicava in modo prevedibile all'aumentare delle dimensioni del modello era un'illusione creata dal modo in cui venivano contate le risposte.

I ricercatori hanno poi testato questo metodo corretto su una gamma molto più ampia di modelli, incluse otto diverse famiglie di sistemi disponibili tramite servizi online. Hanno scoperto che la legge matematica originale non reggeva. In un tipo di compito, i modelli non mostravano affatto la crescita prevista; invece, raggiungevano un soffitto dove non potevano gestire più di un certo numero di regole, indipendentemente dalle loro dimensioni. In un altro compito, i modelli sembravano seguire tutte le regole perfettamente, ma questo accadeva perché stavano semplicemente ripetendo le istruzioni in un lungo paragrafo anziché tracciare effettivamente ogni regola singolarmente. In diversi casi, i modelli fallivano non perché mancasse loro l'intelligenza per seguire le regole, ma perché non seguivano il formato rigoroso richiesto per ottenere un voto positivo. Scrivevano saggi lunghi e profondi quando il test richiedeva una semplice lista, e il sistema di valutazione contava questo come un fallimento totale.

L'indagine ha anche esaminato la teoria utilizzata per spiegare il modo in cui i modelli si comportavano. Lo studio originale suggeriva che il limite fosse determinato da una specifica caratteristica architettonica dei modelli, un numero calcolato dalla loro struttura interna. La nuova analisi ha scoperto che i due modelli utilizzati per provare questa teoria avevano esattamente lo stesso valore per questa caratteristica, eppure performavano in modo molto diverso. Ciò significava che la teoria non poteva effettivamente spiegare la differenza tra loro. La spiegazione proposta era troppo generica per essere utile; permetteva qualsiasi risultato, quindi non poteva prevedere l'esito specifico osservato.

La conclusione finale è che la capacità di queste macchine di tracciare molteplici vincoli è una cosa reale e misurabile, ma la precisa legge matematica che si era sostenuto descrivesse non è ancora supportata. La scoperta originale era un misto di una scoperta genuina e di un errore di misurazione. L'errore derivava da una scelta comune e invisibile nel modo in cui il computer leggeva le risposte, una scelta che accidentalmente colmava i dati mancanti e creava un falso schema. I ricercatori sottolineano che questo non significa che i modelli siano perfetti o che comprendiamo appieno i loro limiti. Significa semplicemente che l'affermazione specifica su una legge di scala prevedibile era costruita su basi fragili. Per procedere, gli studi futuri devono utilizzare regole più rigide per la lettura delle risposte, contare ogni risposta mancante come un fallimento e testare molti più modelli prima di dichiarare una legge universale. Il percorso per comprendere queste macchine è chiaro, ma richiede di guardare i dati senza le reti di sicurezza che possono nascondere la verità.