Discovering Cross-Language Reasoning Invariance in LLMs with Geometry-Invariant Sparse Autoencoders

I grandi modelli linguistici sono i motori dietro molti degli strumenti di intelligenza artificiale più avanzati di oggi, capaci di leggere, scrivere e risolvere problemi in decine di lingue. Per anni, i ricercatori si sono chiesti come questi sistemi gestiscano la complessità dell'essere multilingue. Quando un modello risolve un problema matematico in inglese e poi risolve lo stesso identico problema in cinese, utilizza lo stesso meccanismo mentale interno per entrambi, o passa a un insieme di regole completamente diverso per ogni lingua? Questa domanda è importante perché se il modello utilizza un linguaggio interno condiviso per il ragionamento, potremmo comprendere la sua logica una volta per tutte e applicare tale comprensione a ogni lingua che parla. Se, invece, si affida a percorsi separati e specifici per ogni lingua, allora comprendere una versione del modello ci dice molto poco sulle altre. Il campo dell'interpretabilità meccanicistica tenta di guardare dentro questi modelli per vedere come funzionano, trattando i loro stati interni come un complesso circuito stampato che può essere mappato e compreso.

Un team di ricercatori si è posto l'obiettivo di rispondere a questa domanda scrutando il funzionamento interno di cinque diversi grandi modelli linguistici. Si sono concentrati su un compito specifico: risolvere problemi di matematica elementare. Hanno preso un dataset di 250 problemi matematici e hanno chiesto a ciascun modello di risolverli in sei lingue diverse: inglese, tedesco, francese, spagnolo, russo e cinese. Per garantire che stessero confrontando mele con mele, hanno mantenuto solo i problemi in cui il modello otteneva la risposta corretta e produceva un percorso di ragionamento chiaro e passo dopo passo in ogni singola lingua. I ricercatori hanno poi registrato l'attività interna del modello in varie fasi del processo, catturando i pattern specifici di segnali simili a elettricità che scattavano all'interno del computer mentre elaborava la soluzione.

Per dare un senso a questi segnali complessi, i ricercatori hanno utilizzato uno strumento chiamato autoencoder sparso. Si può pensare a questo come a un modo per tradurre il caos del rumore interno del modello in un elenco di concetti distinti e comprensibili. Proprio come un essere umano potrebbe descrivere una scena elencando i suoi elementi chiave — cielo, albero, cane, auto — l'autoencoder scompone l'attività del modello in un insieme di caratteristiche attive. I ricercatori hanno addestrato due versioni di questo strumento per ogni livello dei modelli. La prima versione imparava semplicemente a descrivere ciò che vedeva in una lingua. La seconda versione è stata addestrata con un'istruzione speciale: doveva imparare a descrivere lo stesso problema matematico utilizzando lo stesso insieme di caratteristiche, indipendentemente dal fatto che il problema fosse presentato in inglese o in cinese. Questa seconda versione è stata progettata per costringere il modello a trovare un terreno comune, un linguaggio interno condiviso per il ragionamento.

I risultati hanno rivelato una realtà sorprendente su come pensano questi modelli. I ricercatori hanno scoperto che il semplice fatto di rendere le descrizioni interne geometricamente più simili non garantiva che il modello stesse effettivamente utilizzando la stessa logica. In alcuni modelli, forzare le caratteristiche interne ad allinearsi tra le lingue rendeva il ragionamento del modello più robusto e intercambiabile. In altri, non faceva alcuna differenza e in un caso, ha addirittura peggiorato le prestazioni del modello quando hanno cercato di scambiare parti del ragionamento da una lingua all'altra. Ciò è accaduto perché i modelli si erano già assestati su abitudini molto diverse. Una famiglia di modelli sviluppava naturalmente un modo di pensare condiviso man mano che procedeva più a fondo nel problema, quindi il nuovo addestramento aiutava a perfezionare quel percorso comune. Un'altra famiglia aveva già costruito una struttura condivisa così forte che il nuovo addestramento non aggiungeva nulla. Una terza famiglia manteneva le sue lingue rigorosamente separate, e il tentativo di forzarle insieme creava confusione anziché chiarezza.

Lo studio ha esaminato cinque modelli specifici appartenenti a quattro diverse famiglie, con dimensioni che vanno da 1,7 a 4 miliardi di parametri. Hanno scoperto che il successo della creazione di un linguaggio di ragionamento condiviso dipendeva interamente dall'architettura esistente del modello. Nei modelli che mostravano un pattern "convergente", dove le caratteristiche condivise diventavano più forti mentre il modello elaborava il problema, il nuovo metodo di addestramento funzionava perfettamente, migliorando la capacità del modello di ragionare attraverso le lingue in ogni livello testato. Nei modelli che erano già "saturi" di caratteristiche condivise, il nuovo addestramento non forniva alcun beneficio e talvolta interrompeva il flusso naturale del modello. Nei modelli che rimanevano a "basso scambio", dove le lingue restavano per lo più separate, il nuovo addestramento non riusciva a creare un ponte funzionale, anche se rendeva i segnali interni più simili sulla carta.

Questo lavoro sfida un'ipotesi comune nel campo: che se due cose appaiono simili su un grafico, debbano funzionare nello stesso modo. I ricercatori hanno dimostrato che un modello può avere caratteristiche che appaiono geometricamente allineate tra le lingue ma che comunque non riescono a funzionare in modo intercambiabile. Hanno dimostato che la strada per comprendere i modelli multilingue non è una soluzione unica per tutti. Al contrario, la logica interna di un modello è profondamente legata al suo specifico design. Alcuni modelli costruiscono naturalmente un motore di ragionamento universale, mentre altri tengono le loro lingue in stanze separate. I ricercatori hanno concluso che per comprendere davvero come un'intelligenza artificiale pensa attraverso le lingue, dobbiamo guardare l'architettura specifica di ciascun modello, piuttosto che assumere che tutti seguano le stesse regole nascoste.