Quantifying Logical Consistency in Transformers via Query-Key Alignment

I modelli linguistici di grandi dimensioni sono diventati straordinariamente abili nel mimare la conversazione umana, scrivere poesie e riassumere testi complessi. Essi viaggiano prevedendo la parola successiva in una frase sulla base di enormi quantità di dati di addestramento. Tuttavia, quando vengono interrogati per risolvere un puzzle logico a più fasi, questi sistemi spesso inciampano. Potrebbero generare una catena di ragionamento dall'aspetto convincente che conduce a una conclusione completamente errata, oppure potrebbero distrarsi a causa di dettagli irrilevanti presenti nel prompt. Sebbene i ricercatori abbiano trovato modi per indurre prestazioni migliori in questi modelli chiedendo loro di "pensare passo dopo passo", un problema fondamentale rimane: i modelli stessi non hanno un modo integrato per verificare se il proprio ragionamento sia effettivamente coerente. Possono produrre un percorso logico-apparente senza comprendere veramente se i passaggi si colleghino correttamente.

Questa incertezza crea un punto cieco nell'intelligenza artificiale. Possiamo vedere la risposta finale che un modello fornisce, ma non possiamo facilmente vedere i segnali interni che indicano se il modello stia effettmente seguendo le regole della logica o se stia solo tirando a indovinare. Per affrontare questo problema, un team di ricercatori dello Skolkovo Institute of Science and Technology e di altre istituzioni ha sviluppato un nuovo modo per sbirciare nella "mente" del modello durante il processo di ragionamento. Invece di aspettare che il modello finisca la sua risposta e poi controllare se è corretta, osservano le specifiche connessioni interne che il modello stabilisce mentre sta ancora pensando. Hanno scoperto che certe parti dell'architettura del modello agiscono come checkpoint affidabili, segnalando se un passaggio logico è valido molto prima che la risposta finale venga pronunciata.

I ricercatori si sono concentrati su come questi modelli elaborano le informazioni internamente. All'interno di un modello linguistico di grandi dimensioni, l'informazione fluisce attraverso strati di operazioni matematiche. Al cuore di questo processo ci sono le "teste di attenzione" (attention heads), che agiscono come piccoli interruttori che decidono quali parti dell'input siano importanti su cui concentrarsi in ogni dato momento. Il team ha scoperto che potevano misurare l'allineamento tra due segnali specifici all'interno di queste teste: il segnale che rappresenta l'affermazione oggetto di test e il segnale che rappresenta la potenziale risposta. Calcolando un punteggio semplice basato su quanto bene questi due segnali si allineano, potevano determinare se il modello avesse riconosciuto la connessione logica tra una premessa e una conclusione.

Per testare questa idea, i ricercatori hanno condotto esperimenti su una vasta gamma di compiti di ragionamento logico. Hanno utilizzato dataset sintetici dove le regole erano chiare e le risposte erano definitivamente vere o false, come determinare se un personaggio di nome Polly sia opaca sulla base di un insieme di regole fittizie riguardanti rompus e jompus. Hanno anche testato il metodo su dataset più complessi che coinvolgevano il linguaggio del mondo reale e molteplici passaggi di deduzione. In questi test, hanno confrontato le prestazioni del loro nuovo metodo di punteggio interno rispetto al modo standard con cui il modello risponde, che consiste semplicemente nello scegliere l'opzione con la probabilità più alta.

I risultati hanno mostrato che il metodo di punteggio interno era significativamente più affidabile della stessa ipotesi finale del modello. In scenari in cui il modello veniva presentato con informazioni distraenti e irrilevanti, il modello standard spesso si confondeva e forniva la risposta errata. Tuttavia, i segnali interni specifici che i ricercatori stavano tracciando rimanevano costanti, identificando correttamente il percorso logico valido anche quando l'output finale del modello era errato. Ciò suggerisce che il modello possiede effettivamente la capacità di ragionamento corretta nelle sue profondità, ma che tale capacità può talvolta essere oscurata dagli stadi successivi di elaborazione o dal rumore del contesto distraente.

Il team ha testato questo approccio su modelli che vanno da quelli molto piccoli con 1,5 miliardi di parametri a quelli massicci con 70 miliardi di parametri. In tutto il panorama, hanno scoperto che specifiche teste di attenzione agivano costantemente come "ancore di verifica". Queste teste potevano distinguere tra inferenze valide e invalide con un'alta precisione, indipendentemente da quanti passaggi richiedesse il ragionamento o da quante distrazioni fossero presenti. In alcuni casi, il punteggio interno era corretto per oltre il 90 percento delle volte, mentre la risposta finale del modello era corretta meno del 60 percento delle volte. Questo indica che il modello è spesso in possesso della risposta corretta internamente, ma fallisce nell'esprimerla correttamente nel suo output finale.

Una delle scoperte più significative è stata che questo metodo non richiede di modificare il modello o di riaddestrarlo. I ricercatori potevano semplicemente eseguire il modello una volta, osservare i segnali interni e derivare un punteggio che era spesso più accurato della previsione stessa del modello. Ciò offre un modo leggero ed efficiente per valutare la coerenza logica senza l'elevato costo computazionale dei metodi precedenti, che spesso prevedevano la disattivazione di parti del modello per vedere cosa accadeva. Lo studio suggerisce che, identificando questi specifici componenti interni, possiamo ottenere una visione più chiara di come l'intelligenza artificiale elabori le relazioni complesse, avvicinandoci a sistemi che non sono solo fluidi nel linguaggio, ma anche affidabili nel loro ragionamento.

I ricercatori hanno notato che il loro metodo funziona meglio quando c'è una quantità sufficiente di dati per calibrare quali segnali interni specifici fidarsi per un determinato compito. Hanno anche ammesso che questo approccio non significa che queste parti specifiche siano le uniche responsabili della logica, né risolve ogni problema relativo al ragionamento nell'intelligenza artificiale. Tuttavia, il lavoro fornisce un modo concreto e misurabile per vedere dove la logica regge e dove si interrompe, offrendo un nuovo strumento per costruire modelli linguistici più trasparenti e affidabili. Concentrandosi sull'allineamento dei segnali interni piuttosto che solo sull'output finale, lo studio rivela che la capacità di un ragionamento solido esiste spesso all'interno del modello, in attesa di essere correttamente letta.