💬 NLP

Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer

Il paper propone il "Discrete Transformer", un'architettura che supera l'intreccio delle rappresentazioni nei modelli Transformer tradizionali tramite campionamento a temperatura controllata, permettendo l'estrazione di algoritmi interpretabili e leggibili direttamente dai pesi del modello senza bisogno di codice umano.

Autori originali: Yifan Zhang, Wei Bi, Kechi Zhang, Dongming Jin, Jie Fu, Zhi Jin

Pubblicato 2026-03-20

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yifan Zhang, Wei Bi, Kechi Zhang, Dongming Jin, Jie Fu, Zhi Jin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una scatola nera magica, un "cervello digitale" (il Transformer) che è diventato bravissimo a risolvere problemi matematici e logici. Sai che la scatola funziona perfettamente: gli dai un numero, lei ti dà la risposta giusta. Ma c'è un problema: nessuno sa come fa. È come se un cuoco ti desse un piatto delizioso, ma non volesse (o non potesse) dirti la ricetta.

Questo è il problema che affronta il paper "Weights to Code" (Dai pesi al codice).

Ecco la spiegazione semplice, con qualche analogia per capire meglio.

1. Il Problema: La "Zuppa" di Informazioni

I modelli moderni (come quelli che usiamo per scrivere testi o codice) sono come delle zuppe di ingredienti mescolati.
Immagina di avere un frullato dove hai messo mele, banane, carote e latte. Sai che il frullato è buono, ma se provi a estrarre la mela, trovi solo un po' di succo di banana e carota mescolati. In termini tecnici, i modelli usano una "superposizione": le informazioni sono mescolate in modo così intricato che è impossibile capire quale parte del cervello fa quale calcolo. È come cercare di leggere una ricetta scritta su un foglio di carta che è stato strappato e poi ricomposto male.

2. La Soluzione: Il "Cervello Discreto" (Discrete Transformer)

Gli autori hanno creato una nuova architettura chiamata Discrete Transformer.
Immagina di non usare più un frullato, ma di costruire un nastro trasportatore di fabbrica.

Invece di mescolare tutto, ogni pezzo di informazione ha la sua corsia dedicata.
Ci sono due tipi di operai specializzati:
1. I Corrieri (Numerical Attention): Il loro unico compito è prendere un pacco da un punto A e portarlo al punto B. Non aprono il pacco, non lo modificano, lo spostano solo.
2. I Matematici (Numerical MLP): Il loro unico compito è fare calcoli semplici (somma, sottrazione, moltiplicazione) su un pacco alla volta.

Questa separazione è fondamentale: i corrieri non fanno calcoli, i matematici non spostano pacchi. È come se avessi una ricetta dove ogni passaggio è scritto chiaramente su un foglio separato.

3. Il Trucco: Il "Raffreddamento" (Temperature Annealing)

Come fanno questi operai a imparare a lavorare in modo così ordinato?
Immagina di addestrare il modello con una temperatura che scende lentamente, come se stessi raffreddando una stanza.

All'inizio (Caldo): Gli operai sono un po' confusi, possono scegliere di fare un po' di tutto, sono "flessibili" e sperimentano.
Alla fine (Freddo): Man mano che la temperatura scende, gli operai devono scegliere una sola azione precisa. Non possono più essere "un po' corrieri e un po' matematici". Devono diventare esattamente l'uno o l'altro.

Questo processo trasforma il modello da una "zuppa confusa" a una macchina a ingranaggi perfetta, dove ogni ingranaggio ha un compito specifico e visibile.

4. Il Risultato: Dalla Macchina alla Ricetta (Estrazione del Codice)

Una volta che il modello ha imparato il compito (ad esempio, calcolare la somma dei due numeri precedenti), gli autori non si limitano a dire "funziona". Usano un metodo per leggere la macchina e scrivere la ricetta umana.

Guardano i Corrieri: Chiedono: "Dove portate i pacchi?". Scoprono che il corriere A prende sempre il numero di due passi fa.
Guardano i Matematici: Chiedono: "Cosa fate con quei numeri?". Scoprono che fanno una somma.
Scrivono il Codice: Mettono tutto insieme e ottengono un codice Python pulito e leggibile, come: risultato = numero_attuale + numero_precedente.

Perché è importante?

Fino a ora, per capire come funzionavano questi modelli, dovevamo indovinare o usare metodi molto complessi che funzionavano solo per numeri interi (come contare).
Questo nuovo metodo:

Funziona anche con i numeri decimali (come la temperatura o la velocità di caduta di un oggetto), cosa che i metodi precedenti non facevano bene.
È controllabile: Se vuoi che il modello trovi un modo specifico per risolvere un problema (ad esempio, usando solo la memoria e non i calcoli), puoi "guidarlo" cambiando la struttura della fabbrica.
Scopre nuove idee: A volte il modello trova un modo per risolvere un problema che nemmeno gli umani avevano pensato, ma che è comunque leggibile e comprensibile.

In sintesi

Gli autori hanno costruito un cervello artificiale che non è una scatola nera, ma un orologio trasparente. Puoi vedere ogni ingranaggio, capire cosa fa, e alla fine scrivere la ricetta esatta di come funziona, anche per problemi complessi come la fisica o la logica matematica. È un passo enorme per capire davvero cosa pensano le intelligenze artificiali.

1. Il Problema: L'Estrazione di Algoritmi dai Transformer

L'obiettivo della sintesi di programmi è costruire codice eseguibile che soddisfi specifiche formali. Sebbene i Large Language Models (LLM) abbiano rivoluzionato la generazione di codice, un paradigma alternativo, l'estrazione di algoritmi, mira a derivare algoritmi de novo direttamente dai pesi di un modello addestrato su compiti algoritmici, senza dipendere da codice scritto dall'uomo.

Tuttavia, applicare questo paradigma ai modelli Transformer presenta sfide fondamentali:

Entanglement delle Rappresentazioni: A differenza delle RNN, i Transformer utilizzano rappresentazioni continue e ad alta dimensionalità. Spesso mostrano il fenomeno della "sovrapposizione" (superposition), dove le caratteristiche sono codificate in direzioni sovrapposte e non ortogonali, rendendo i neuroni polivalenti e le rappresentazioni interne altamente intrecciate.
Divario Continuo-Discreto: Gli algoritmi simbolici sono discreti e sparsi, mentre i Transformer operano in spazi continui. Questo rende difficile recuperare espressioni simboliche esplicite (come formule matematiche o logica booleana) direttamente dai pesi del modello, poiché le rappresentazioni interne non sono disintegrate.

2. Metodologia: Il Discrete Transformer

Gli autori propongono il Discrete Transformer, un'architettura specializzata progettata per colmare il divario tra rappresentazioni continue e logica simbolica discreta, ispirandosi al modello computazionale RASP (Restricted Access Sequence Processing).

Architettura e Componenti Chiave

L'architettura impone una disentanglement funzionale rigorosa:

Residual Stream Numerico: Invece di vettori latenti continui, il flusso residuo è definito come una collezione di variabili scalari esplicite. Questo preserva la storia computazionale come coordinate disintegrate.
Numerical Attention (Router): Agisce esclusivamente come operatore di instradamento delle informazioni. Utilizza un meccanismo di "Hard Attention" indotto da un campionamento controllato dalla temperatura. Le query e le chiavi sono codificate tramite Piecewise Linear Encoding (PLE) per gestire scalari, ma il valore estratto è lo scalare grezzo. Il suo ruolo è identificare quali variabili leggere (es. "copia il valore dal token precedente").
Numerical MLP (Operatore): È dedicato esclusivamente alle trasformazioni aritmetiche e logiche elementari. È scomposto in sottomoduli paralleli e indipendenti che operano su un numero fisso e ridotto di input (tipicamente $k=2$ ). Questa limitazione di capacità costringe la rete a decomporre funzioni complesse in passaggi aritmetici semplici.
Linear Output Head: Aggrega i risultati discreti in una previsione finale.

Ottimizzazione e Discretizzazione

Per gestire l'ottimizzazione discreta all'interno di un framework differenziabile, il modello utilizza un campionamento controllato dalla temperatura ( $\tau$ ):

Durante l'addestramento, la temperatura viene ridotta gradualmente (annealing) da un valore alto (es. 10.0) a uno basso (es. 0.1).
Questo processo trasforma la distribuzione di selezione degli input da probabilistica (esplorazione continua) a deterministica (sfruttamento discreto), portando il modello a convergere in un grafo computazionale completamente discreto.

Pipeline di Estrazione (From Weights to Code)

Una volta addestrato, il modello viene analizzato per estrarre il codice:

Test di Ipotesi per l'Attention: Si analizzano i pattern di attenzione per identificare se agiscono come "Offset Fisso" (es. $t-1$ ) o "Estremi Finestrati" (es. max/min in una finestra).
Regressione Simbolica per l'MLP: I sottomoduli MLP, essendo mappature isolate a bassa dimensionalità, vengono analizzati tramite regressione simbolica (utilizzando strumenti come PySR) per derivare espressioni algebriche chiuse (es. $x + y$ , $ReLU(x-y)$).
Assemblaggio Globale: I primitivi estratti (puntatori e formule) vengono combinati tramite un'analisi retroattiva del grafo computazionale per generare un programma Python eseguibile e leggibile.

3. Risultati Sperimentali

Il Discrete Transformer è stato valutato su un benchmark diversificato di compiti algoritmici, inclusi ragionamento aritmetico, tracciamento di variabili, composizione non lineare e dinamiche continue.

Prestazioni Predittive: Il modello raggiunge prestazioni (MSE vicino a zero) comparabili ai metodi basati su RNN (come MIPS - Mechanistic-Interpretability-based Program Synthesis).
Fidelità dell'Estrazione: I programmi estratti risolvono con successo la maggior parte dei compiti, ottenendo un'accuratezza di 1.00 su compiti discreti e un errore quadratico medio (RMSE) estremamente basso su compiti continui.
Vantaggio sui Metodi Esistenti: A differenza di MIPS, che richiede approssimazioni di variabili latenti discrete, il Discrete Transformer gestisce nativamente variabili continue. Questo permette di estrarre algoritmi per compiti di dinamica continua (es. "exponential moving average", "free fall height") che erano fuori portata per i metodi precedenti.
Scoperta di Meccanismi:
- Per compiti lineari, il modello impara a bypassare l'MLP e usa l'output lineare per calcoli diretti.
- Per compiti non lineari (es. parità), l'estrazione rivela identità algebriche esatte (es. la logica XOR espressa come $x_t + x_{t-1} - 2x_t x_{t-1}$ ) e implementazioni condizionali tramite ReLU.

4. Contributi Chiave

Architettura Discrete Transformer: Una nuova architettura allineata a RASP che forza il disentanglement funzionale tra instradamento (Attention) e calcolo (MLP), ponendo un ponte tra ottimizzazione continua e logica discreta.
Pipeline Modulare di Estrazione: Un approccio che combina test di ipotesi statistici e regressione simbolica per estendere la sintesi basata sull'interpretabilità meccanica al dominio delle variabili continue.
Analisi Teorica e Controllabilità: Dimostrazione che la convergenza funzionale precede la discretizzazione strutturale completa. Inoltre, si mostra come l'imposizione di vincoli architetturali (inductive biases) permetta un controllo fine sulla scoperta degli algoritmi, guidando il modello verso soluzioni specifiche (es. forzando l'uso dell'Attention invece dell'MLP per il massimo).

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso l'interpretabilità dei Transformer.

Scoperta di Algoritmi: Dimostra che è possibile recuperare algoritmi eseguibili e interpretabili direttamente dai pesi di un Transformer, senza supervisione umana sul codice.
Scienza e Fisica: La capacità di gestire variabili continue apre la porta all'uso di questi modelli per la scoperta scientifica e la modellazione di processi fisici, dove le leggi sottostanti sono spesso espresse come equazioni differenziali o algebriche continue.
Controllo e Bias: Fornisce un framework controllabile per la scoperta algoritmica, permettendo ai ricercatori di esplorare diverse soluzioni logiche equivalenti per lo stesso compito modificando i vincoli architetturali.

In sintesi, il paper stabilisce che, con l'architettura e l'ottimizzazione giuste, i Transformer possono essere resi trasparenti, permettendo di "leggere" la logica algoritmica nascosta nei loro pesi e tradurla in codice umano.