A Symbolic Neural CPU for Quantization-Simulated Writeback and Interpretable Program Execution

Sintesi Tecnica: Una CPU Neurale Simbolica per la Scrittura di Back con Quantizzazione Simulata e l'Esecuzione di Programmi Interpretabili

1. Definizione del Problema

Le moderne reti neurali eccellono nell'apprendimento di mappature input-output continue, ma spesso funzionano come "black box" dove le transizioni di stato interno rimangono nascoste all'interno di attivazioni o parametri densi. Questa opacità rende difficile fidarsi degli esecutori appresi, specialmente quando il compito richiede un ragionamento algoritmico o l'implementazione su hardware vincolato. Sebbene le reti aumentate dalla memoria (ad esempio, le Neural Turing Machines) e gli approcci neurosimbolici abbiano migliorato le capacità di ragionamento, essi generalmente mancano di una traccia di audit a livello di registro. Nello specifico, esiste una lacuna nel valutare se un sistema appreso esponga l'operazione simbolica specifica selezionata, l'esatto registro aggiornato e se il percorso di esecuzione intermedio rimanga fedele a una macchina di riferimento, specialmente sotto vincoli aritmetici a bassa precisione (quantizzati). I benchmark attuali valutano spesso solo l'accuratezza dello stato finale, fallendo nel distinguere tra un modello che segue correttamente un percorso algoritmico e uno che si limita ad approssimare l'endpoint.

2. Metodologia

Gli autori introducono una CPU neurale simbolica con supervisione di traccia, un'architettura fattorizzata progettata per rendere il processo di esecuzione verificabile. Il sistema opera su un'interfaccia di macchina a registri controllata in cui lo stato della macchina è un file di registri $r_t \in [0, 1]^{R \times W}$, e le istruzioni sono tuple composte da un'operazione e indici di registro sorgente/destinazione.

Architettura Core:

• Codifica delle Istruzioni: Le istruzioni sono codificate come etichette di operazione one-hot combinate con indici di registro normalizzati.
• Controller Ricorrente: Un controller (principalmente una GRU, con confronti con Transformer, TCN e modelli State-Space) elabora l'istruzione e i vettori di lettura della memoria opzionali per generare stati nascosti.
• Router di Operazione Esplicito: Invece di un output monolitico, il modello utilizza un router per predire i logit su un set fisso di operazioni nominate ($O = \{AND, OR, XOR, ADD, SUB, SHL, SHR, MUL\}$).
• Bank ALU Differenziabile: Un bank di operazioni logiche e aritmetiche continue, fisse e differenziabili (ad esempio, $A_{ADD}(u,v) = \text{clip}(u+v, 0, 1)$) genera output candidati.
• Writeback Mascherato: Il modello seleziona un registro di destinazione e aggiorna solo quel registro, preservando il vincolo di località tipico delle CPU tradizionali.
• Quantizzazione-Simulated Writeback (QAT8): Nell'impostazione sperimentale principale, l'output ALU selezionato viene proiettato su una griglia a virgola fissa a 8 bit prima di essere scritto nel registro di destinazione.

Protocolli di Addestramento e Valutazione:

• Supervisione di Traccia: Il modello è addestrato non solo sullo stato finale, ma sull'intera traiettoria degli stati dei registri, delle etichette delle operazioni e delle maschere di destinazione.
• Relaxation Gumbel-Softmax: Durante l'addestramento, viene utilizzata la selezione stocastica delle operazioni per permettere il flusso del gradiente. Durante la valutazione, si utilizzano gate deterministici hard argmax per garantire un percorso di esecuzione simbolico e ispezionabile.
• Matched Fixed-Point Replay: Per valutare le prestazioni a bassa precisione, gli autori definiscono un "matched replay" di riferimento. Si tratta di una reimplementazione indipendente a virgola fissa dell'interprete di riferimento, eseguita alla stessa precisione a 8 bit del modello. Ciò separa il "mismatch semantico del riferimento" (drift dovuto alla quantizzazione) dal "fallimento dell'esecuzione" (operazione errata).
• Benchmark: Il sistema è valutato su programmi sintetici di lunghezza variabile (fino a 1000 istruzioni), larghezza (16 e 32 registri) e famiglie di task che includono l'esecuzione con opcode visibili, pressione di memoria con opcode nascosti e compiti di scelta energetica tra programmi equivalenti.

3. Contributi Chiave

• Interfaccia di Esecuzione Audibile: Il documento stabilisce un framework in cui il processo di esecuzione è decomposto in componenti ispezionabili: gate di operazione, maschere di destinazione, traiettorie dei registri e segnali di memoria.
• Quantizzazione-Simulated Writeback con Matched Replay: Gli autori dimostrano che un esecutore neurale può preservare esattamente il percorso dell'operazione simbolica anche quando i valori numerici deviano a causa della quantizzazione a 8 bit, a patto che la valutazione utilizzi un riferimento a basso livello di precisione corrispondente piuttosto che un riferimento continuo a piena precisione.
• Design dell'Architettura Fattorizzata: Il lavoro mostra che separare il controller, il router di operazione e il bank ALU fisso è necessario per un'esecuzione interpretabile. Le ablazioni rivelano che rimuovendo la perdita di supervisione del gate, i percorsi latenti diventano interpretabili, anche se l'accuratezza finale viene mantenuta.
• Interfacce Estese: Il framework viene esteso per includere ValueMemory (per task con opcode nascosti), controller a impulsi (utilizzando la dinamica leaky integrate-and-fire per la memoria di controllo) e un ponte semantico con le istruzioni base RV32I.

4. Risultati

• Stabilità della Lunghezza e Correttezza Logica: Sul profilo principale a 16 registri, l'esecutore non quantizzato riproduce esattamente l'esecuzione di riferimento. L'esecutore QAT8 (quantizzazione simulata a 8 bit) preserva il percorso dell'operazione simbolica (accordo del gate) al 100% per programmi fino a 1000 istruzioni, nonostante il drift numerico dei registri continui (MAE finale $\approx 2.5 \times 10^{-3}$).
• Fedeltà del Matched Replay: Quando valutato contro il replay a virgola fissa corrispondente (il riferimento a 8 bit), l'esecutore QAT8 raggiunge il 100% di fedeltà alla griglia scalare e zero errore di traccia. Ciò conferma che il drift osservato nella valutazione continua è un mismatch di semantica del riferimento, non un fallimento dell'esecuzione.
• Confronti Architetturali: I controller ricorrenti (GRU) generalmente superano o eguagliano i Transformer e altre varianti in questi compiti. Fondamentalmente, le ablazioni mostrano che rimuovendo la perdita di supervisione del gate, l'accordo del gate crolla (a circa il 74,5%), anche se il modello impara ad approssimare lo stato finale.
• Pressione di Memoria e Opcode Nascosti: Quando i segnali dell'opcode sono nascosti (task di pressione di memoria), le prestazioni degradano significativamente, esponendo i limiti dell'uso ritardato dello stato e del legame temporale. Le varianti ValueMemory migliorano le prestazioni sui task simili a uno stack, ma faticano con le inversioni di memoria nascosta a lungo termine.
• Limiti di Estrapolazione: Un profilo a 32 registri addestrato su programmi brevi (massimo 40 step) fallisce nel generalizzare a orizzonti lunghi (oltre i ~500 step), mostrando che il limite è l'orizzonte di addestramento, non la larghezza dello stato. Il riaddestramento su orizzonti più lunghi ripristina l'esattezza.
• Esecuzione Consapevole dei Costi: Il modello impara con successo a selezionare programmi equivalenti a minor costo (percorsi a energia minima) quando addestrato con obiettivi di scelta energetica, riducendo l'energia proxy di circa il 38% pur mantenendo la correttezza.

5. Significato e Rivendicazioni

Il documento afferma di aver stabilito un framework verificabile tramite traccia per un'esecuzione neurale interpretabile, a bassa precisione e controllabile. Il suo significato primario risiede nello spostamento del paradigma di valutazione dall' "accuratezza dell'endpoint" alla "fedeltà a livello di transizione".

Gli autori dichiarano con modestia che i loro risultati dimostrano:

1. Audibilità: Gli esecutori appresi possono essere progettati per esporre le loro scelte simboliche interne (operazioni e aggiornamenti dei registri) invece di nasconderle in stati continui.
2. Robustezza alla Bassa Precisione: Gli esecutori neurali possono mantenere la correttezza logica (percorso simbolico) anche quando la precisione numerica è limitata a 8 bit, a patto che la metrica di valutazione tenga conto della semantica della quantizzazione.
3. Controllo: Il framework supporta estensioni per il controllo a ciclo chiuso e vincoli consapevoli dell'hardware (proxy di energia/ritardo).

Il documento dichiara esplicitamente di non pretendere di essere un'implementazione fisica di un processore, un motore di inferenza esclusivamente integer o un emulatore completo compatibile con RISC-V. Serve invece come ponte semantico e substrato diagnostico per verificare se i sistemi appresi preservano la traccia della macchina passo dopo passo richiesta per un deployment affidabile nei runtime rivolti ai dispositivi. Il lavoro evidenzia che affinché i sistemi neurali possano funzionare come coprocessori o controller, le loro scelte operative e le transizioni di stato devono essere visibili e verificabili prima del deployment sull'hardware.