A Symbolic Neural CPU for Quantization-Simulated Writeback and Interpretable Program Execution

Resumo Técnico: Uma CPU Neural Simbólica para Writeback de Simulação de Quantização e Execução de Programas Interpretável

1. Declaração do Problema

As redes neurais modernas são excelentes em aprender mapeamentos contínuos de entrada-saída, mas frequentemente funcionam como "caixas pretas" onde as transições de estado interno permanecem ocultas dentro de ativações ou parâmetros densos. Essa opacidade torna difícil confiar em executores aprendidos, particularmente quando a tarefa exige raciocínio algorítmico ou implantação em hardware restrito. Embora abordagens de redes aumentadas por memória (ex: Máquinas de Turing Neurais) e métodos neurosimbólicos tenham melhorado as capacidades de raciocínio, eles geralmente carecem de uma trilha de auditoria ao nível de registradores. Especificamente, há uma lacuna na avaliação de se um sistema aprendido expõe a operação simbólica específica selecionada, o registrador exato atualizado e se o caminho de execução intermediário permanece fiel a uma máquina de referência, especialmente sob restrições de aritmética de baixa precisão (quantizada). Os benchmarks atuais frequentemente avaliam apenas a precisão do estado final, falhando em distinguir entre um modelo que segue corretamente um caminho algorítmico e um que meramente aproxima o ponto final.

2. Metodologia

Os autores introduzem uma CPU neural simbólica com supervisão de traço, uma arquitetura fatorizada projetada para tornar o processo de execução auditável. O sistema opera em uma interface de máquina de registradores controlada, onde o estado da máquina é um arquivo de registradores $r_t \in [0, 1]^{R \times W}$, e as instruções são tuplas de uma operação e índices de origem/destino de registradores.

Arquitetura Central:

• Codificação de Instrução: As instruções são codificadas como rótulos de operação one-hot combinados com índices de registradores normalizados.
• Controlador Recorrente: Um controlador (primariamente um GRU, com comparações com Transformers, TCNs e modelos de Espaço de Estados) processa a instrução e vetores de leitura de memória opcionais para gerar estados ocultos.
• Roteador de Operação Explícito: Em vez de uma saída monolítica, o modelo utiliza um roteador para prever logits sobre um conjunto fixo de operações nomeadas ($O = \{AND, OR, XOR, ADD, SUB, SHL, SHR, MUL\}$).
• Banco de ALU Diferenciável: Um banco de operações lógicas e aritméticas contínuas e diferenciáveis fixas (ex: $A_{ADD}(u,v) = \text{clip}(u+v, 0, 1)$) gera saídas candidatas.
• Writeback Mascarado: O modelo seleciona um registrador de destino e atualiza apenas esse registrador, preservando a restrição de localidade das CPUs tradicionais.
• Writeback de Simulação de Quantização (QAT8): No cenário experimental primário, a saída da ALU selecionada é projetada em uma grade de ponto fixo de 8 bits antes de ser escrita no registrador de destino.

Protocolos de Treinamento e Avaliação:

• Supervisão de Traço: O modelo é treinado não apenas no estado final, mas na trajetória completa de estados de registradores, rótulos de operação e máscaras de destino.
• Relaxação Gumbel-Softmax: Durante o treinamento, a seleção estocástica de operações é usada para permitir o fluxo de gradiente. Durante a avaliação, portas argmax determinísticas são usadas para garantir um caminho de execução simbólico e inspecionável.
• Replay de Ponto Fixo Correspondente: Para avaliar o desempenho de baixa precisão, os autores definem um "replay de referência". Este é uma reimplementação independente de ponto fixo do intérprete de referência, executada na mesma precisão de 8 bits do modelo. Isso separa o "desajuste de semântica de referência" (deriva devido à quantização) de uma "falha de execução" (operação incorreta).
• Benchmarks: O sistema é avaliado em programas sintéticos de comprimentos variados (até 1000 instruções), larguras (16 e 32 registradores) e famílias de tarefas, incluindo execução de opcode visível, pressão de memória de opcode oculto e tarefas de escolha de energia de programa equivalente.

3. Principais Contribuições

• Interface de Execução Auditável: O artigo estabelece um framework onde o processo de execução é decomposto em componentes inspecionáveis: portas de operação, máscaras de destino, trajetórias de registradores e sinais de memória.
• Writeback de Simulação de Quantização com Replay Correspondente: Os autores demonstram que um executor neural pode preservar o caminho da operação simbólica exatamente, mesmo quando os valores numéricos derivam devido à quantização de 8 bits, desde que a avaliação utilize uma referência de baixa precisão correspondente em vez de uma referência contínua de precisão total.
• Design de Arquitetura Fatorizada: O trabalho mostra que separar o controlador, o roteador de operação e o banco de ALU fixo é necessário para uma execução interpretável. As ablações revelam que remover a supervisão de porta leva a caminhos latentes interpretáveis, mesmo se a precisão final for mantida.
• Interfaces Estendidas: O framework é estendido para incluir ValueMemory (para tarefas de opcode oculto), controladores de spiking (usando dinâmica de integração e disparo com fuga para memória de controle apenas) e uma ponte semântica para instruções base de inteiros RV32I.

4. Resultados

• Estabilidade de Comprimento e Correção Lógica: No perfil de 16 larguras de registrador principal, o executor não quantizado reproduz a execução de referência exatamente. O executor de simulação de quantização de 8 bits (QAT8) preserva o caminho da operação simbólica (acordo de porta) em 100% para programas de até 1000 instruções, apesar da deriva numérica dos registradores contínuos (MAE Final $\approx 2.5 \times 10^{-3}$).
• Fidelidade de Replay Correspondente: Quando avaliado contra o replay de ponto fixo correspondente (a referência de 8 bits), o executor QAT8 atinge 100% de fidelidade de grade escalar e zero erro de traço. Isso confirma que a deriva observada na pontuação contínua é um desajuste de semântica de referência, não uma falha de execução.
• Comparações de Arquitetura: Controladores recorrentes (GRU) geralmente superam ou igualam Transformers e outras variantes nessas tarefas. Crucialmente, as ablações mostram que remover a perda de supervisão de porta causa o colapso do acordo de porta (para ~74,5%), mesmo que o modelo aprenda a aproximar o estado final.
• Pressão de Memória e Opcodes Ocultos: Quando as pistas de opcode são ocultas (tarefas de pressão de memória), o desempenho degrada significamente, expondo os limites do uso de estado atrasado e do vínculo temporal. Variantes de ValueMemory melhoram o desempenho em tarefas do tipo pilha, mas lutam com reversões de memória oculta longas.
• Limites de Extrapolação: Um perfil de 32 larguras treinado em programas curtos (máx. 40 passos) falha em generalizar para horizontes longos (além de ~500 passos), mostrando que o limite é o horizonte de treinamento, não a largura do estado. O retreinamento em horizontes mais longos restaura a exatidão.
• Execução Consciente de Custo: O modelo aprende com sucesso a selecionar programas equivalentes de menor custo (caminhos de energia mínima) quando treinado com objetivos de escolha de energia, reduzindo a energia proxy em ~38% enquanto mantém a correção.

5. Significância e Alegações

O artigo afirma estabelecer um framework verificável por traço para execução neural interpretável, de baixa precisão e controlável. Sua principal significância reside na mudança do paradigma de avaliação do "erro de endpoint" para a "fidelidade ao nível de transição".

Os autores alegam modestamente que seus resultados demonstram:

1. Auditabilidade: Executores aprendidos podem ser projetados para expor suas escolhas simbólicas internas (operações e atualizações de registradores) em vez de escondê-las em estados contínuos.
2. Robustez de Baixa Precisão: Executores neurais podem manter a correção lógica (caminho simbólico) mesmo quando a precisão numérica é restrita a 8 bits, desde que a métrica de avaliação considere a semântica de quantização.
3. Controle: O framework suporta extensões para controle de malha fechada e restrições conscientes de hardware (proxies de energia/atraso).

O artigo declara explicitamente que não pretende ser uma implementação de processador físico, um motor de inferência puramente de inteiros ou um emulador completo compatível com RISC-V. Em vez disso, serve como uma ponte semântica e um substrato de diagnóstico para verificar se sistemas aprendidos preservam o traço de máquina passo a passo necessário para uma implantação confiável em ambientes de execução voltados para dispositivos. O trabalho destaca que, para que os sistemas neurais funcionem como coprocessadores ou controladores, suas escolhas de operação e transições de estado devem ser visíveis e verificáveis antes da implantação no hardware.