A Symbolic Neural CPU for Quantization-Simulated Writeback and Interpretable Program Execution

Resumen Técnico: Una CPU Neuronal Simbólica para la Escritura de Retroalimentación de Cuantización Simulada y la Ejecución de Programas Interpretable

1. Planteamiento del Problema

Las redes neuronales modernas sobresalen en el aprendizaje de mapeos de entrada-salida continuos, pero a menudo funcionan como "cajas negras" donde las transiciones de estado internas permanecen ocultas dentro de activaciones o parámetros densos. Esta opacidad dificulta la confianza en los ejecutores aprendidos, particularmente cuando la tarea requiere razonamiento algorítmico o despliegue en hardware restringido. Si bien las redes aumentadas por memoria (por ejemplo, Máquinas de Turing Neurales) y los enfoques neurosimbólicos han mejorado las capacidades de razonamiento, generalmente carecen de un rastro de auditoría a nivel de registro. Específicamente, existe una brecha en la evaluación de si un sistema aprendido expone la operación simbólica específica seleccionada, el registro exacto actualizado y si la trayectoria de ejecución intermedia permanece fiel a una máquina de referencia, especialmente bajo restricciones de aritmética de baja precisión (cuantizada). Los benchmarks actuales suelen evaluar solo la precisión del estado final, fallando en distinguir entre un modelo que sigue correctamente una trayectoria algorítmica y uno que simplemente aproxima el punto final.

2. Metodología

Los autores introducen una CPU neuronal simbólica supervisada por traza, una arquitectura factorizada diseñada para hacer que el proceso de ejecución sea auditable. El sistema opera sobre una interfaz de máquina de registros controlada donde el estado de la máquina es un archivo de registros $r_t \in [0, 1]^{R \times W}$, e instrucciones que son tuplas de una operación y de índices de origen/destino de los registros.

Arquitectura Central:

• Codificación de Instrucciones: Las instrucciones se codifican como etiquetas de operación one-hot combinadas con índices de registros normalizados.
• Controlador Recurrente: Un controlador (principalmente un GRU, con comparaciones con Transformers, TCNs y modelos de Espacio de Estados) procesa la instrucción y vectores opcionales de lectura de memoria para generar estados ocultos.
• Enrutador de Operaciones Explícito: En lugar de una salida monolítica, el modelo utiliza un enrutador para predecir logits sobre un conjunto fijo de operaciones con nombre ($O = \{AND, OR, XOR, ADD, SUB, SHL, SHR, MUL\}$).
• Banco de ALU Diferenciable: Un banco de operaciones lógicas y aritméticas continuas y diferenciables fijas (por ejemplo, $A_{ADD}(u,v) = \text{clip}(u+v, 0, 1)$) genera salidas candidatas.
• Escritura con Máscara (Masked Writeback): El modelo selecciona un registro de destino y actualiza únicamente ese registro, preservando la restricción de localidad de las CPUs tradicionales.
• Escritura de Retroalimentación de Cuantización Simulada (QAT8): En el escenario experimental principal, la salida de la ALU seleccionada se proyecta sobre una cuadrícula de punto fijo de 8 bits antes de ser escrita en el registro de destino.

Protocolos de Entrenamiento y Evaluación:

• Supervisión por Traza: El modelo se entrena no solo en el estado final, sino en la trayectoria completa de los estados de los registros, las etiquetas de operación y las máscaras de destino.
• Relajación Gumbel-Softmax: Durante el entrenamiento, se utiliza la selección estocástica de operaciones para permitir el flujo de gradientes. Durante la evaluación, se utilizan puertas deterministas de argmax duro para asegurar una trayectoria de ejecución interpretable y simbólica.
• Replay de Punto Fijo Emparejado: Para evaluar el rendimiento de baja precisión, los autores definen un "replay de referencia". Este es una reimplementación independiente de punto fijo del intérprete de referencia, ejecutada a la misma precisión de 8 bits que el modelo. Esto separa el "desajuste de semántica de la referencia" (deriva debida a la cuantización) de un "fallo de ejecución" (operación incorrecta).
• Benchmarks: El sistema se evalúa en programas sintéticos de diversas longitudes (hasta 1000 instrucciones), anchuras (16 y 32 registros) y familias de tareas que incluyen ejecución de opcode visible, presión de memoria de opcode oculto y tareas de elección de energía de programas equivalentes.

3. Contribuciones Clave

• Interfaz de Ejecución Auditable: El artículo establece un marco donde el proceso de ejecución se descompone en componentes inspeccionables: puertas de operación, máscaras de destino, trayectorias de registros y señales de memoria.
• Escritura de Retroalimentación de Cuantización Simulada con Replay Emparejado: Los autores demuestran que un ejecutor neuronal puede preservar la trayectoria de la operación simbólica exactamente, incluso cuando los valores numéricos derivan debido a la cuantización de 8 bits, siempre que la evaluación utilice una referencia de bajo nivel de precisión emparejada en lugar de una referencia continua de precisión completa.
• Diseño de Arquitectura Factorizada: El trabajo muestra que separar el controlador, el enrutador de operaciones y el banco de ALU fijo es necesario para una ejecución interpretable. Las ablaciones revelan que eliminar la supervisión de la puerta conduce a trayectorias latentes ininterpretables, incluso si se mantiene la precisión final.
• Interfaces Extendidas: El marco se extiende para incluir ValueMemory (para tareas de opcode oculto), controladores de espigas (usando dinámica de integración y disparo con fuga para la memoria de control únicamente) y un puente semántico hacia las instrucciones base de enteros RV32I.

4. Resultados

• Estabilidad de Longitud y Corrección Lógica: En el perfil principal de 16 registros, el ejecutor no cuantizado reproduce la ejecución de referencia exactamente. El ejecutor de cuantización simulada de 8 bits (QAT8) preserva la trayectoria de la operación simbólica (acuerdo de compuerta) al 100% para programas de hasta 1000 instrucciones, a pesar de la deriva numérica de los registros continuos (MAE Final $\approx 2.5 \times 10^{-3}$).
• Fidelidad de Replay Emparejado: Cuando se evalúa contra el replay de punto fijo emparejado (la referencia de 8 bits), el ejecutor QAT8 logra un 100% de fidelidad de la cuadrícula escalar y cero error de traza. Esto confirma que la deriva observada en la puntuación continua es un desajuste de semántica de la referencia, no un fallo de ejecución.
• Comparación de Arquitecturas: Los controladores recurrentes (GRU) generalmente superan o igualan a los Transformers y otras variantes en estas tareas. Crucialmente, las ablaciones muestran que eliminar la pérdida de supervisión de la compuerta causa que el acuerdo de la compuerta colapse (a ~74.5%), incluso si el modelo aprende a aproximar el estado final.
• Presión de Memoria y Opcodes Ocultos: Cuando los indicios de los opcodes están ocultos (tareas de presión de memoria), el rendimiento se degrada significamente, exponiendo los límites del uso de estado retardado y la vinculación temporal. Las variantes de ValueMemory mejoran el rendimiento en tareas tipo pila, pero tienen dificultades con reversiones de memoria ocultas largas.
• Límites de Extrapolación: Un perfil de 32 anchuras entrenado en programas cortos (máximo 40 pasos) falla al generalizarse a horizontes largos (más allá de ~500 pasos), mostrando que el límite es el horizonte de entrenamiento, no el ancho del estado. El reentrenamiento en horizontes más largos restaura la exactitud.
• Ejecución Consciente del Costo: El modelo aprende con éxito a seleccionar programas equivalentes de menor costo (trayectorias de mínima energía) cuando se entrena con objetivos de elección de energía, reduciendo la energía proxy en aproximadamente un 38% mientras mantiene la corrección.

5. Significado y Reivindicaciones

El artículo afirma establecer un marco verificable por traza para la ejecución neuronal interpretable, de baja precisión y controlable. Su principal significancia radica en el cambio del paradigma de "precisión del punto final" hacia la "fidelidad a nivel de transición".

Los autores afirman modestamente que sus resultados demuestran:

1. Auditabilidad: Los ejecutores aprendidos pueden diseñarse para exponer sus elecciones simbólicas internas (operaciones y actualizaciones de registros) en lugar de ocultarlas en estados continuos.
2. Robustez de Baja Precisión: Los ejecutores neuronales pueden mantener la corrección lógica (trayectoria simbólica) incluso cuando la precisión numérica está restringida a 8 bits, siempre que la evaluación tenga en cuenta la semántica de la cuantización.
3. Control: El marco soporta extensiones para control de bucle cerrado y restricciones conscientes del hardware (proxies de energía/retraso).

El artículo establece explícitamente que no pretende ser una implementación de un procesador físico, un motor de inferencia de solo enteros completo o un emulador compatible con RISC-V completo. En su lugar, sirve como un puente semántico y un sustrato de diagnóstico para verificar si los sistemas aprendidos preservan la traza de la máquina paso a paso requerida para un despliegue confiable en entornos de ejecución orientados a dispositivos. El trabajo destaca que, para que los sistemas neuronales funcionen como coprocesadores o controladores, sus elecciones de operación y transiciones de estado deben ser visibles y verificables antes del despliegue en hardware.