A Symbolic Neural CPU for Quantization-Simulated Writeback and Interpretable Program Execution

기술 요약: 양자화 시뮬레이션된 쓰기백(Writeback) 및 해석 가능한 프로그램 실행을 위한 심볼릭 신경 CPU

1. 문제 정의

현대적인 신경망은 연속적인 입출력 매핑을 학습하는 데 탁월하지만, 내부 상태 전이가 밀집된 활성화 함수나 파라미터 내에 숨겨져 있어 종종 "블랙박스"로 기능합니다. 이러한 불투명성은 특히 알고리즘적 추론이 필요하거나 제약된 하드웨어에 배포해야 하는 작업에서 학습된 실행기(executor)를 신뢰하기 어렵게 만듭니다. 메모리 증강 네트워크(예: Neural Turing Machines)와 뉴로심볼릭(neurosymbolic) 접근 방식이 추론 능력을 개선해 왔으나, 이들은 일반적으로 레지스터 수준의 감사 추적(audit trail)이 부족합니다. 구체적으로, 현재의 벤치마크는 최종 상태의 정확도만을 평가할 뿐, 학습된 시스템이 특정 심볼릭 연산을 선택했는지, 정확한 레지스터를 업데이트했는지, 그리고 중간 실행 경로가 참조 기계(reference machine)에 충실한지를 저정밀도(양자화된 산술 제약 조건 하에서의) 환경에서 구분하여 평가하지 못한다는 격차가 존재합니다. 기존 벤치마크는 모델이 알고리즘 경로를 올바르게 따르는 것과 단순히 종단점(endpoint)을 근사하는 것을 구분하지 못하고 최종 상태의 정확도만을 평가하는 경향이 있습니다.

2. 방법론

저자들은 감사 가능한 구조를 위해 설계된 인자화된 아키텍처인 **트레이스 감독 기반 심볼릭 신경 CPU(trace-supervised symbolic neural CPU)**를 소개합니다. 이 시스템은 레지스터 파일 $r_t \in [0, 1]^{R \times W}$로 구성된 레지스터 머신 인터페이스와 연산 및 소스/대상 레지스터 인덱스의 튜플인 명령어로 작동합니다.

핵심 아키텍처:

• 명령어 인코딩: 명령어는 원-핫(one-hot) 연산 레이블과 정규화된 레지스터 인덱스의 결 조합으로 인코딩됩니다.
• 순환 제어기(Recurrent Controller): 제어기(주로 GRU이며, Transformer, TCN, State-Space 모델과 비교됨)는 명령어와 선택적 메모리 읽기 벡터를 처리하여 은닉 상태를 생성합니다.
• 명시적 연산 라우터(Explicit Operation Router): 단일한 출력 대신, 모델은 고정된 이름이 지정된 연산 집합($O = \{AND, OR, XOR, ADD, SUB, SHL, SHR, MUL\}$)에 대한 로짓(logits)을 예측하는 라우터를 사용합니다.
• 미분 가능한 ALU 뱅크: 고정되고 미분 가능한 연속 산술 및 논리 연산(예: $A_{ADD}(u,v) = \text{clip}(u+v, 0, 1)$)의 뱅크가 후보 출력을 생성합니다.
• 마스크된 쓰기백(Masked Writeback): 모델은 대상 레지스터를 선택하고 해당 레지스터만 업데이트하여 전통적인 CPU의 국소성(locality) 제약을 유지합니다.
• 양자화 시뮬레이션 쓰기백(QAT8): 주요 실험 설정에서, 선택된 ALU 출력은 대상 레지스터에 기록되기 전에 8비트 고정 소수점 그리드로 투영됩니다.

학습 및 평가 프로토콜:

• 트레이스 감독(Trace Supervision): 모델은 최종 상태뿐만 아니라 레지스터 상태, 연산 레이블, 대상 마스크의 전체 궤적(trajectory)에 대해 학습됩니다.
• Gumbel-Softmax 완화(Relaxation): 학습 중에는 그래디언트 흐름을 허용하기 위해 확률적 연산 선택이 사용됩니다. 평가 중에는 검사 가능한 심볼릭 실행 경로를 보장하기 위해 결정론적인 하드 아그맥스(hard argmax) 게이트가 사용됩니다.
• 매치된 고정 소수점 리플레이(Matched Fixed-Point Replay): 저정밀도 성능을 평가하기 위해, 저자들은 "매치된 리플레이" 참조를 정의합니다. 이는 모델이 실행되는 것과 동일한 8비트 정밀도로 실행되는 참조 인터프리터의 독립적인 고정 소수점 재구현입니다. 이는 "참조 의미론적 불일치"(양자화로 인한 드리프트)와 "실행 실패"(잘못된 연산)를 분리합니다.
• 벤치마크: 시스템은 다양한 길이(최대 1000개 명령어), 너비(16 및 32개 레지스터)를 가진 합성 프로그램과 가시적 오피코드 실행, 숨겨진 오피코드 메모리 압박, 동등 프로그램 에너지 선택 태스크를 포함한 태스크 패밀리에 대해 평가됩니다.

3. 주요 기여

• 감사 가능한 실행 인터페이스: 본 논문은 실행 과정을 연산 게이트, 대상 마스크, 레지스터 궤적, 메모리 신호와 같이 검사 가능한 구성 요소로 분해하는 프레임워크를 구축했습니다.
• 양자-시뮬레이션 쓰기백과 매치된 리플레이: 저자들은 연속적인 레지스터 값이 드리프트되더라도, 평가 시 연속적인 참조가 아닌 매치된 저정밀도 참조를 사용한다면 신경 실행기가 심볼릭 연산 경로를 정확하게 유지할 수 있음을 입증했습니다.
• 인자화된 아키텍처 설계: 제어기, 연산 라우터, 고정 ALU 뱅크를 분리하는 것이 해석 가능한 실행에 필수적임을 보여줍니다. 절제 실험(ablation) 결과, 게이트 감독을 제거하면 최종 정확도는 유지될지라도 해석 불가능한 잠재 경로가 나타남을 확인했습니다.
• 확장된 인터페이스: 이 프레임워크는 ValueMemory(숨겨진 오피코드 태스크용), 스파이킹 제어기(제어 메모리를 위한 누설 적분 및 발화 역학 사용), 그리고 RV32I 기본 정수 명령어로의 시맨틱 브릿지(semantic bridge)로 확장됩니다.

4. 결과

• 길이 안정성 및 논리적 정확성: 주요 16-너비 레지스터 프로필에서, 비양자화 실행기는 참조 실행을 정확히 재현합니다. 8비트 양자화 시뮬레이션(QAT8) 실행기는 연속 레지스터의 수치적 드리프트(최종 MAE $\approx 2.5 \times 10^{-3}$)에도 불구하고 최대 1000개 명령어까지 심볼릭 연산 경로(게이트 일치)를 100% 보존합니다.
• 매치된 리플레이 충실도: 매치된 고정 소수점 리플레이(8비트 참조)에 대해 평가했을 때, QAT8 실행기는 100% 스칼라 그리드 충실도와 제로 트레이스 에러를 달로합니다. 이는 관찰된 드리프트가 실행 실패가 아니라 참조 의미론적 불일치임을 확인시켜 줍니다.
• 아키텍처 비교: 순환 제어기(GRU)는 일반적으로 Transformer 및 기타 변형 모델보다 우수하거나 대등한 성능을 보입니다. 결정적으로, 절제 실험은 명시적인 게이트 감독 손실을 제거하면 최종 상태를 근사하더라도 게이트 일치도가 붕괴(~74.5%)됨을 보여줍니다.
• 메모리 압박 및 숨겨진 오피코드: 오피코드 큐가 숨겨졌을 때(메모리 압박 태스크), 성능이 크게 저하되어 지연된 상태 사용과 시간적 결합(temporal binding)의 한계를 드러냅니다. ValueMemory 변형은 스택 형태의 태스크에서는 성능이 향상되지만, 긴 숨겨진 메모리 역전 현상에는 어려움을 겪습니다.
• 외삽 한계: 짧은 프로그램(최대 40단계)으로 학습된 32-너비 프로필은 긴 호라이즌(약 500단계 이상)으로 일반화하는 데 실패하며, 이는 한계가 상태 너비가 아닌 학습 호라이즌에 있음을 보여줍니다. 더 긴 호라이즌으로 재학습하면 정확성이 회복됩니다.
• 비용 인식 실행: 모델은 에너지 선택 목적 함수로 학습될 때, 정확성을 유지하면서 프록시 에너지를 약 38% 줄이는 낮은 비용의 동등 프로그램을 선택하는 법을 성공적으로 학습합니다.

5. 의의 및 주장

본 논문은 해석 가능하고 저정밀도이며 제어 가능한 신경 실행을 위한 트레이스 검증 가능 프레임워크를 구축한다고 주장합니다. 주요 의의는 평가 패러다임을 "종단점 정확도"에서 "전이 수준의 충실도"로 전환하는 데 있습니다.

저자들은 다음과 같은 결과를 제시합니다:

1. 가시성(Audibility): 학습된 실행기는 연속적인 상태 속에 숨기는 대신, 내부의 심볼릭 선택(연산 및 레지스터 업데이트)을 드러내도록 설계될 수 있습니다.
2. 저정밀도 강건성(Low-Precision Robustness): 신경 실행기는 양자화 의미론이 평가에 반영된다면, 수치적 정밀도가 8비트로 제한되더라도 논리적 정확성(심볼릭 경로)을 유지할 수 있습니다.
3. 제어 가능성(Control): 이 프레임워크는 폐루프 제어 및 하드웨어 인식 제약(에너지/지연 프록시)을 위한 확장을 지원합니다.

본 논문은 이것이 물리적 프로세서 구현, 완전한 정수 전용 추론 엔진, 또는 완전한 RISC-V 준수 에뮬레이터가 아님을 명시합니다. 대신, 학습된 시스템이 장치 접점 런타임(device-facing runtimes)에 대한 신뢰할 수 있는 배포를 위해 필요한 단계별 기계 트레이스를 보존하는지 검증하기 위한 시맨틱 브릿지이자 진단 기질 역할을 합니다. 이 연구는 신경 시스템이 코프로세서나 컨트롤러로 기능하기 위해서는 하드웨어 배포 전 단계에서 그들의 연산 선택과 상태 전이가 가시적이고 검증 가능해야 함을 강조합니다.