Time as a Computational Substrate: The Eligibility Trace and the First Challenge to the von Neumann Architecture

기술 요약: 계산적 기질로서의 시간

문제 제로 (Problem Statement)
1945년 폰 노이만 아키텍처가 정립된 이래, 범용 컴퓨팅은 검증되지 않은 가정하에 작동해 왔다: 시간이 이산적이고 균일하며 의미론적으로 중립적인 시퀀스 번호(프로그램 카운터)라는 가정이다. 이 패러다임에서 물리적 시간의 화살은 계산적 의미를 갖지 않는다. 즉, 기계는 특정 이벤트가 3 사이클 전에 발생했는지 혹은 30,000 사이클 전에 발생했는지를 메모리 주소 인덱스 외에는 구분할 수 없다. 후속 신경망 세대(피드포워드, CNN, RNN, Transformer)가 표현력을 개선했음에도 불구하고, 이들은 이 근본적인 전제에 도전하지 못했다. 이들은 시간을 좌표로서 인코딩, 압축 또는 마스킹해야 할 대상으로 취급할 뿐, 인과관계가 계산을 통해 유입되는 물리적 기질로서 다루지 않는다. 본 논문은 기존 문헌의 공백을 식별한다: 뉴로모픽 칩이나 레저보어 컴퓨팅(reservoir computers)이 시간적 역동성을 활용하고 강화 학습이 적격성 흔적(eligibility traces)을 활용하기는 하지만, 선행 연구 중에서는 인과적 화살이 학습 규칙 자체에 명시적으로 인코딩된 구조를 보여주거나, 그러한 구조가 창발적 분화(emergent differentiation)를 위한 유일한 필요 조건임을 절제 실험(ablation)을 통해 검증한 사례는 없다.

방법론 (Methodology)
저자는 적격성 흔적(eligibility trace), 즉 $e(t + 1) = \lambda e(t) + \Delta w$로 정의되는 식을 중심으로 하는 "시간 네이티브(time-native)" 계산 구조를 제안하고 검증한다. 이 구조는 국소적 이벤트(시냅스 변화)를 시간상으로 연결하여 지연된 전역 평가 신호와 결합한다. 본 연구는 세 가지 서로 다른 도메인에서 가설을 검증하는 교차 기질 접근법을 채택한다:

1. 스파이킹 신경망 (SNN): 스파이크 타이밍 의존 가소성(STDP)으로 훈련된 보상 변조 SNN이 합성 패턴 인식 작업에 테스트되었다. 연구는 세 가지 스케일($N=800, 8,000, 80,000$ 뉴런)과 세 개의 무작위 시드에 대해 5가지 조건의 절제 설계(ablation design)를 사용하여 500,000 스텝 동안 실행되었다. 테스트된 구성 요소는 전체 모델, 적격성 흔적 제거($no\_ELIG$), 곱셈적 LTP 제거($no\_MULT$), 로지스틱 가중치 포화 제거($no\_LOG$), 그리고 보상 예측 오차 제거(no\_RPE})를 포함한다.
2. 확률적 경사 하강법 (SGD): 선형 어텐션 모델(CubeAttn, $d=2048$)에 대한 섭동 실험이 AdamW를 사용하여 수행되었다. 연구는 "경사 방향 일관성"(적격성 흔적의 SGD 대응물)을 조작하여, 그래디언트를 증폭시키거나($batch\_spike$) 직교 노이즈를 통해 시간적 일관성을 저해하는($ortho\_kick$) 방식을 사용했다.
3. 인과 발견 (Causal Discovery): 알려진 인과적 지연(causal lag)을 가진 합성 베어링 진동 데이터에 대해 스파이킹 네트워크가 훈련되었다. 네트워크는 명시적인 인과 레이블 없이 스칼라 보상 신호만을 받아, 적격성 흔적이 그랜저 인과 관계(Granger-causal relationships)를 회복할 수 있는지 테스트하였다.

핵심 기여 (Key Contributions)

• 계산적 프리미티브로서의 적격성 흔적: 본 논문은 적격성 흔적을 단순한 학습 규칙의 구성 요소가 아니라, 물리적 시간의 화살이 학습 메커니즘에 직접 인코딩되는 "시간 네이티브" 프리미티브로 정의한다. 저자는 분화가 전역 신호와 국소적 이벤트의 감쇠하는 기억의 곱으로부터 발생한다고 상정한다: $Differentiation = Global Signal \times Decaying Memory$.
• 절제를 통해 검증된 필연성: 체계적인 절제 실험을 통해, 저자는 적격성 흔적이 창발적 분화(가중치 분포의 지니 계수로 측정됨)를 위한 유일한 필요 조건임을 입증한다. 적격성 흔적을 제거하면($no\_ELIG$) 분화가 평탄해지며($\Delta Gini \approx -0.006$), 다른 구성 요소(예: 곱셈적 LTP)를 제거하는 것은 분화율을 낮추거나 평형 상태를 변화시킬 뿐 현상 자체를 없애지는 못한다.
• 규모 및 구현 불변성: 이 메커니즘은 두 자릿수의 규모 차이($10^4$에서 $10^8$ 시냅스까지)에 걸쳐 규모 불변성을 보이며, CPU와 GPU 코드베이스가 소수점 셋째 자리까지 동일한 결과를 생성함으로써 구현 불변성을 입증했다.
• 비대칭적 인과성: 연구는 시간적 가교(temporal bridge)가 필요조건이지만 충분조건은 아님을 확립한다. 시간적 가교를 저해하면(적격성 흔적 제거 또는 경사 방향 무작위화) 돌파구(breakthrough) 자체가 발생하지 않는 반면, 신호를 증폭하면(그래디언트 크기 증가) 위상 전이(phase transition)가 가속화되지 않는다.
• 폰 노이만 아키텍처의 재구성: 본 논문은 폰 노이만 아키텍처가 이러한 일반적 원리의 "퇴화된 사례(degenerate case)"라고 주장한다. 즉, 적격성 윈도우($\tau_e$)가 0으로 붕괴하여 국소적 이벤트와 지연된 결과 사이의 시간적 가교가 사라진 상태이다.

결과 (Results)

• SNN 절제 실험: $N=80,000$에서 전체 모델은 $+0.044$의 지니 계수 증가를 달성했다. $no\_ELIG$ 조건은 $\Delta Gini$가 $-0.005$로 나타나, 가중치 분포를 초기화 상태에서 동결시켰다. 반면,$no_MULT$는 대규모 스케일에서 전체 효과의 29$no_RPE$는 분화를 1000% 이상 증폭시켰다. 이는 적격성 흔적이 분화의 엔진인 반면, 다른 구성 요소들은 브레이크나 가속기 역할을 함을 나타낸다.
• SGD 섭동: CubeAttn 실험에서 제어군과 증폭 신호($batch\_spike$) 그룹은 정확히 66,000 스텝에서 성능 천장을 돌파했다. 반면, 시간적 가교를 방해한 저해 신호($ortho\_kick$) 그룹은 100,000 스텝 동안 임계값 아래에서 진동하며 위상 전이를 달성하지 못했다.
• 인과 발견: 베어링 진동 작업에서 전체 모델은 $0.767$의 점수로 올바른 인과 방향을 회복했다. 적격성 흔적을 제거하면 인과적 가중치 크기가$17.6$배 감소하여 신호가 거의 노이즈 수준으로 떨어졌으며, 시간적 순서를 무작위화하면 인과 점수가 우연 수준($0.538$)으로 급락했다.
• $\tau$-스케일링: 적격성 윈도우($\tau_e$)를 20에서 200,000 스텝으로 확장했을 때 평형 분화도가 상승했다(지니 계수 $0.584$ vs $0.509$). 이는 적격성 윈도우의 크기가 인과적 신호 통합의 점근적 용량을 제어함을 확인시켜 준다.

의의 및 주장 (Significance and Claims)
본 논문은 시간이 단순히 시퀀스 번호에 불과하다는 폰 노이만 가정에 대한 최초의 작동 가능한 반례를 제시한다고 주장한다. 저자는 적격성 흔적이 새로운 계산적 프리미티브인 **시간 네이티브 계산(time-native computation)**을 구성한다고 주장한다. 이 패러다임에서 인과관계는 통계적 상관관계를 통해 데이터로부터 추론되는 것이 아니라, 학습 규칙의 비대칭적 시간 구조에 물리적으로 인코딩된다.

저자는 폰 노이만 아키텍처가 "틀린" 것이 아니라 "불완전한" 것이라고 단언한다. 그것은 적격성 윈도우가 0인 특수한 경우이다. 일반적인 경우인 시간 네이티브 계산은 기계가 명시적인 레이블 없이 관측 데이터로부터 인과 구조를 학습하고, 파괴적 망각 없이 환경 변화에 지속적으로 적응하며, 시간의 화살을 구현의 세부 사항이 아닌 물리적 자유도로 다룰 수 있게 한다. 본 논문은 이 일반적인 사례를 채울 수 있는 기계는 더 빠른 폰 노이만 컴퓨터와는 근본적으로 다를 것이라고 결론짓는다. 그것은 인과관계가 매질의 물리적 속성이 되는 기계가 될 것이다.