Mass Conservation as an Inductive Bias for Self-Organized Criticality in NCA Reservoirs

기술 요약: 자가 조직된 임계성(SOC)을 위한 NCA 레저버의 유도 편향으로서의 질량 보존

문제 정의

레저버 컴퓨팅(RC)은 고정된 고차원 시스템의 내재적 역학을 활용하여 입력을 단순 선형 판독기로 해결 가능한 특징 공간으로 매핑한다. RC의 유망한 이론적 토대는 스케일 프리(scale-free) 아발란체 통계와 흔히 "혼돈의 가장자리(edge-of-chaos)" 가설과 연관되는 전형적인 특성인 스케일 프리 아발란체 역학을 특징으로 하는 **자가 조직된 임계성(SOC)**이다. 최근 연구들은 신경 세포 자동자(NCA)가 효과적인 RC 기질로서 기능하도록 진화될 수 있음을 보여주었으나, 견고하고 일관된 임계성을 달야하는 것은 여전히 과제로 남아 있다. 본 논문은 질량 보존(전체 격자 질량을 보존하는 국소적 재분배 규칙)이 다운스트림 작업의 효용성을 해치지 않으면서도 진화된 NCA 레저버에서 SOC를 촉진하는 신뢰할 수 있는 유도 편향(inductive bias) 역할을 할 수 있는지 조사한다.

방법론

저자들은 MaCE 프레임워크(Papadopoulos and Guichard, 2025)에서 영감을 얻은 질량 보존 메커니즘을 통합하여, Pontes-Filho 등(2025)의 연구를 기반으로 수정된 NCA 아키텍처를 제안한다.

1. NCA 아키텍처: 시스템은 폭 $W=1000$, 채널 $C=5$(가시 채널 1개, 은닉 채널 4개)인 1차원 이진 결정론적 CA이다. 상태 업데이트는 1,565개의 파라미터를 가진 경량 3계층 합성곱 신경망(CNN)에 의해 제어된다.
2. 질량 보존 메커니즘: 표준 NCA와 달리, "보존형(conserving)" 변형은 CNN 업데이트 후 이진화 전 단계에서 **가시 채널(visible channel)**에 대해서만 국소적인 기부-수집(donate-then-collect) 재분배 규칙을 적용한다.
   • 각 셀 $j$는 원시 가시 값을 기준으로 소프트맥스 가중치가 적용된 친화도에 따라 이웃($i \in N(j)$)에게 질량을 기부한다.
   • 각 셀 $i$는 자신의 이웃을 포함하는 영역으로부터 기부금을 수집한다.
   • 이를 통해 모든 타임스텝에서 전체 가시 활성화 값 $\sum s_i$가 정확하게 보존된다. 4개의 은닉 채널은 임의의 내부 표현을 허용하기 위해 제약을 두지 않는다.
3. 진화적 훈련: 두 가지 변형(기본형 및 보존형) 모두 500 세대에 걸쳐 CMA-ES(Covariance Matrix Adaptation Evolution Strategy)를 사용하여 진화시킨다.
   • 적합도 함수(Fitness Function): 가시 채널의 아발란체 통계에서 멱법칙(power-law) 거동에 보상을 주는 복합 점수를 사용한다. 이는 멱법칙 모델과 지수 모델을 비교하는 결정 계수($R^2$), 콜모고로프-스미르노프(KS) 거리, 빈도 점유율, 상태 고유성 및 로그 가능도 비율을 결합한다.
   • 실험 설정: 각 변형에 대해 세 개의 독립적인 무작위 시드(42, 43, 44)가 사용되었다.
4. 평가 지표:
   • 임계성(Criticality): 6가지 아발란체 분포(0-상태 및 1-상태에 대한 크기, 지속 시간, 간격 발생 시간)에 대한 적합도 검정(GOF)을 통해 평가한다. 분포가 $p \ge 0.1$을 만족하면 통과한 것으로 간주한다. "완벽한 임계성"은 6개 분포가 모두 통과하는 것으로 정의된다.
   • 다운스트림 작업: 고정된 NCA 레저버와 훈련된 선형 판독기를 사용하여 세 가지 벤치마크를 평가한다:
     • 5-비트 순차 메모리: 200-스텝 방해 요소 이후 5-비트 패턴 유지력.
     • MNIST 분류: LinearSVC 판독기를 사용한 이미지 분류.
     • CartPole-v1 시간적 제어: 선형 Q-네트워크를 사용하는 강화 학습 작업.

주요 기여

1. SOC를 위한 유도 편향: 본 연구는 질량 보존이 완벽한 임계성(6/6 GOF 통과)을 보이는 NCA 레저버를 진화시킬 가능성을 크게 높이는 신뢰할 수 있는 유도 편향으로 작용함을 입증한다.
2. 훈련 효율성: 보존형 변형은 기본형에 비해 7.3% 높은 평균 적합도를 달림과 동시에 실제 실행 시간(wall-clock time) 기준으로 1.27배 빠르게 수렴하였다.
3. 효용성 보존: 질량 보존 제약의 도입이 다운스트림 성능을 저하시키지 않았다. 두 변형 모두 메모리 및 분류 작업에서 대등한 결과를 얻었으며, 보존형 변형은 체크포인트 선택 후 시간적 제어에서 더 우수한 성능을 보였다.
4. 임계성-연산 연결: 가장 강력한 임계성을 보인 시드(보존형 시드 44)가 가장 높은 시간적 제어 점수를 기록하였으며, 이는 SOC 품질과 순차적 연산 능력 사이의 양의 상관관계를 시사한다.

결과

• 임계성 특성:
  • 보존형 변형: 시드 43과 44가 완벽한 임계성(6/6 GOF 통과)을 달성했다. 시드 42는 3/6을 달성했다.
  • 기본형 변형: 어떤 기본형 시드도 완벽한 임계성을 달성하지 못했다. 가장 우수한 기본형(시드 44)은 5/6를 달성했으며, 시드 42와 43은 3/6를 달성했다.
  • 아발란체 통계: 보존형 시드들은 모든 분포에서 멱법칙 스케일링을 보였다. 특히 시드 44의 1-상태 지속 시간 분포는 가파른 지수($\hat{\alpha} \approx 10.3$)를 가졌는데, 이는 낮은 분산으로 인해 GOF 테스트를 사소하게 통과한 것이지만, 여전히 완벽한 점수에 기여했다.
• 다운스트림 성능:
  • 5-비트 메모리: 두 변형 모두 모든 시드에서 완벽한 점수(1.0)를 기록했다.
  • MNIST: 두 변형 모두 원시 픽셀 베이스라인(91.1%)을 능가했다. 기본형이 미미한 평균 차이(+0.27 퍼센티지 포인트, 93.81% 대 93.54%)로 앞섰으나, 이는 시드 간 편차 범위 내에 있었다. 그러나 보존형 특징은 분류 속도가 **26배 더 빨랐으며**, 이는 더 나은 선형 분리 가능성을 시사한다.
  • CartPole-v1: 보존형 변형이 더 높은 평균 보상(120.6 대 88.6)을 달성했다. 결정적으로, **시드 44(보존형, 완벽한 임계성)**가 가장 높은 개별 점수(163.4)를 기록했다.
• 체크포인트 정렬: 주목할 만한 비대칭성이 관찰되었다. 보존형 변형의 경우, 최종 체크포인트(gen 499)가 적합도와 임계성을 동시에 최대화했다. 반면 기본형의 경우, 최상의 아발란체 통계치를 보이는 체크포인트가 최상의 다운스트림 성능을 내는 체크포인트와 일치하지 않았는데, 이는 보존 법칙이 SOC 품질을 기능적 효용성과 정렬시킨다는 것을 나타낸다.

의의 및 주장

본 논문은 질량 보존이 진화된 NCA 레저버에서 견고한 임계성을 촉진하기 위한 단순하고 효과적이며 파라미터가 없는 메커니즘이라고 주장한다. 질량의 폭발이나 소멸을 방지함으로써, 보존 법칙은 역학을 규제하여 완전한 임계적 끌개(attractor) 주변으로 적합도 지형을 좁히고 진화 알고리즘이 이를 더 쉽게 찾을 수 있게 한다.

저자들은 이 접근 방식이 임계성 추구와 다운스트림 효용의 희생 사이의 결합을 성공적으로 분리해냈다고 단언한다. 결과는 (보존에 의해 촉진된) 임계점 근처에서 작동하는 시스템이 순차적 연산 능력을 제공할 수 있다는 혼돈의 가장자리 가설에 대한 잠정적인 경험적 지지를 제공한다. 본 연구는 보존 법칙이 SOC 달성을 도울 뿐만 아니라, 결과적인 임계 역학이 작업 성능과 기능적으로 정렬되도록 보장하여, 임계성 최적화와 작업 효용 최적화 사이에 흔히 발생하는 긴장 관계를 제거한다고 결론짓는다.

참고: 저자들은 세 개의 시드만을 사용한 점(통계적 검증력 제한)과 가시 채널에만 보존을 적용한 점을 포함한 한계점을 인정하였다. 향-후 연구에서는 더 큰 시드 집단, 은닉 채널 보존, 그리고 임계성과 작업 적합도의 공동 최적화를 탐구해야 한다고 제언하였다.