기술 요약: 자기 조직화 디지털 회로 (Self-Organising Digital Circuits)

문제 정의

고전적 컴퓨팅의 결함 허용(fault tolerance)은 하드웨어 중복성이나 오류 정정 코드(ECC)와 같은 정적 전략에 의존한다. 이러한 방법들은 효과적이긴 하지만, 손상이 사전에 할당된 중복 예산을 초과하거나 모델링된 실패 모드를 벗어날 경우 취약하다. 반면, 생물학적 시스템은 패턴 형성(예: 피질 재구성)을 통해 동적인 재조직화를 수행함으로써, 정적인 백업에 의과하는 대신 손상 주변에서 기능을 유지하는 적응적 가소성을 보여준다.

FPGA와 같은 현재의 재구성 가능 하드웨어는 이러한 수준의 자율성이 부족하다. 이들의 오류 완화는 종종 "재구성 페널티"에 의해 제한되며, 이는 상당한 오버헤드를 유발하는 전역적 모니터링과 로직 재매핑을 필요로 한다. 저자들은 단순한 중복성을 넘어, 전역적 감독 없이 구성 요소의 손실 후에도 입출력 함수를 자율적으로 복구할 수 있는 분산형 시스템을 제공함으로써, 디지털 하드웨어에 유기체와 같은 자기 치유 능력을 부여하여 이 간극을 메우고자 한다.

방법론

핵심 개념: 자기 조직화 디지털 회로

저자들은 기능적 로직 생성 및 유지를 그래프 상의 메타 학습 문제로 프레임화한다. 이들은 일반적으로 패턴 형성에 사용되는 신경 세포 자동자(Neural Cellular Automata, NCA) 패러다임을 기능적 로직 생성으로 확장한다. 이 프레임워크에서 세포 상태는 데이터 자체가 아니라, 데이터를 처리하는 기능적 기질(프로그래밍 가능한 로직 게이트)이다.

아키텍처: 토폴로지 마스크 트랜스포머 (Topology-Masked Transformer, TMT)

시스템은 이진 와이어링 마스크(binary wiring mask) 하에서 재귀적으로 적용되는 공유 가중치 어텐션 블록인 **토폴로지 마스크 트랜스포머(TMT)**를 채택한다.

• 그래프 표현: 회로는 노드가 LUT(Look-Up Table) 기반 게이트 또는 입력 핀을 나타내는 유향 비순환 그래프(DAG)로 모델링된다.
• 노드 상태: 각 노드 $i$는 다음과 같은 상태 벡터 $s_i = [\ell_i, m_i, p_i, r_i]$를 유지한다:
  • $\ell_i$: 게이트의 불리언 함수를 정의하는 LUT 로짓(logits).
  • $m_i$: 재귀적 상태를 위한 잠재 메모리(latent memory).
  • $p_i$: 정규화된 깊이의 사인파형 위치 인코딩(스케일에 불변).
  • $r_i$: 상류로 전파되는 스칼라 오류 피드백(잔차, residual).
• 업데이트 규칙: 단일 블록 트랜스포머가 모든 게이트 토큰에 대해 동시에 작동한다. 어텐션은 이진 토폴로지 마스크를 통해 연결된 이웃으로 제한된다. 업데이트 과정은 다음과 같다:
  1. 잠재 공간으로의 투영.
  2. QK-정규화 및 Pre-LN이 적용된 마스크드 멀티 헤드 셀프 어텐션(MSA).
  3. 노드별로 독립적으로 작동하는 게이트 MLP (ReZero).
  4. LUT 로짓 및 메모리에 대한 잔차 업데이트.
• 미분 가능성: 역전파를 통해 학습하기 위해, 저자들은 불리언 로직의 연속적 완화(continuous relaxation)를 사용한다. 이진 신호는 확률 $x \in [0, 1]$로 표현되며, LUT 항목은 시그모이드를 통과한다. 게이트 출력은 LUT의 다선형 보간(multilinear interpolation)을 통해 계산되어, 전체 함수를 통해 그래디언트가 흐를 수 있게 한다. 추론 시에는 $\{0, 1\}$로 반올림된다.

학습 체계

TMT는 회로 풀(pool)에 대해 **시간에 따른 역전파(Backpropagation Through Time, BPTT)**를 사용하여 학습된다.

• 메타 학습: TMT는 회로가 타겟 불리언 함수를 만족하도록 LUT를 구성하는 로컬 정책을 학습한다.
• 커리큘럼: 학습은 두 가지 커리큘럼을 포함한다:
  1. 자기 조립(Self-Assembly): 회로를 "소프트 와이어"(노이즈가 섞인 항등 패스스루)로 초기화하여, 정책이 무에서 유로 기능적 회로를 조립하도록 강제한다.
  2. 항상성(Homeostasis): 생존한 회로에 손상 주입(소프트 에러 또는 영구 결함)을 가하여 복구 전략을 학습한다.
• 피드백 루프: 각 학습 단계에서 회로는 기능적으로 실행되며, 노드당 잔차가 계산되어 그래프 상태로 피드백되어 실시간 폐쇄 루프를 생성한다.

주요 기여

1. 토폴로지 마스크 트랜스포머 (TMT): 배포 시점의 포워드 패스로 회로 최적화를 분할 상환(amortize)하는 공유 가중치 어텐션 블록을 도입했다. 이는 미분 가능한 하드웨어 구성 요소 없이도 분산된 로컬 정책을 가능하게 한다.
2. 소프트 에러 복구에서의 극단적 일반화: TMT는 학습 시 관찰된 것보다 최대 5배 더 큰 소프트 에러 패턴에 대해 >99.99%의 복구 정확도를 달ink한다. "편집 크기"(변경되는 게이트 수)는 섭동(perturbation)의 크기와 무관하게 유지된다.
3. 규모 불변 일반화(Scale-Free Generalization): 무작위 토폴로지에서 학습된 정책은 보지 못한 더 큰 회로(예: 264개에서 450개 이상의 노드로)로 일반화된다. 고정 토폴로지 학습이 특정 스케일에 과적합되는 것과 달리, 무작위 토폴로지 학습은 잠재 용량을 활용하여 회로 폭이 넓어질수록 정확도가 향상되게 한다.
4. 패턴에서 기능으로의 전환: NCA 적용의 근본적인 변화로, 오토마톤의 상태가 데이터가 아닌 기능적 기질(로직 게이트)을 나타내어 자기 조직화 디지털 하드웨어를 가능하게 한다.

실험 결과

저자들은 세 가지 12비트 작업(Split Multiplication, Split Addition, Bit Reversal)에 대해 시스템을 평가했다.

• 고정 토폴로지 (Regime I):

  • TMT는 최적화되지 않은 상태로부터 기능적 회로를 성공적으로 성장시키며, 손상 없는 조건에서 전역 역전파(BP) 베이스라인과 거의 동일한 성능을 달성한다.
  • 확률적 손상(20% 게이트 클램핑) 하에서, TMT는 부분적 기능성을 유지한다(Zero-Shot Resilience). 능동적 손상과 함께 학습될 경우, 적응적 강건성을 보여주며 BP에 가까운 성능 수준으로 복구된다.
  • "샷건(shotgun)" 시나리오(10% 게이트의 동시 파괴)에서, TMT는 능동적으로 복구하여 약 97%의 정확도로 안정화되며, 이는 수동적 베이스라인을 크게 압도한다.

• 자기 치유 및 퇴행성 (Regime II):

  • 가역적 섭동(방사선 유도 소프트 에러 모델링)에 대해, TMT는 학습 파라미터를 훨씬 초과하는 손상 크기에 대해서도 완벽에 가까운 복구(>99.99%)를 달성한다.
  • 솔루션 퇴행성(Solution Degeneracy): PCA 및 UMAP 시각화 결과, 손상 발생 시 TMT는 기억된 정형 상태(canonical state)로 되돌아가는 것이 아니라, 구조적으로는 다르지만 기능적으로는 동등한 다양한 로컬 최소값(local minima)의 팬(fan)으로 동적으로 경로를 재설정한다. 이는 단일 클러스터 주변의 점진적 변형만을 탐색하는 표준 BP와 대조된다.

• 무작위 토폴로지 (Regime III):

  • 시스템은 Bit Reversal 작업을 위해 진정한 토폴로지 불가지론적(topology-agnostic) 정책을 학습하여, 보지 못한 무작위 그래프로 일반화된다.
  • 산술 작업의 경우, 정책은 거친 통계적 패턴은 포착하지만 정확한 산술 연산으로 수렴하는 데 어려움을 겪으며, 이는 무작위 그래프에서의 복잡한 로직에 대한 현재의 정밀도 한계를 나타낸다.

• 규모 불변 최적화 (Regime IV):

  • 창발적 확장성(Emergent Scalability): 무작위 토폴로지에서 학습될 때, 정책은 훨씬 더 넓은 회로(264 $\to$ 450+ 노드)로 일반화되며, 폭이 확장됨에 따라 정확도가 실제로 증가한다.
  • 오버핏 크기(Overfitting Size): 반대로, 고정된 토폴로지에서 학습하면 훈련된 크기와 다른 회기 사이즈에 대해 성능이 붕괴하는 과적합이 발생한다.
  • 한계: 깊이(depth)를 확장하는 것은 여전히 과제로 남아 있으며, 이는 레이어가 추가됨에 따라 정규화된 깊이 위치 인코딩의 해상도 변화 때문인 것으로 보인다.

의의 및 주장

본 논문은 생물학적 자기 조직화의 원리를 실질적인 디지털 하드웨어 영역으로 연결한다고 주장한다. 전역적이고 감독된 재구성을 대신하여 분산된 로컬 정책을 사용함으로써, 디지털 회로가 자율적으로 자기 조립, 자기 수리 및 다양한 구조적 스케일에 걸쳐 경로 정책을 일반화할 수 있음을 입증했다.

저자들은 시스템이 구조적 목표보다 **기능적 항상성(functional homeostasis)**을 우선시한다는 점을 강조한다. 가역적 손상 하에서, 정책은 구조적으로는 구별되지만 기능적으로 동등한 새로운 로컬 최소값으로 회로를 유도하며, 이는 시스템이 강건성을 유지하기 위해 구조적으로 다른 경로를 전환하는 생물학적 다중 스케일 역량(multi-scale competency)을 모방한다.

현재의 산업적 응용은 일반적으로 결정론적 구성을 요구하지만, 저자들은 TMT가 **구조적 퇴행성(structural degeneracy)**을 활용하는 능력이 전역적 재구성이 불가능한 원격 환경(예: 심우주 임무)에서 자율 시스템에 대한 가능성을 열어준다고 본다. 이 연구는 계산 기질이 처방된 중복성을 넘어, 스스로 성장하고 학습하며 치유될 수 있는 미래를 제시한다.

인정된 한계점:

• 현재의 위치 인코딩은 국부적 토폴로지 문맥(수직 깊이만 포착)이 부족하다.
• 노드당 오류 피드백는 거친 스칼라이며, 메타 학습자는 실제 태스크 데이터에 대해 알지 못한다.
• 현재 토폴로지 마스크는 밀집 행렬(dense matrix)로 작동하여 수천 개의 게이트로 확장할 때 계산적 어려움이 있다.
• 회로의 깊이를 확장하는 것은 여전히 해결되지 않은 과제이다.