기술 요약: 평생 지능을 위한 동적 중첩 계층 구조

1. 문제 제기

대형 언어 모델 (LLM) 을 포함한 현대의 머신러닝 모델들은 정적이며 고정된 분포를 가진 작업에서는 탁월한 성능을 발휘하지만, 비정상적 (non-stationary) 환경에서는 어려움을 겪습니다. 이들의 경직된 아키텍처는 **파괴적 망각 (catastrophic forgetting)**과 재학습 없이 지속적으로 새로운 지식을 습득하지 못하는 inability 을 초래하며, 저자들은 이를 **전향성 실어증 (anterograde amnesia)**에 비유합니다.

이전 중첩 학습 (Nested Learning, NL) 패러다임 [4] 은 고정된 업데이트 주기를 가진 다중 수준 최적화 문제로 모델을 분해하여 고차원 문맥 학습을 가능하게 했으나, 정적 계층 구조에 의해 제한을 받았습니다. 고정된 수준 수와 업데이트 주기는 NL 모델이 진화하는 데이터 분포나 동적인 문맥 흐름에 적응하는 것을 방해합니다. 기존 동적 접근법들 (예: EvoNet, Growing Neural Networks) 은 종종 자율적인 계층 구조 진화를 위한 통합된 프레임워크가 부족하여, 변동성이 큰 문맥을 처리하는 데 비효율적입니다.

2. 방법론: 동적 중첩 계층 구조 (DNH)

본 논문은 학습 및 추론 중에 모델 아키텍처를 자율적으로 조정할 수 있도록 하는 NL 패러다임의 확장인 **동적 중첩 계층 구조 (Dynamic Nested Hierarchies, DNH)**를 제안합니다. DNH 는 모델 아키텍처를 **시간에 따라 변하는 방향 비순환 그래프 (Directed Acyclic Graph, DAG)**인 $G_t = (V_t, E_t)$로 취급하며, 여기서 수준 수 ($L_t$), 중첩 구조, 그리고 업데이트 주기 ($f^{(\ell)}_t$) 는 메타러닝을 통해 최적화되는 동적 변수들입니다.

핵심 메커니즘

DNH 는 신경가소성에서 영감을 받아 다음 세 가지 주요 메커니즘을 통해 자기 진화를 촉진합니다:

1. 수준 추가: 메타 손실 (meta-loss) 이 임계값 $\tau$를 초과할 때 (표현력 부족을 나타냄), 새로운 기억 모듈 $M^{(L_t+1)}_{t+1}$이 삽입됩니다. 이 모듈의 매개변수는 고정된 계층 구조가 놓친 상관관계를 포착하기 위해 헤비안 (Hebbian) 유사 규칙을 통해 초기화됩니다.
2. 수준 가지치기: 기울기 흐름에 대한 기여도가 최소인 (기울기 노름으로 측정됨) 중복된 수준들은 제거되어 과적합을 방지하고 계산적 실현 가능성을 유지합니다.
3. 주파수 변조: 각 수준의 업데이트 주기는 **국소 놀라움 신호 (Local Surprise Signals, LSS)**에 기반하여 적응합니다. 변동성이 큰 문맥을 처리하는 수준들은 업데이트 주기를 높이는 반면, 안정적인 수준들은 주기를 낮추어 뇌파 적응 (예: 델타에서 감마 주파수) 을 모방합니다.

수학적 공식화

시스템은 메타 최적화 과정에 의해 지배됩니다:
$$G_{t+1} = \arg \min_G \mathcal{L}_{meta}(G; G_t, x_t, \Delta_t)$$
여기서 $\mathcal{L}_{meta}$는 작업 손실, 구조적 변화 패널티, 그리고 (클루백-라이블러 발산을 통한) 분포 변화를 정량화하는 요소를 포함합니다. 업데이트 주기는 모멘텀 기반 기울기 규칙을 따르며, 이를 통해 시스템은 분포 변화 ($\Delta_t$) 에 동적으로 반응할 수 있습니다.

저자들은 자기 수정 기억 (Self-Modifying Memory, SMM) 모듈과 진화 가능 Adam (Evolvable Adam, EAdam) 최적화기를 도입했는데, 여기서 하이퍼파라미터 (모멘텀 계수 등) 자체도 메타 기울기를 통해 진화하여 모델이 자신의 최적화 전략을 정제할 수 있게 합니다.

3. 주요 기여

• 아키텍처 혁신: 정적 학습의 정적 제약을 넘어, 깊이와 업데이트 주기를 자율적으로 진화시키는 시간 가변 DAG 로서 DNH 를 정의함.
• 이론적 보장:
  • 수렴: 비정상적 환경에서 DNH 가 기대 기울기 노름 $O(1/T + \delta^2)$으로 정상점에 수렴함을 증명하여, 정적 NL 의 잠재적 발산 문제를 개선했음.
  • 표현력: DNH 가 가변적인 계산 깊이를 요구하는 함수 클래스를 근사할 수 있음을 입증하였으며, 근사 오차는 $\epsilon \le O(1/L_t) + \gamma\delta$로 제한됨.
  • 후회 (Regret) 한계: 구조적 진화에 대해 $O(\sqrt{T}(\delta + \sqrt{d_{max}L_{max}}))$의 부분 선형 후회 한계를 확립하여, 변화하는 regimes 에서 정적 모델이 보이는 선형 후회와 대비됨.
• 실증적 검증: 언어 모델링, 지속적 학습, 장문맥 추론 작업에 대한 포괄적인 평가.

4. 실험 결과

저자들은 DNH-HOPE(DNH 구현체로 HOPE 모듈을 확장) 를 정적 HOPE, Transformer, RetNet, DeltaNet, Titans 등을 포함한 베이스라인과 비교 평가했습니다.

• 언어 모델링 및 추론: WikiText-103 및 LAMBADA 에서 DNH-HOPE 는 모든 베이스라인보다 낮은 퍼플렉시티 (PPL) 를 달성했습니다. 13 억 매개변수 모델의 경우, PPL 은 14.92로 하락했습니다 (Titans 는 15.60, HOPE 는 20.53). 상식 추론 (PIQA, HellaSwag 등의 평균) 에서 DNH-HOPE 는 **57.84%**의 정확도를 기록하여 HOPE(52.26%) 와 Titans(56.82%) 를 능가했습니다.
• 지속적 학습: Permuted MNIST 및 Split CIFAR-100 에서 DNH-HOPE 는 우수한 **평균 정확도 (AA)**를 보이며 **역방향 전이 (Backward Transfer, BWT)**를 감소시켜 (망각이 적음을 의미) 성능을 입증했습니다. Split CIFAR-100 의 경우, AA 는 **71.6%**에 달했고 BWT 는 -11.1로, HOPE 의 68.4% 와 -15.3 보다 우수했습니다.
• 장문맥 추론: RULER 벤치마크 (최대 128K 토큰) 에서 DNH-HOPE 는 확장된 문맥 길이 (64K 이상) 에서도 높은 정확도를 유지하며 HOPE 보다 5~10% 더 우수한 성능을 보였습니다. 이는 고정된 윈도우 제한 없이 동적으로 문맥 흐름을 압축할 수 있는 모델의 능력을 확인시켜 줍니다.
• 절대화 연구 (Ablation Studies): 동적 수준을 제거하면 지속적 학습 정확도가 2.8% 감소했고, 주파수 변조를 제거하면 PPL 이 1.2 증가하여 두 메커니즘의 필요성을 입증했습니다.

5. 의의 및 주장

본 논문은 DNH 가 적응형 범용 지능을 향한 근본적인 진보를 나타낸다고 주장합니다. 사전 정의된 제약 없이 모델이 최적화 수준과 주기를 스스로 진화시킬 수 있게 함으로써, DNH 는 현재 모델들의 "전향성 실어증"을 해결하고 진정한 평생 학습을 가능하게 합니다.

그 의의는 다음과 같습니다:

1. 비정상성 해결: 수렴을 유지하면서 분포 변화 ($\Delta_t$) 에 적응할 수 있는 수학적으로 엄밀한 프레임워크를 제공함.
2. 신경가소성에서 영감을 받은 AI: 생물학적 학습 메커니즘 (시냅스 강화, 가지치기) 과 머신러닝 아키텍처 간의 간극을 해소함.
3. 확장성: 이론적 한계는 이 프레임워크가 기반 모델 (foundation models) 로 확장 가능함을 시사하며, 정적 문맥 윈도우가 실패하는 복잡한 장기 추론 작업 (예: 개방형 대화, 정리 증명) 을 처리할 수 있는 경로를 제시함.

저자들은 DNH 를 단순한 점진적 개선이 아닌, 현재의 딥러닝 패러다임의 경직성을 극복하기 위한 필수적인 진화로 위치시키며, 동적이고 실제적인 환경의 요구에 부응하기 위해 스스로 재구성할 수 있는 시스템을 가능하게 한다고 강조합니다.