기술 요약: 트리를 통한 사슬 끊기 (HBLL)

문제 정의

현대적인 심층 신경망(DNN)은 오차 역전파(BP)에 의존하며, 이 패러다임은 두 가지 근본적인 한계를 도입한다:

1. 잠금 문제 (The Locking Problem): 계층별 업데이트가 엄격하게 상호 의존적이다. 파라미터를 업데이트하기 전에 전체 순전파(forward pass)와 전체 역전파(backward pass)가 반드시 선행되어야 하므로, 계층 간 병렬 학습을 방해하고 하드웨어 활용도를 제한한다.
2. 가중치 전송 문제 (The Weight Transport Problem): 정확한 그래디언트 계산을 위해서는 대칭적인 순방향 및 역방향 경로가 필요하며, 이는 생물학적으로 불가능할 뿐만 아니라 하드웨어로 구현하기에 비용이 많이 든다.

이러한 제약은 $N$개의 계층을 가진 모델을 학습시킬 때 $O(N)$의 순차적 시간 복잡도를 초래하여, 대규모 모델의 확장성, 메모리 효율성 및 통신 오버헤드에 병목 현상을 일으킨다. 전역적 오차 전파를 완화하기 위해 국소 학습(local learning) 방법들이 제안되어 왔으나, 이들은 역사적으로 대규모 네트워크 크기나 트랜스포머(Transformer) 및 순환 신경망(RNN)과 같은 복잡한 구조로 확장하는 데 어려움을 겪어왔다.

방법론: 계층적 블록 국소 학습 (HBLL)

저자들은 심층 신경망을 변분 원리(variational principles)로부터 유도된 국소 목적 함수를 통해 계층적으로 연결된 블록들로 분해하여, 엔드 투 엔드(end-to-end) 역전파의 필요성을 제거하는 계층적 블록 국소 학습(Hierarchical Block-Local Learning, HBLL) 프레임워크를 제안한다.

이론적 기초

본 접근 방식은 DNN의 연산 사슬($x \to z_1 \to \dots \to z_{N-1} \to y$)을 1차 마르코프 체인으로 재해석한다. $O(N)$의 순차적 의존성을 극복하기 위해, 저자들은 중간 표현(intermediate representations)에 대한 사후 분포(posterior distribution)를 **트리 구조의 인수분해(tree-structured factorization)**로 도입한다.

• 분할 정복 (Divide-and-Conquer): 여러 계층 수준(예: $z_{N/2}, z_{N/4}$)에서 중간 변수를 도입함으로써, 체인을 더 작은 하위 문제들로 분해한다.
• 정리 1 (Theorem 1): 저자들은 중간 표현에 대한 사후 분포가 동등한 트리 구조의 분해를 가짐을 증명한다. 이는 계산 경로를 $O(N)$에서 $O(\log N)$으로 단축하여, 이러한 복잡도를 가진 심층 신경망 학습을 위한 최초의 병렬 알고리즘을 가능하게 한다.

변분 학습 프레임워크

HBLL은 국소 학습 목적 함수를 정의하기 위해 변분 정식화(variational formulation)를 채택한다:

• 목적 함수: 전역 로그 가능도 손실(global log-likelihood loss)은 트리 구조에 의해 정의된 변분 분포 $q$와 실제 사후 분포 사이의 쿨백-라이블러(KL) 발산(divergence)을 포함하는 보조 손실로 대체된다.
• 국소 업데이트: 변분 손실에서의 기댓값은 각 블록과 관련된 국소 항들로 분해된다. 각 블크는 자신의 변분 조건부 분포 $q(z_n | \text{parents})$를 순방향 모델 $p(z_n | z_{n-1})$에 정렬하도록 학습한다.
• 구현: 몬테카를로 샘플링(Monte Carlo sampling)과 지수 가족 분포(exponential family distributions)의 가정을 사용하여, 전역 그래디언트 전파 없이 국소 통계량(평균 및 분산)을 통해 그래디언트를 계산한다.
• 알고리즘: 학습은 동일한 계층 깊이에 있는 블록들 간에 병렬로 진행된다. 프로세스는 루트(가장 깊은 수준)에서 리프(leaf) 방향으로 반복되며, 각 단계는 $O(\log N)$의 병렬 시간을 소요한다.

순환 구조로의 확장 (HBLL-RNN)

이 프레임워크는 계층을 시간 인덱스에 대해 해석함으로써 순차 모델로 확장된다.

• 인과성 (Causality): 인과적 추론을 보장하기 위해, 가장 낮은 깊이의 셀은 이전 은닉 상태와 현재 입력만을 소비한다.
• 일관성 교정 (Consistency Correction): 트리 기반 학습(클린한 선행자를 보는 노드)과 자기회귀 롤아웃(오차가 누적되는 과정) 사이의 노출 편향(exposure bias) 불일치를 해결하기 위해, 저자들은 병렬 일관성 단계를 도입한다. 이는 전체 순차적 롤아웃을 요구하지 않고도 자기 생성된 선행자를 사용하여 순환 셀의 상태를 반복적으로 정교화한다.

주요 기여

1. HBLL 프레임워크: 전역 엔드 투 엔드 역전파의 필요성을 제거하고, 국소 목적 함수로 최적화되는 계층적으로 조직된 블록들로 심층 신경망을 분해하는 새로운 방법론을 제시한다.
2. $O(\log N)$ 병렬 복잡도: 심층 신경망 학습에 있어 $O(\log N)$ 병렬 시간 복잡도를 달성한 최초의 알고리즘이다. 이는 표준 역전파의 $O(N)$ 복잡도를 크게 개선한다.
3. 확률적 해석: 효과적인 정보 전파를 유지하면서 분산 및 병렬 학습을 가능하게 하는 변분 원리로부터 유도된 원칙적인 확률적 프레임워크를 제공한다.
4. 유연한 추론: 서로 다른 계층적 경로에 대응하는 일련의 서브 네트워크들을 암시적으로 정의하여, 다양한 유효 깊이와 계산 예산에 따른 유연한 추론을 허용한다.
5. 순환 구조 확장: BPTT(Backpropagation Through Time) 없이 순차 모델을 학습하기 위한 계층적 국소 학습 방식인 HBLL-RNN을 제안한다.

실험 결과

저자들은 비전 분류, 자기회귀 언어 모델링, 순환 시퀀스 모델링 태스크에서 HBLL을 평가하였으며, 표준 역전파(BP) 및 Contrastive Forward-Forward (CFF+M) 베이스라인과 비교하였다.

• MNIST (MLP): HBLL은 깊이 2, 3, 4에서 경쟁력 있는 정확도를 달성했다. 특히 깊이 4에서 BP의 성능이 거의 무작위 수준으로 붕괴된 반면, HBLL은 높은 정확도(97.09% vs 11.32%)를 유지하며 깊은 계층적 모델을 효과적으로 학습할 수 있음을 입증했다.
• CIFAR-10 & CIFAR-100 (Vision Transformers):
  • HBLL은 CIFAR-10(87.30% vs 88.98% for BP) 및 CIFAR-100(86.09% vs 85.96% for BP)에서 경쟁력 있는 성능을 보였다.
  • 강건성 (Robustness): HBLL은 결측 데이터 및 라벨 노이즈에 대해 BP보다 우수한 강건성을 보여주었다.
  • 서브 네트워크: 계층을 통과하는 짧은 경로(더 적은 트랜스포머 블록)가 전체 깊이 베이스라인과 경쟁력을 유지하여, 유연한 추론 능력을 검증했다.
• WikiText-103 (Language Modeling): HBLL은 자기회귀 언어 모델링 태스크에서 경쟁력 있는 퍼플렉시티(22.22 vs 18.17 for BP)를 달성하여, 전역 그래디언트 전파 없이도 시퀀스 모델링에 적용 가능함을 입증했다.
• Sequential MNIST (RNNs): HBLL-RNN은 순차 및 순열 순차 MNIST에서 BPTT와 경쟁 가능한 성능을 보였다. 트리 리드아웃(tree readout)은 깊이에 따라 안정적이었으나, 배치된 순차 체인은 깊이가 커짐에 따라 예상대로 성능 저하를 보였다. HBLL-RNN은 깊이 8에서 BPTT 대비 최대 3.6배의 학습 속도 향상을 달성했다.

의의 및 주장

본 논문은 HBLL이 확장 가능하고 병렬화 가능한 딥러닝을 향한 중요한 진전이라고 주장한다. 역전파의 순차적 의존성을 깨뜨림으로써, HBLL은 잠금 문제를 해결하고 계층 간 의존성을 줄여 효율적인 분산 학습을 가능하게 한다.

저자들은 HBLL이 심층 네트워크 학습에서 $O(\log N)$ 병렬 시간 복잡도를 달리는 최초의 알고리즘임을 강조한다. 저자들은 이 방법이 현대적 아키텍처(트랜스포머, RNN)와 복잡한 태스크(비전, 언어)에 적용 가능하며, 역전파에 대한 원칙적인 확률적 대안을 제공한다고 주장한다. 매우 큰 규모에서는 완전한 역전파 모델과 성능 격차가 있음을 인정하면서도, 저자들은 HBLL을 계산 효율성과 모델 성능 사이의 절충안을 제공하며 내재적인 강건성과 유연한 추론 능력을 갖춘 유망한 접근법으로 포지셔닝한다.