기술 요약: 순방향 - 순방향 학습을 위한 적응형 다중 스케일 선량성 집계

1. 문제 제기

힌튼 (Hinton) 이 제안한 순방향 - 순방향 (Forward–Forward, FF) 알고리즘은 실제 데이터와 부정 (negative) 데이터에 대한 두 번의 순방향 전파를 활용하여 계층을 독립적으로 학습시킴으로써, 역전파의 생물학적 타당성 있는 대안을 제시합니다. 이 접근법은 그래디언트 계산을 위한 중간 활성화 값 저장을 불필요하게 하여 메모리 사용량을 줄이고, '가중치 수송 (weight transport)' 문제를 회피합니다. 그러나 기준 FF 알고리즘은 역전파 기반 모델에 비해 (예: MNIST 에서 약 92% 대 약 98%) 상당한 성능 격차를 보입니다.

저자들은 이 성능 격차가 FF 의 핵심 개념에서 비롯된 것이 아니라, 원래 구현체의 네 가지 구체적이고 지나치게 단순한 설계 선택에서 기인한다고 파악했습니다:

1. 단일 스케일 선량성 (Single-Scale Goodness): 원래 알고리즘은 '선량성 (goodness, 활성화 품질의 척도)'을 단일 스칼라 (제곱된 활성화 값의 합) 로 계산하여, 서로 다른 추상화 수준의 정보를 포착하지 못합니다.
2. 정적 부정 샘플링 (Static Negative Sampling): 부정 샘플은 무작위 셔플링을 통해 생성되므로, 학습 신호가 지나치게 쉬우거나 파괴적으로 어려운 경우로만 나뉘어 커리큘럼 기반의 점진적 진행이 결여됩니다.
3. 고정 임계값 (Fixed Thresholds): 단일 정적 임계값 ($\theta$) 이 모든 계층과 전체 학습 과정에 적용되어, 네트워크 깊이와 학습 진행에 따라 활성화 분포가 변한다는 사실을 무시합니다.
4. 정적 학습률 (Static Learning Rates): 고정된 학습률의 사용은 선량성 점수와 임계값이 아직 안정화되지 않은 초기 학습 단계의 불안정성을 고려하지 못합니다.

2. 방법론: 적응형 다중 스케일 선량성 집계 (AMSGA)

본 논문은 FF 의 핵심인 계층별 역전파가 없는 구조를 유지하면서, 네 가지 약한 설계 선택을 적응형 메커니즘으로 대체하는 AMSGA 프레임워크를 제안합니다.

A. 다중 스케일 선량성 집계

단일 선량성 지표 대신, AMSGA 는 세 가지 스케일에서 선량성을 계산하고 깊이 의존적 가중치를 사용하여 이를 결합합니다:

• 국소 선량성 ($g_{local}$): 뉴런당 평균 제곱 활성화 값입니다. 이는 초기 계층에서 가중치가 크게 부여되는 정밀한 저수준 특징을 포착합니다.
• 중간 선량성 ($g_{inter}$): 뉴런을 파티션으로 그룹화하고 그룹 내에서 평균 제곱 활성화 값을 평균냅니다. 이는 안정적인 중간 수준 신호를 제공합니다.
• 전역 선량성 ($g_{global}$): 모든 뉴런과 샘플에 걸친 평균 제곱 활성화 값으로, 계층의 전체 에너지를 포착합니다. 이는 깊은 계층에서 더 큰 가중치를 받습니다.
• 가중치 부여 방식: 계층 $l$에서의 최종 선량성 $g(h, l)$은 선형 결합입니다:
  $$g(h, l) = w_{local}(l) \cdot g_{local} + 0.35 \cdot g_{inter} + w_{global}(l) \cdot g_{global}$$
  여기서 가중치는 초기 계층의 국소 구조 선호에서 깊은 계층의 전역 활동 선호로 선형적으로 이동합니다.

B. 커리큘럼 학습을 통한 적응형 부정 채굴

부정 샘플의 선택은 학습 진행 ($p = \text{현재 에포크} / \text{총 에포크}$) 에 따라 동적으로 조정됩니다:

• 초기 단계 ($p < 0.3$): '경계 근접성'에 초점을 맞춰 결정 임계값에 가까운 부정 샘플을 선택하여 안정적인 초기 학습을 보장합니다.
• 중간 단계 ($0.3 \le p < 0.7$): 난이도 밴드를 확장하고, 표현을 정제하기 위해 40% 비율로 '매우 어려운' 부정 샘플 (높은 선량성 점수를 가진 것들) 을 도입합니다.
• 후기 단계 ($p \ge 0.7$): 밴드를 넓히고 매우 어려운 부정 샘플의 샘플링 비율을 50% 로 높여 모델을 공격적으로 정제합니다.
• 안전 장치: 선택 기준이 너무 적은 샘플을 산출할 경우, 알고리즘은 남아있는 가장 어려운 샘플을 추가하여 최소 배치 크기를 보장합니다.

C. 계층 의존적 적응형 임계값

임계값 $\theta$는 더 이상 전역 상수가 아닙니다. 이는 계층 깊이 ($l$) 와 학습 진행 ($p$) 모두에 기반하여 적응됩니다:
$$\theta(l, p) = \theta_0 \times \left(1 + 0.15 \frac{l}{L}\right) \times (1 + 0.3 p)$$
이는 더 깊은 계층 (더 추상적인 특징을 처리함) 과 더 후기 학습 단계 (표현이 더 정제됨) 가 더 높은 임계값을 사용하여 결정 경계의 적절한 보정을 유지하도록 보장합니다.

D. 학습률 스케줄링

선량성 점수와 임계값의 초기 안정화 동안 발생하는 불안정성을 방지하기 위해, AMSGA 는 학습의 처음 10% 동안 학습률을 선형적으로 증가시키는 워밍업 (warm-up) 단계를 거친 후, 나머지에 대해 코사인 어닐링 (cosine annealing) 을 적용합니다. 시스템이 안정화되기 전에 큰 불안정 업데이트를 피하기 위해 FF 에서는 이것이 결정적입니다.

3. 주요 기여

1. 새로운 집계 메커니즘: 깊이 의존적 가중치를 적용하여 국소, 중간, 전역 신호를 활용하는 다중 스케일 선량성 집계 도입.
2. 커리큘럼 기반 학습: 학습 진행과 동기화되어 샘플 난이도가 진화하는 적응형 부정 채굴 전략 구현.
3. 동적 보정: 고정 임계값을 계층 및 단계 의존적 적응형 임계값으로 대체.
4. 안정화 전략: 지역 학습 규칙의 고유한 역학에 맞춰 워밍업과 코사인 어닐링을 통합.
5. 성능 검증: 이러한 수정 사항이 알고리즘의 메모리 효율성이나 생물학적 타당성을 희생하지 않으면서 FF 와 역전파 간의 성능 격차를 크게 좁혔음을 입증.

4. 실험 결과

실험은 멀티 레이어 퍼셉트론 (MLP) 아키텍처를 사용하여 MNIST와 Fashion-MNIST에서 수행되었습니다.

• MNIST:

  • 기준 FF: 92.00% 테스트 정확도.
  • AMSGA: 94.45% 테스트 정확도.
  • 개선: +2.45%.
  • 모델은 <0.1% 의 훈련 - 테스트 격차를 달성하여 강력한 일반화를 나타냈습니다.

• Fashion-MNIST:

  • 기준 FF: 81.00% 테스트 정확도.
  • AMSGA: 84.50% 테스트 정확도.
  • 개선: +3.5%.

• 계산 효율성:

  • AMSGA 는 최소한의 계산 오버헤드를 도입합니다. 집계 및 채굴 로직의 복잡성이 추가되었음에도 에포크당 시간은 MNIST 에서 2.5 초에서 2.7 초로 약간만 증가했습니다.
  • 이 방법은 역전파가 없음, 전역 그래디언트 저장 불필요, 계층별 최적화라는 FF 의 핵심 장점을 유지합니다.

5. 중요성과 주장

본 논문은 FF 와 같은 지역 학습 규칙의 한계가 개념 자체에 내재된 것이 아니라, '비겁한 기본값 (unambitious default)' 설계 선택의 결과라고 주장합니다. 저자들은 선량성이 어떻게 측정되고, 부정 샘플이 어떻게 선택되며, 학습 역학이 어떻게 형성되는지를 다루는 것을 통해, 생물학적 타당성 있는 학습이 표준 벤치마크에서 역전파와 경쟁 가능하게 만들 수 있음을 입증합니다.

저자들은 AMSGA 가 생물학적 타당성 있는 학습을 '단순히 이론적으로 흥미로운 것이 아니라 실제로 경쟁력 있게' 만드는 한 걸음이라고 주장합니다. 그들은 더 어려운 작업에서 최첨단 역전파 모델에 비해 여전히 격차가 존재하지만, 여기서 달성된 성능 향상이 그 격차가 지역 규칙이 복잡한 표현을 학습하는 근본적인 무능력 때문이 아니라 주로 학습 역학에 기인함을 증명한다고 강조합니다. 이 연구는 향후 개선은 지역 학습 패러다임을 포기하는 것이 아니라, 레이블 정보가 어떻게 임베딩되고 계층별 독립성이 어떻게 관리되는지를 정제하는 데 있을 수 있음을 시사합니다.