Mono-Forward: Revisiting Forward-Forward through Objective-Locality Decomposition

기술 요약: Mono-Forward: 목적–국소성 분해를 통한 Forward-Forward 재검토

문제 제기
역전파 (BP) 는 심층 신경망 학습을 위한 지배적인 알고리즘으로 남아 있지만, 상당한 메모리 오버헤드를 겪으며 종종 생물학적으로 불가능한 것으로 간주되는 전역 오차 전파에 의존합니다. 힌튼이 제안한 Forward-Forward (FF) 알고리즘은 순방향 - 역방향 패스를 양 (positive) 과 음 (negative) 의 두 개의 순방향 패스로 대체하고 각 레이어를 국소적인 "선호도 (goodness)" 목적 함수로 학습함으로써 생물학적으로 가능한 대안을 제시합니다. 그러나 FF 는 일관되게 BP 보다 정확도에서 뒤처집니다. 이 성능 격차가 국소 학습(오직 국소 정보만을 사용하여 매개변수를 업데이트하는 것) 의 고유한 한계에서 비롯된 것인지, 아니면 FF 에서 사용된 특정 대조적 선호도 목적 함수(양 - 음 이중 패스와 특정 임계값 기반 손실에 의존하는 것) 에서 비롯된 것인지가 핵심적인 미해결 질문입니다. 원래 FF 공식에서 이 두 가지 설계 선택이 긴밀하게 결합되어 있어 성능 결핍의 원인을 분리하기 어려웠습니다.

방법론
저자들은 FF 알고리즘을 두 가지 핵심 구성 요소로 분해하여 제안합니다: (1) 국소 오차 신호의 사용 (레이어 국소 학습) 과 (2) 대조적 선호도 학습 목적 함수. 목적 함수인지 국소성인지가 주요 병목인지 조사하기 위해, 저자들은 **Mono-Forward(MF)**를 도입합니다.

MF 는 레이어 국소 학습 구조를 유지하지만 학습 목적 함수를 근본적으로 변경한 FF 의 단순화된 변형입니다:

1. 목적 함수 교체: 원래 FF 의 양 - 음 이중 패스 대조적 목적 함수 대신, MF 는 각 레이어에서 국소적으로 표준 다중 클래스 교차 엔트로피 목적 함수를 적용합니다.
2. 아키텍처: 각 레이어 $i$는 레이어별 "선호도 행렬" $M_i \in \mathbb{R}^{n \times m}$ (여기서 $n$은 뉴런 수이고 $m$은 클래스 수임) 을 갖습니다. 활성화 벡터 $a_i$가 주어지면, 레이어는 선호도 벡터 $g_i = a_i^\top M_i$를 계산합니다.
3. 학습: 이러한 선호도 점수에서 즉시 국소 교차 엔트로피 손실을 계산하여 해당 레이어의 매개변수와 선호도 행렬을 업데이트합니다. 그런 다음 활성화는 분리되어 다음 레이어로 전달됩니다.
4. 추론: 추론 시 MF 는 모든 레이어에 걸친 선호도 점수를 누적하거나 최종 레이어의 선호도 점수만 사용할 수 있으며, 후자가 더 메모리 효율적입니다.

본 논문은 또한 전역 오차 전파, 전체 비교 선호도 목적 함수 (FC-FF), 그리고 레이어 간 L2 정규화의 영향을 분석하기 위한 광범위한 제거 실험을 수행하여, 표준 분류 목적 함수에 비해 원래 FF 목적 함수가 성능 저하의 주요 원인임을 입증했습니다.

주요 기여

• FF 의 분해: 이 논문은 FF 와 BP 간의 성능 격차가 국소성 때문만이 아니라, 지도 분류 작업에서 원래 대조적 선호도 목적 함수의 비효율성에 크게 영향을 받음을 보여주는 개념적 분해를 제공합니다.
• Mono-Forward(MF): 국소 학습을 위한 최소한의 통제된 기준선으로서 MF 를 도입했습니다. MF 는 국소 매개변수 업데이트를 유지하면서 표준 교차 엔트로피 손실로 대체함으로써 FF 목적 함수의 효과를 분리합니다.
• 실증적 검증: MNIST, FashionMNIST, CIFAR-10/100, PathMNIST, TinyImageNet 등 데이터셋에 대한 MLP, 합성곱 신경망 (CNN), MLP-Mixer 아키텍처를 통한 광범위한 실험.
• 메모리 효율성 분석: 메모리 사용량에 대한 상세한 분석으로, MF 가 MLP 설정에서는 메모리 사용량을 줄이지만, 고해상도 특징 맵에 대한 선호도 행렬 저장으로 인해 CNN 에서는 BP 를 초과할 수 있음을 강조합니다.

결과

• 정확도 향상: MLP 벤치마크 전반에 걸쳐 MF 는 베어 FF 와 다양한 FF 변형 (예: Collaborative FF, SymBa) 을 일관되게 능가합니다. MLP 에서 MF 는 BP 와 유사한 정확도를 달성하며, MNIST 와 FashionMNIST 에서는 약간 더 높고 CIFAR-10 과 CIFAR-100 에서는 경쟁력을 유지합니다.
• MLP-Mixer 성능: PathMNIST 에서 MF 는 특정 구성에서 BP 를 정확도 면에서 약간 능가합니다 (89.32% 대 87.62%) 이며, BP 가 소비하는 메모리의 **31%**만 요구합니다.
• CNN 의 한계: CNN 에 적용될 때 MF 의 메모리 비용은 공간 해상도와 클래스 수에 따라 증가하여, 상당한 절감을 제공하는 완전 연결 MLP 와는 달리 때로는 BP 의 메모리 사용량을 초과합니다.
• 표현 품질: 선형 프로브 정확도, k-NN 정확도, 피셔 비율을 사용한 분석은 MF 가 베어 FF 보다 특히 깊은 레이어에서 더 강력한 레이어별 표현을 학습하며 BP 와 경쟁력을 유지함을 나타냅니다.
• 하드웨어 효율성: MF 는 CPU 에서 에폭당 월클럭 시간을 줄였으나 (BP 시간의 0.88~0.93 배), 표준 역전파에 비해 레이어별 국소 목적 함수를 위한 고도로 최적화된 커널이 부재하여 GPU 에서는 더 느렸습니다 (BP 시간의 1.18 배).

의의 및 주장
이 논문은 지도 설정에서 Forward-Forward 알고리즘의 주요 한계가 업데이트의 국소성이 아니라, 그것이 사용하는 특정 대조적 목적 함수라고 주장합니다. 이러한 요소들을 분리함으로써 저자들은 표준 분류 목적 함수와 결합될 때 국소 학습이 매우 효과적일 수 있음을 입증합니다.

Mono-Forward 의 의의는 다음과 같이 두 가지입니다:

1. 실용적: 특정 아키텍처 (MLP 및 MLP-Mixer) 에서 BP 에 근접한 정확도를 달성하면서 메모리 요구 사항을 크게 줄인 학습 방법을 제공하여, 자원 제약 환경의 접근성을 향상시킬 수 있습니다.
2. 분석적: 국소 학습 분야를 위한 "통제된 탐침" 역할을 합니다. 저자들은 국소 학습 방법을 국소성 제약 완화 (전역 오차 신호 도입) 변형과 비교하는 것이 성능 격차가 국소성 때문인지 학습 목적 함수 선택 때문인지 식별하는 유용한 전략이라고 주장합니다.

저자들은 MF 가 명시적 레이블과 그래디언트 기반 최적화에 여전히 의존하므로 생물학적 모델에 충실하지 않으며, 그 효율성이 하드웨어에 의존한다는 점을 겸손하게 인정합니다. MF 가 BP 보다 보편적으로 우월하다고 주장하지는 않지만, 특히 메모리 효율성이 최우선인 특정 설정에서 적절히 설계된 국소 목적 함수가 유리할 수 있음을 시사합니다.