Covariance-Aware Goodness for Scalable Forward-Forward Learning

기술 요약: 확장 가능한 Forward-Forward 학습을 위한 공분산 인식 적합성 (Covariance-Aware Goodness)

문제 제기
Forward-Forward (FF) 알고리즘은 각 레이어를 지역적 "적합성 (goodness)" 목적 함수로 훈련함으로써 중간 활성화 값을 역전파를 위해 저장할 필요가 없게 하여, 역전파 (BP) 에 대한 원칙적인 대안을 제시합니다. 그러나 기존 BP 없는 FF 방법론은 ImageNet-100, Tiny-ImageNet 과 같은 복잡하고 대규모의 합성곱 벤치마크에 적용될 때 구조적 병목 현상에 시달립니다. 표준 적합성 (goodness) 공식은 채널당 제곱 활성화 값의 합을 계산하여 특징 부피를 1 차 통계량 (주변 채널 에너지) 으로 축소합니다. 이 접근법은 심층 네트워크에서 판별적 표현에 필수적인 교차 채널 상관관계 및 공간적 공활성화 패턴과 같은 중요한 2 차 종속성을 폐기합니다. 결과적으로 FF 방법론은 CIFAR 와 같은 소규모 데이터셋에서는 적절히 수행되지만, 더 큰 벤치마크에서는 BP 에 비해 현저히 낮은 성능을 보이며, 네트워크 깊이와 작업 복잡도가 증가함에 따라 성능 격차가 벌어집니다. 또한, 지역적으로 훈련된 심층 네트워크는 블록 경계에서 표현 불일치를 겪고, 용량이 포화되는 고정된 무작위 판독기 (readout) 에 시달립니다.

방법론
저자들은 이러한 표현 및 최적화 병목 현상을 해결하기 위해 VGG-16 아키텍처에 통합된 세 가지 주요 구성 요소를 통해 지역 학습 프레임워크를 제안합니다:

1. 이축 공분산 적합성 (Bi-axis Covariance Goodness, BiCovG): 이는 핵심 혁신으로, 명시적 공분산 행렬 추정의 prohibitive 한 $O(C^2)$ 복잡도 없이 2 차 통계량을 포착하기 위해 적합성 함수를 두 개의 직교 축으로 확장합니다.

   • 교차 채널 투영: 독립적인 채널별 집계 대신, 이 방법은 채널을 제곱하기 전에 혼합하기 위해 학습 가능한 선형 투영을 사용합니다. 이는 대각선 외 공분산 구조를 탐지하여 특징 간 상호작용을 포착합니다.
   • 중첩 다중 스케일 공간 집계: 이 방법은 공간 도메인을 여러 스케일 ($s_1, s_2$) 의 그리드로 분할하고 이러한 영역 내에서 지역 에너지를 계산합니다. 이는 전역 풀링이 폐기하는 공간적 2 차 종속성과 스케일 변이 특성을 포착합니다.
   • 결과적으로 생성된 특징 벡터는 이러한 스케일 전반에 걸쳐 채널별 공간 적합성과 교차 채널 적합성을 연결합니다.

2. 특징 정렬 레이어 (Feature Alignment Layer, FAL): 네트워크를 기울기 격리 블록으로 분해함으로써 발생하는 표현 불일치를 완화하기 위해, 블록 경계에 경량 잔여 어댑터 (residual adapter) 를 삽입합니다. 이는 다음 블록으로 들어가기 전에 블록의 출력에 0 으로 초기화된 채널별 가산 보정 ($\Delta$) 을 적용합니다. 이를 통해 후속 블록은 탐욕적 지역 최적화 속성을 방해하지 않고 분포 변화에 적응할 수 있습니다.

3. 로지스틱 퓨전 (Logistic Fusion): 단일 레이어의 예측이나 고정된 무작위 투영에 의존하는 대신, 이 프레임워크는 경량 학습 가능 퓨전 헤드를 사용하여 모든 레이어별 분류기에서 로짓 (logits) 을 집계합니다. 이는 더 깊은 표현의 기여를 증폭시키고 네트워크 깊이 전반에 걸쳐 상호 보완적인 정보를 활용합니다.

4. 하이브리드 적합성 블록 (Hybrid Goodness Blocks, HGB): 실용적 확장으로서, 저자들은 네트워크를 크기 $m$의 블록으로 분할하는 훈련 방식을 도입합니다. 블록 내 레이어는 블록 내부에서 표준 BP 를 통해 공동으로 훈련되지만, 블록 간에는 기울기가 격리됩니다. 이는 엄격한 레이어별 FF ($m=1$) 와 완전한 엔드투엔드 BP ($m=L$) 사이의 조정 가능한 연속체를 생성하여 메모리 효율성과 정확도 간의 균형을 가능하게 합니다.

주요 기여

• 이축 공분산 적합성 (BiCovG): 대각선 외 교차 채널 공분산과 다중 스케일 공간 상관관계를 동시에 모델링하는 새로운 적합성 인코딩입니다. 이는 공분산 인식 학습에 대한 실용적인 근사치를 제공하여, 일관된 레이어별 +3%~7% 의 개선을 달성하고 심층 레이어 활용도를 향상시킵니다.
• 특징 정렬 레이어 (FAL): 0 으로 초기화된 보정을 통해 심층 지역 학습 네트워크의 표현 불일치를 수정하는 블록별 잔여 어댑터의 적용입니다.
• 하이브리드 적합성 블록 (HGB): 지역 BP 없는 학습과 완전한 역전파 간의 격차를 해소하는 구성 가능한 훈련 방식으로, 상당한 메모리 절감을 유지하면서 정확도 회복을 가능하게 합니다.

결과
제안된 방법론은 CIFAR-100, Tiny-ImageNet, ImageNet-100 에서 평가되었습니다.

• BP 없는 성능: 완전한 BP 없는 모델 (BiCovG + FAL) 은 ImageNet-100 에서 73.01%, Tiny-ImageNet 에서 **50.30%**의 정확도를 달성합니다. 이는 이전 FF 방법론 (예: SCFF 는 Tiny-ImageNet 에서 약 35% 달성) 보다 현저한 개선이며, FF 학습의 유효 깊이를 거의 두 배로 늘려 VGG-16 과 같은 16 레이어 아키텍처까지 견고한 활용을 확장합니다.
• 하이브리드 성능: 크기 $m=4$의 블록을 사용하여 HGB 를 적용한 모델은 ImageNet-100 에서 엔드투엔드 BP 와의 격차를 **3.6%**로 좁힙니다 (83.98% 대 BP 의 87.61%). Tiny-ImageNet 에서는 BP 성능과 일치합니다 (54.48% 대 54.17%).
• 효율성: BP 없는 모델은 ImageNet-100 에서 표준 BP 대비 피크 GPU 메모리 사용량을 약 47.8%~53.1% 감소시킵니다. 이는 주로 블록 간 활성화 값 저장을 제거함으로써 달성됩니다. 또한, 완전 연결 헤드를 레이어별 선형 판독기로 교체함으로써 파라미터 수를 134.7M(표준 VGG-16) 에서 34.9M 로 줄였습니다.
• 메커니즘 분석: 레이어별 분석은 BiCovG 가 "Decline Area"(피크 이후 저하) 를 현저히 줄이고 "Effective Number of Layers"($N_{eff}$) 를 증가시켜, 지역 감독이 네트워크 더 깊은 곳까지 생산적으로 유지됨을 확인시켜 줍니다.

의의
본 논문은 Forward-Forward 학습의 확장성을 제한해 온 적합성 추출의 구조적 병목 현상을 식별하고 해결했다고 주장합니다. 대각선 1 차 통계량을 넘어 공분산 및 공간 상관관계와 같은 구조화된 2 차 종속성을 포함함으로써, 저자들은 BP 없는 지역 학습이 복잡하고 고해상도 벤치마크로 확장될 수 있음을 입증합니다. 이 연구는 ImageNet-100 에서 전역 BP 없는 CNN 훈련에 대한 새로운 최첨단 (SOTA) 을 수립했으며, HGB 를 통해 메모리 효율성과 완전한 역전파의 성능 사이의 균형을 맞추는 실용적인 경로를 제공합니다. 저자들은 이를 현재까지 보고된 이러한 벤치마크에서 가장 강력한 CNN 기반 전역 BP 없는 FF 결과로 위치시킵니다.