기술 요약: HCL-FF

문제 제기

역전파 (BP) 를 통해 훈련된 심층 신경망은 비전 작업에서 최첨단 성능을 달성했으나, 생물학적 비현실성, 높은 계산 요구 사항 (기울기 저장 및 역방향 전파 필요), 그리고 불투명한 내부 표현이라는 단점을 겪고 있습니다. Forward-Forward(FF) 알고리즘은 각 층을 국소적인 "선호도 (goodness)" 목적 함수 (활성화의 크기) 를 사용하여 독립적으로 훈련함으로써 생물학적으로 타당한 대안을 제시합니다. 그러나 표준 FF 접근법은 두 가지 중요한 한계에 직면해 있습니다:

1. 계층적 조정의 부재: FF 는 얕은 층이 미세한 클래스를 직접 구별하도록 강제하여, 초기 층의 표현이 비최적화됩니다. BP 가 저수준 단서에서 고수준 의미론으로의 자연스러운 학습 진행을 보이는 것과 달리, FF 는 층 간 이러한 진행을 조정할 메커니즘이 부족합니다.
2. 분리 딜레마: 더 깊은 층이 이전 층으로부터의 선호도 신호를 피상적으로 계승하는 것을 방지하기 위해, FF 는 정규화 (크기 정보 제거) 를 통해 선호도를 특징 표현과 분리합니다. 이는 이전 신호에 대한 과적합을 방지하지만, 최적화 목적 함수가 특징의 상대적 기하학적 구조가 아닌 활성화 크기만을 대상으로 하기 때문에 결과적으로 생성된 특징들은 의미론적으로 모호하고 제약이 없는 상태가 됩니다.

방법론

저자들은 HCL-FF(Forward-Forward 를 위한 계층적 및 대비 학습) 를 제안합니다. 이는 FF 의 층별 독립성을 유지하면서 두 가지 주요 혁신을 통해 위의 한계를 해결하는 프레임워크입니다.

1. 계층적 학습 (거시에서 미세로의 전략)

조정 부재를 해결하기 위해, HCL-FF 는 감독을 거시적에서 미세한 세분성으로 조직하는 커리큘럼 학습 전략을 도입합니다:

• 초급 클래스 목표: 얕은 층은 거시적인 초급 클래스 (super-class) 목표를 통해 감독받고, 깊은 층은 점차 더 미세한 레이블을 할당받아 최종 층에서 미세한 클래스 구별에 이릅니다.
• 계층 구조 구축: 클래스 계층 구조는 데이터 기반 접근법으로 구축됩니다. 먼저 계층 없이 모델을 사전 훈련한 후, 최종 층의 특징에 선형 분류기를 훈련합니다. 분류기 가중치는 클래스 원형 (prototype) 으로 작용하며, 이를 계층적 응집 클러스터링을 사용하여 의미론적 트리를 형성합니다.
• 계층적 채널별 경쟁 (HierCwC) 손실: 표준 FF 손실을 수정하여 얕은 층에서 초급 클래스 수준으로 선호도를 계산합니다. 초급 클래스 선호도는 각 초급 클래스 그룹 내의 개별 클래스 선호도를 평균화하여 도출됩니다. 이는 초기 층 목적 함수의 복잡성을 줄이고, 표현이 광범위한 의미론적 구조에서 미세한 구별로 진화하도록 장려합니다.

2. 대비 학습 (의미론적 기반)

분리 딜레마를 해결하기 위해, HCL-FF 는 선호도 분리된 특징(정규화된 특징 벡터 $z^{(\ell)}$) 에 직접 감독된 대비 목적 함수를 적용합니다:

• 특징 투영: 각 층에서 선호도 분리된 특징은 전역 평균 풀링되어 잠재 임베딩 공간으로 투영됩니다.
• 감독된 대비 손실: 이러한 임베딩에 표준 감독된 대비 손실을 적용하여 동일한 클래스의 샘플은 서로 모이고 다른 클래스는 분리되도록 장려합니다.
• 의의: 선호도 분리 이후 특징의 관계적 기하학을 제약함으로써, 이 목적 함수는 크기 정보가 제거될 때 손실된 의미론적 의미를 복원합니다. 이는 규모 (선호도) 는 분리되지만 방향 (의미론적 내용) 은 구별 가능하도록 유지됨을 보장합니다.

3. 전체 프레임워크

각 층 $\ell$에 대한 총 손실 함수는 HierCwC 손실과 대비 손실을 결합합니다:
$$L_{total}^{(\ell)} = L_{HierCwC}^{(\ell)} + \lambda L_{Con}^{(\ell)}$$
여기서 $\lambda$는 1 로 설정됩니다. 이 프레임워크는 채널별 합성곱 (CW-Conv) 층을 기반으로 하는 잔차 Forward-Forward 아키텍처를 활용하며, 각 층은 층 간 기울기 전파 없이 독립적으로 작동합니다.

주요 기여

1. HCL-FF 프레임워크: 조정 부재와 분리 딜레마를 해결하기 위해 계층적 감독과 대비 학습을 통합한 새로운 FF 프레임워크.
2. 거시에서 미세로의 커리큘럼: 얕은 층을 초급 클래스로 감독하여 초기 층의 복잡성을 줄이고 의미론적 추상의 자연스러운 진행을 가능하게 하는 전략.
3. 대비 기반: FF 에서 선호도 분리된 특징에 대비 학습을 적용한 최초의 사례로, 층별 독립성 제약을 위반하지 않으면서 의미론적 구조를 효과적으로 보존합니다.
4. 최첨단 성능: 이 방법은 여러 벤치마크에서 FF 기반 방법들 사이에서 새로운 최첨단 결과를 달성합니다.

실험 결과

실험은 CIFAR-10, CIFAR-100, MNIST, Fashion-MNIST, Tiny-ImageNet 에서 수행되었습니다.

• 성능 향상: HCL-FF 는 이전 최고의 FF 방법 (DeeperForward) 보다 상당한 정확도 개선을 달성합니다:
  • CIFAR-10 에서 +5.46% (91.68% 대 86.22%).
  • CIFAR-100 에서 +17.00% (70.09% 대 53.09%).
  • Tiny-ImageNet 에서 +12.51% (48.46% 대 35.95%).
• BP 와의 비교: CIFAR-10 에서 HCL-FF 는 표준 BP 로 훈련된 ResNet-20 을 능가하며 (91.68% 대 91.25%), 매개변수 일치 BP 변종과의 격차를 좁힙니다.
• 결손 연구 (Ablation Studies):
  • 대비 학습만 추가하면 CIFAR-100 정확도가 +9.12% 향상되어 분리된 특징을 안정화하는 역할을 확인했습니다.
  • 계층적 학습만 추가하면 CIFAR-100 정확도가 +6.96% 향상되어 더 큰 레이블 공간에 대한 이점을 강조했습니다.
  • 강력한 데이터 증강은 얕은 층의 부담을 줄여주므로 계층적 감독과 결합되었을 때만 효과적이었습니다.
• 분석:
  • 층별 정확도: HCL-FF 는 층 전반에 걸쳐 꾸준한 정확도 향상을 보이지만, 이전 방법들은 초기에 정체됩니다.
  • 분리: 선형 프로브 평가는 HCL-FF 가 정규화 후에도 높은 정확도를 유지함을 보여주며, 이는 DeeperForward(정규화 후 정확도가 크게 하락) 와 달리 분리된 특징에서 의미론적 구조를 보존함을 입증합니다.
  • 시각화: t-SNE 시각화는 HCL-FF 가 선호도 응답과 선호도 분리된 특징 모두에서 명확한 클래스 분리를 유지함을 확인시켜 줍니다.

의의 및 주장

이 논문은 HCL-FF 가 확장 가능하고 효과적이며 생물학적으로 타당한 학습 패러다임으로 나아가는 중요한 단계라고 주장합니다. 근본적인 분리 딜레마를 해결하고 계층적 조정을 도입함으로써, 이 방법은 층별 독립 훈련이 역전파 기반 방법과 견줄 만한 성능을 달성하고 경우에 따라 이를 능가할 수 있음을 보여줍니다.

저자들은 HCL-FF 가 기존 FF 방법을 개선하지만, 종단간 BP 에 비해 수렴 속도가 느리고 클래스 수에 비례하여 채널 수를 확장해야 한다는 (얕은 층에서는 완화됨) 같은 특정 제약을 여전히 계승한다고 지적합니다. 이 연구는 계층적 감독과 대비 기반을 결합하는 것이 비역전파 학습의 오랜 과제를 극복할 수 있는 실현 가능한 경로임을 시사합니다.