Forward-Only Convolutional Neural Networks with Learnable Channel-Class Assignment

기술 요약: 학습 가능한 채널-클래스 할당을 이용한 순방향 전용 합성곱 신경망

문제 정의
Forward-Forward (FF) 알고리즘은 전역적인 그래디언트 기반 신용 할당(credit assignment)을 국소적인 순방향 전용 목적 함수로 대체함으로써, 생물학적으로 타당한 역전파(backpropagation)의 대안을 제시한다. 최근의 적응형 연구들은 FF를 합성곱 신경법(CNN)으로 확장했으나, 기존의 공식화(예: CwComp, DeeperForward)는 정적 채널-클래스 분할에 의존한다. 이러한 방식에서 합성곱 채널은 고정된 그룹화 메커니즘을 통해 특정 클래스에 영구적으로 할당된다. 저자들은 이러한 경직성이 훈련 과정 중 진화하는 특징 분포에 따라 채널 특성화를 동적으로 적응시키는 네트워크의 능력을 제한하며, 이는 비효식적인 특징 활용, 표현력의 유연성 감소, 그리고 더 깊은 아키텍처를 완전히 활용하지 못하는 결과로 이어진다고 주장한다. 또한, 표준 FF 추론은 종종 최종 레이어에만 의존하거나 단순한 집합(aggregation)을 사용하므로, 가치 있는 중간 표현들을 간과할 가능성이 있다.

방법론
제안된 방법은 잔차 합성곱 신경망(residual CNNs)에 통합된 학습 가능한 채널-클래스 할당 메커니즘과 손실 인식 레이어 기여 전략을 도입한다.

1. 학습 가능한 채널-클래스 할당 (CAW-Conv):

   • 채널을 클래스에 정적으로 할당하는 대신, 저자들은 학습 가능한 파라미터 행렬 $U \in \mathbb{R}^{C_{out} \times J}$ (여기서 $C_{out}$은 출력 채널 수, $J$는 클래스 수)를 도입한다.
   • $U$의 행(row)에 소프트맥스(softmax) 함수를 적용하여 각 채널이 각 클래스에 기여하는 비율을 나타내는 가중치 행렬 $M$을 생성한다. 이를 통해 채널은 데이터 구조에 따라 동적으로 특성화될 수 있다.
   • 각 클래스의 "우수성(goodness)" 점수는 특징 맵의 풀링된 표현($A_{pooled}$)과 할당 행렬 $M$의 곱으로 계산된다.
   • 정규화: 퇴보적인 해(degenerate solutions)를 방지하고 효과적인 학습을 촉진하기 위해, 손실 함수에 두 가지 정규화 항이 추가된다:
     • 엔트로피 정규화(Entropy Regularization): 클래스-채널 가중치의 엔트로피를 최소화하여 희소성(sparsity)을 장려함으로써, 채널이 소수의 클래스에만 유의미하게 기여하도록 한다.
     • 직교성 정규화(Orthogonality Regularization): 정규화된 클래스-채널 가중치 벡터 간의 직교성을 강제하여, 서로 다른 클래스에 대한 특징 추출의 다양성을 증진한다.

2. 손실 인식 레이어 기여 전략:

   • 결정을 오직 최종 레이어에서만 내리는 전통적인 네트워크와 달리, 제안된 프레임워크는 모든 레이어로부터 예측을 집합(aggregate)한다.
   • 각 레이어가 최종 결정에 미치는 기여도는 해당 레이어의 **검증 손실(validation loss)**에 따라 적응적으로 가중치가 부여된다. 예측 신뢰도가 높음을 나타내는 낮은 검증 손실을 가진 레이어는 소프트맥스 변환을 통해 더 높은 가중치를 할당받는다.
   • 최종 예측은 모든 레이어의 우수성 점수의 가중 합(weighted sum)이다.

3. 훈련 및 추론:

   • 네트워크는 레이어별 대조 과정(layer-wise contrastive process)을 사용하여 순방향 전용 방식으로 훈련된다. 각 레이어는 국소적인 교차 엔트로피 손실과 정규화 항을 사용하여 독립적으로 최적화된다.
   • 특징의 스케일을 표현의 방향과 분리하기 위해 레이어 사이에 인스턴스 정규화(instance normalization)가 적용된다.
   • 추론 시에는 레이어 출력의 가중 집합이 최종 클래스 예측을 결정하는 데 사용된다.

주요 기여

• 동적 특성화: 본 논문은 정적 채널 그룹화 대신 학습 가능한 할당 메커니즘을 제안하여, 합성곱 채널의 데이터 기반 적응적 특성화를 가능하게 한다.
• 표현 능력 향상: 엔트로피 및 직교성 정규화를 활용함으로써, 모델은 희소하고 다양한 채널 활용을 촉진하여 특징 식별력을 개선한다.
• 적응형 추론: 손실 인식 레이어 기여 전략의 도입은 모델이 최종 레이어 출력에만 의존하는 방식보다 중간 표현을 더 효과적으로 활용할 수 있게 한다.
• 효율성: 제안된 방법은 정적 그룹화 접근 방식에 비해 훨씬 적은 수의 채널로도 우수한 성능을 달anim한다.

실험 결과
본 방법은 세 가지 아키텍처(TinyCNN-4, VGG-14, ResNet-17)를 사용하여 MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100, Tiny-ImageNet에 대해 평가되었다.

• CIFAR-10 성능: 제안된 방법은 17계층 ResNet을 사용하여 **89.37%**의 정확도를 달성하였으며, 이는 이전의 최첨단 FF 기반 방법(DeeperForward)보다 3% 포인트 이상 높은 수치이다. 또한 얕은 4계층 아키텍처에서는 DeeperForward보다 5% 이상 높은 성능을 보였다.
• 도전적인 데이터셋 성능: CIFAR-100에서 제안된 방법은 63.52%(DeeperForward의 53.09% 대비)에 도달했다. Tiny-ImageNet에서는 49.87%(DeeperForward의 41.36% 대비)를 기록했다.
• 채널 효율성: 제안된 방법은 채널 크기를 30~50% 줄였을 때도(예: ResNet-17에서 0.6배 채널 스케일로 CIFAR-10에서 86.52% 달성, DeeperForward는 전체 스케일에서 86.22% 달성) 일관되게 DeeperForward를 능가했다.
• 역전파(Backpropagation)와의 비교: 절대적인 정확도 측면에서는 여전히 완전한 역전파(예: CIFAR-10에 대한 152계층 BP 모델의 95.52% 대비 89.37%)에 뒤처지지만, 제안된 방법은 특히 MNIST 및 Fashion-MNIST에서 일부 BP 기반 베이스라인을 능가하는 등, 이전의 FF 시도들과 비교했을 때 성능 격차를 크게 좁혔다.

의의 및 주장
본 논문은 학습 가능한 채널 특성화와 레이어 기여 가중치를 도입하는 것이 심층 CNN에서 순방향 전용 학습의 표현 능력을 크게 향상시킨다고 주장한다. 저자들은 자신들의 접근 방식이 정적 채널 할당의 제약 없이도 순방향 학습이 더 깊은 아키텍처와 복잡한 작업에 효과적으로 확장될 수 있음을 입증하며, FF 기반 모델 중 새로운 최첨단 성능을 확립한다고 단언한다. 결과는 제안된 프레임워크가 그래디언트 기반 방법과 경쟁할 수 있으면서도 채널 사용의 효율성과 확장성을 제공하는 실행 가능한 생물학적 영감의 대안임을 시사한다. 저자들은 학습 가능한 행렬이 성능을 개선하지만, 향 \후 연구에서는 이를 더욱 가이드하고 전역 손실의 영향을 더 잘 조절할 수 있는 보조 메커니즘에 집중할 수 있다고 겸허히 언급하였다.