기술 요약: 정확도와 그래디언트 코사인 유사도가 놓치는 것

문제 정의

딥러닝의 성공에도 불구하고, 생물학적으로 타당하고 하드웨어 효율적인 메커니즘을 통해 심층 네트워크를 학습시키는 것은 여전히 해결되지 않은 과제로 남아 있다. 피드백 정렬(Feedback Alignment, FA) 방식은 역전파(Backpropagation, BP)의 제약 조건인 가중치 대칭성 및 순차적 업데이트 문제를 해결하기 위해, 역방향 가중치를 고정된 무작위 행렬로 대체한다. FA와 그 변형인 직접 피드백 정렬(Direct Feedback Alignment, DFA)은 트랜스포머와 같은 현대적 아키텍처를 학습시키는 데 유망한 모습을 보였으나, 이들의 평가는 표준 보고 쌍인 **태스크 정확도(task accuracy)**와 해당 방법의 크레딧 신호와 BP 그래디언트 사이의 **총합 코사인 유사도(aggregate cosine similarity)**에 의존하고 있다.

본 논문은 이러한 표준 보고 쌍이 불충분하며, 네트워크의 깊은 층(deep layers)을 실제로 학습시키지 못한 방법들을 은밀하게 통과시킬 수 있다고 주장한다. 저자들은 표준 지표가 심층부에서 유용한 크레딧 할당 학습에 실패했음에도 불구하고 오해의 소지가 있는 긍정적인 신호를 보내는 두 가지 독립적인 실패 모드를 식별하였다.

방법론 및 진단 프로토콜

이러 이러한 실패를 진단하기 위해, 저자들은 동일한 학습 레시피를 사용하되 크레딧 전파 규칙만 다른 세 가지 방법(BP, FA, DFA)을 잔차 구조(ResMLP, ViT-Mini, StudentNet)에서 비교하는 통제된 감사를 수행하였다. 저자들은 표준 지표가 심층 블록이 사실상 사용되지 않거나 해로운 상태임을 감지하지 못한다는 점을 관찰하였다.

이러한 관찰을 바탕으로, 저자들은 표준 보고 쌍을 대체하거나 보완할 수 있는 3단계 체크 진단 평가 프로토콜을 제안한다:

1. 규모 안정성 (진단 1 - Scale Stability): 학습 종료 시점의 최대 블록별 잔차 성장($\rho = \max_l \|h_{l+1}\|/\|h_l\|$)을 측정한다.
   • 임계값: $\rho > 50$일 경우 경고 발생.
   • 목적: "잔차 스트림 폭발(residual-stream explosion)"을 감지하며, 이는 참조 그래디언트 붕괴(reference gradient collapse)의 전조이다.
2. 참조 유효성 (진단 2 - Reference Validity): 가장 깊은 곳에 위치한 BP 참조 그래디언트의 노름($\|g_L\|$)을 측정한다.
   • 임계값: $\|g_L\| < 10 \cdot \epsilon$ (여기서 $\epsilon$은 코사인 구현의 분모 하한값이며, fp32의 경우 일반적으로 $10^{-8}$)일 경우 경고 발생.
   • 목적: **측정 퇴화(Measurement Degeneracy)**를 감지한다. 터미널 레이어 노멀라이제이션(terminal-LayerNorm) 아키텍처에서 잔차 폭발은 BP 그래디언트를 수치적 하한선까지 압축시킨다. 이 현상이 발생하면 코사인 유사도는 의미 있는 방향이 아닌 부동 소수점 노이즈에 대해 계산되므로, 해당 지표는 해석 불가능해진다.
3. 깊이 효용성 (진단 3 - Depth Utility): 학습된 모델의 테스트 정확도와 아키텍처가 일치하는 동결 블록 베이스라인(잔차 블록은 무작위 초기화 상태로 유지하고 임베딩, 레이어 노멀라이제이션, 헤드만 학습하는 모델) 사이의 차이를 계산한다.
   • 임계값: 차이가 2 퍼센트 포인트 미만일 경우 경고 발생.
   • 목적: 학습된 깊이가 예측에 실제로 기여하는지를 감지한다. 이 체크는 유효한 코사인 측정값이 존재하더라도, 크레디트 방향으로의 업데이트가 유용한 깊이 학습으로 구성되지 않을 수 있기 때문에 필요하다.

또한, 프로토콜은 층별 이질성을 은폐하는 것을 방지하기 위해 총합 보고 대신 **층별 코사인 보고(per-layer cosine reporting)**를 의무화한다.

주요 결과 및 실패 모드

본 논문은 표준 지표가 놓치는 두 가지 인과적으로 독립적인 실패 모드를 식별하였다:

• 모드 1: 측정 퇴화 (참조 붕괴 - Measurement Degeneracy/Reference Collapse).
  • 메커니즘: 터미널 레이어 노멀라이제이션 잔차 아키텍처에서, (로컬 손실 형태에 의해 유도된) 잔차 스트림의 무제한적 성장은 BP 참조 그래디언트를 역으로 축소시킨다. 결국 그래디언트 노름이 코사인 구현의 수치적 하한 아래로 떨어진다.
  • 결과: 보고된 코사인 유사도는 실제 BP 방향이 아닌 정규화된 부동 소수점 잔차(노이즈)에 대해 계산된다. 이 모드는 터미널 레이어 노멀라이제이션이 있는 아키텍처(예: ResMLP, ViT-Mini)에서 흔히 나타나지만, 그렇지 않은 아키텍처(예: StudentNet)에서는 나타나지 않는다.
• 모드 2: 집계 붕괴 (층별 이질성 - Aggregation Collapse/Layerwise Heterogeneity).
  • 메커니즘: 총합 코사인은 네트워크의 양 끝단에 집중된 층별 코사인들의 평균값이다. 예를 들어, FA는 주로 가장 깊은 층에서 정렬되는 반면, DFA는 주로 가장 얕은(임베딩) 층에서 정렬된다.
  • 결과: 총합 코사인은 양수 값을 보여 정렬된 것처럼 보이지만, 실제로는 깊은 층(또는 방법에 따라 얕은 층)이 정렬된 크레디트를 전혀 기여하지 못하는 상태가 된다.
• 코사인은 깊이 효용성을 예측하지 못함.
  • 모드 1이 완화되고(규모 페널티를 통해) 코사인 측정이 유효하더라도, 높은 코사인 정렬이 깊이 학습의 개선을 보장하지는 않는다. 저자들은 "상태 브릿지(State Bridge)" 및 "크레디트 브릿지(Credit Bridge)" 프로브를 사용하여, 코사인 정렬이 더 낮은 방법이 더 높은 정렬을 가진 방법보다 더 높은 정확도를 달 수 있음을 입증했다.

결과

저자들은 여러 아키텍처와 설정에서 프로토콜을 검증하였다:

• 표준 지표의 실패: 대표적인 설정(예: CIFAR-10의 ResMLP)에서 FA와 DFA는 비사소한(non-trivial) 정확도와 양수의 총합 코사인을 보고했다. 그러나 표준 쌍은 이 방법들이 동결 블록 베이스라인을 초과하는 데 실패했다는 신호를 주지 못했다.
• 프로토콜의 성공: 제안된 프로토콜은 모든 실패를 정확히 식별했다.
  • DFA는 아키텍처 전반에서 모드 1(규모 폭발 및 참조 붕계)과 깊이 효용성 실패를 지속적으로 유발했다.
  • FA는 종종 모드 1(참조 유효성 유지)은 통과했으나 깊이 효용성 체크에서 실패했다. 이는 참조는 측정 가능하지만, 크레디트 신호가 깊은 층을 효과적으로 학습시키지 못함을 나타낸다.
• 인과적 독립성: 페널티 개입(로컬 손실에 규모 페널티 추가)은 모드 1을 완화하여(참조 유효성 복구) 모드 2(깊은 층의 정렬은 여전히 불량함)를 즉각적으로 해결하지 못했다. 이는 두 실패 모드가 별개이며 서로 다른 진단이 필요함을 확인시켜 준다.
• 일반화 가능성: 실패 패턴은 CIFAR-10 및 CIFAR-100, 그리고 ResMLP 및 ViT-Mini 아키텍처 전반에서 일관되게 나타났다.

의의 및 주장

본 논문은 피드백 정렬에 대한 표준 평가 프로토콜이 심층 잔차 아키텍처에 대해 근본적으로 결함이 있다고 주장한다. 정확도와 총합 코사인에 의존함으로써, 연구자들은 깊은 층이 기능하지 않거나 오히려 성능에 해로운 방법 위에 구축된 성과를 쌓을 위험이 있다.

이 연구의 의의는 다음과 같다:

1. 침묵하는 실패의 식별: 표준 지표를 무의미하게 만드는 두 가지 독립적인 메커니즘(측정 퇴화 및 집계 붕괴)을 폭로한다.
2. 진단 프로토콜 제공: 실무자가 스케일링이나 배포 전에 FA 방법이 실제로 깊은 층을 학습시키는지 확인할 수 있는 구체적이고 실행 가능한 체크리스트(규모 안정성, 참조 유효성, 깊이 효용성)를 제공한다.
3. 코사인의 역할 명확화: BP 그래디언트에 대한 코사인 정렬이, 비록 유효하게 측정되더라도, 깊이 학습의 기능적 효용을 나타내는 충분한 대리 지표가 아님을 확립한다.

저자들은 프로토콜을 통과하는 것이 해당 방법을 역전파의 보편적인 대체제로 인증하는 것은 아니지만, 실패하는 것은 해당 방법이 테스트된 특정 아키텍처의 깊은 층을 성공적으로 학습시키지 못했음을 나타낸다고 강조한다. 이 작업은 기능하지 않는 크레디트 할당 메커니즘을 확장하는 것을 방지하는 데 목적이 있다.