OUI as a Structural Observable: Towards an Activation-Centric View of Neural Network Training

기술적 요약: OUI 를 구조적 관측 가능량으로

문제 제기
현재 신경망 학습 진단은 손실 (loss), 정확도, 최종 보정 (calibration) 과 같은 외부 지표에 크게 의존합니다. 이러한 지표들은 종종 지연되어 학습의 내부 서사를 압축하며, 학습 과정에서 모델이 진입하는 특정 구조적 체제 (regimes) 를 드러내지 못합니다. 활성화 함수는 활성화 패턴을 통해 입력 공간을 서로 다른 기능적 영역으로 분할함으로써 네트워크의 표현력을 제공하는 원천이지만, 표준 진단 도구들은 이러한 내부 구조의 진화를 거의 모니터링하지 않습니다. 이 격차는 비싼 하이퍼파라미터 탐색, 실패의 늦은 발견, 그리고 학습 역동에 대한 해석 가능성 부재로 이어집니다.

방법론 및 정의
본 논문은 학습 역동의 구조적 관측 가능량으로 재정의된 **과적합 - 과소적합 지표 (Overfitting–Underfitting Indicator, OUI)**에 중점을 둡니다. 저자들은 온라인 학습을 모니터링하기 위해 배치 기반 공식 (Fernández-Hernández et al., 2026) 을 채택합니다:

1. 활성화 마스킹: $d_l$개의 유닛을 가진 레이어 $l$과 배치 $B_t$에 대해, 각 뉴런 $n$과 샘플 $x_b$에 대해 이진 마스크 $m^{(l)}_{b,n}(t)$를 정의합니다. 이는 사전 활성화 (preactivation) 가 양수인지 여부를 나타냅니다.
2. 활성화 카운팅: 각 뉴런에 대해 배치 내 활성 샘플의 수 $s^{(l)}_n(t)$를 계산합니다.
3. 소수 카운트 (Minority Count): 지표 $u^{(l)}_n(t) = \min(s^{(l)}_n(t), B - s^{(l)}_n(t))$를 계산합니다. 이 값은 뉴런이 배치를 균형 있게 분할할 때 높고, 뉴런이 일관되게 켜지거나 꺼져 있을 때 (편향될 때) 낮습니다.
4. OUI 계산: 모듈의 OUI 는 $\lfloor B/2 \rfloor$로 정규화된 이러한 소수 카운트들의 평균입니다.

실질적으로, 높은 OUI 는 많은 유닛이 프로브 배치를 균형 있게 분할하고 있음을 나타내며, 이는 풍부한 내부 활성화 구조를 반영합니다. 낮은 OUI 는 모듈이 편향되어 유닛들이 입력 전반에 걸쳐 균일하게 행동하고 있음을 시사합니다.

주요 결과 및 증거
본 논문은 OUI 를 초기이자 라벨이 없는 신호로서의 유용성을 입증하기 위해 세 가지 서로 다른 영역의 증거를 종합합니다:

• 지도 학습 (정규화): CIFAR-100 에서의 DenseNet-BC-100 실험에서, OUI 궤적은 가중치 감소 (weight decay) 값에 따라 학습 초기 (약 15% 지점) 에 분리되었습니다. 높은 OUI 값은 더 나은 일반화와 상관관계가 있었으며, 낮은 값은 표준 검증 지표들이 이를 구분하기 전에 과소적합 또는 과적합 체제를 예측했습니다.
• 강화 학습 (PPO Actor-Critic): PPO 를 위해 재구성된 OUI 는 학습 초기에 학습률 체제 간에 성공적으로 차별화했습니다. 중요한 점은, 논문이 구조적 비대칭성을 관찰했다는 것입니다: 최적의 크리티컬 (critic) 은 중간 OUI 밴드를 차지하는 반면, 강력한 액터 (actor) 는 더 높은 OUI 값에서 작동하는 경향이 있습니다. 이는 "좋은" 구조적 체제가 문맥에 의존적임을 시사합니다.
• 활성화 패턴 수렴: 최근 연구 (Pérez-Corral et al., 2026) 를 인용하여, 논문은 활성화 패턴이 종종 파라미터 업데이트보다 훨씬 일찍 안정화됨을 지적합니다. ViT-B16 학습에서 활성화 수렴 지표는 포화 상태에 이르렀지만 손실은 계속 개선되었습니다. 이는 네트워크가 안정적인 활성화 체제 내에서 가중치를 정교화한다는 이중 시간 척도 (two-timescale) 관점을 지지합니다.

기여
본 논문의 주요 기여는 새로운 알고리즘이 아니라 기존 증거에 대한 개념적 재구성과 종합입니다:

1. 구조적 관측 가능량: 논문은 OUI 를 단순히 하이퍼파라미터 튜닝을 위한 휴리스틱이 아니라, 학습의 내부 구조적 차원에 대한 첫 번째 실용적 관측 가능량으로 이해해야 한다고 주장합니다.
2. 활성화 중심 관점: 이는 "학습 역동에 대한 활성화 중심 이론"을 제안하며, 내부 활성화 구조가 수렴 전에 정보 제공적이고 실행 가능해짐을 가정합니다. 이는 종단 지표 (endpoint metrics) 로 포착되지 않는 학습의 차원을 제공합니다.
3. 증거의 종합: 지도 학습, 강화 학습, 온라인 제어를 아우르는 발견들을 통합하여 반복되는 패턴을 보여줍니다: 활성화 기반 관측 가능량은 학습 실행의 운명을 초기에 드러낼 수 있습니다.
4. 연구 방향: 이 관점을 발전시키는 데 필요한 열린 질문들을 식별합니다. 여기에는 학습의 "위상 구조" (초기 구조적 조직화 대 후기 정교화), 특정 역할과 작업에 대한 활성화 체제의 "적절성", 그리고 이러한 관측 가능량과 안정성 및 일반화에 대한 형식적 개념 간의 이론적 연결이 포함됩니다.

의의 및 주장
논문의 주장은 OUI 를 구조적 관측 가능량으로 보는 시각이 지연된 외부 결과 모니터링에서 내부 구조적 조직 모니터링으로 학습의 관점을 전환한다는 것입니다. 이는 후기 단계 실패가 비용이 큰 기초 모델 (foundation model) 사전 학습에서의 초기 스크리닝에 즉각적인 실용적 함의를 가집니다. 또한, 이는 기능적 제어의 전환을 시사하여, 학습을 파라미터에 대해 옵티마이저가 무엇을 하는지에만 국한되지 않고 네트워크가 데이터에 대해 기능적으로 무엇을 하는지에 더 가까운 신호로 규제할 수 있게 합니다.

저자들은 OUI 가 현재 더 넓은 이론을 향한 "경험적 발판"임을 인정하며 겸손한 입장을 유지합니다. ReLU 와 유사한 패턴에 대한 OUI 의 자연스러운 정의와 온라인 제어 신호로 사용될 경우 피드백 루프 혼란의 위험과 같은 한계를 지적합니다. 논문은 활성화들을 숨겨진 부산물로 보는 시각에서 명시적 연구 대상으로 보는 시각으로의 전환이 유효하다면, 신경망이 어떻게 학습하는지 이해하기 위해 활성화 중심 학습 이론이 필수적인 단계가 될 것이라고 결론지었습니다.