기술 요약: 딥 뉴럴 네트워크의 암기 연구를 위한 무작위 레이블 예측 헤드 (Random Label Prediction Heads)

문제 정의

현대적인 딥러닝 모델은 극도로 과잉 매개변수화(over-parameterization)되어 있어 과적합(overfitting)에 취약합니다. 데이터 증강이나 명시적 규제와 같은 전략들이 존재하지만, 이들은 대개 실질적인 일반화 문제를 해결할 뿐 과적합의 메커니즘에 대한 깊은 통찰을 제공하지는 못합니다. 최근의 연구 결과(예: Zhang et al., 2021)는 최첨단 모델들이 무작위로 할당된 레이블이 있는 데이터셋조차 완벽하게 학습할 수 있음을 보여주며, 이는 모델이 작업과 무관한 샘플 특유의 정보를 암기할 수 있는 능력이 있음을 나타냅니다.

실제 작업에서 이러한 암기가 일반화와 어떻게 상호작용하는지에 대한 이해에는 중요한 격차가 존재합니다. 전통적인 이론은 흔히 과적합을 암기와 동일시하며, 암기가 본질적으로 해롭다고 가정합니다. 그러나 "이중 하강(double descent)" 현상이나 롱테일 분포에 관한 관찰은 더 미묘한 관계가 있음을 시사합니다. 또한, 기존 방법들은 주요 작업 성능을 변경하지 않으면서 학습 과정 중에 암기를 명시적으로 측정하고 조절할 수 있는 메커니즘이 부족합니다.

방법론

저자들은 암기를 조사하고 규제하기 위해 **무작위 레이블 예측 헤드(RLP-heads)**를 포함하는 하이브리드 접근 방식을 제안합니다.

1. 구조 및 메커니즘

• RLP-Head: 표준 분류 헤드와 병렬로, 특징 추출기(보통 펜얼티메이트 레이어 이후에 위치하지만 임의의 깊이에 배치 가능)에 보조 예측 헤드를 부착합니다.
• 무작위 레이블: 각 훈련 샘플에는 학습 시작 시 고정된 무작위 레이블이 할당됩니다. 이 레이블들은 실제 클래스 레이블과는 독립적입니다.
• 학습 역학:
  • RLP-head는 표준 크로스 엔트로피 손실($L_{rnd}$)을 사용하여 이 무작위 레이블을 예측하도록 학습됩니다.
  • 오직 RLP-head만이 $L_{rnd}$로부터 그래디언트를 받으며, 메인 분류 헤드는 무작위 레이블 목적 함수에 의해 영향을 받지 않습니다.
  • 해석: 무작위 레이블에 대한 RLP-head의 정확도는 모델의 **라데마허 복잡도(Rademacher complexity)**에 대한 경험적 추정치 역할을 합니다. 높은 무작위 레이블 정확도는 네트워크가 임의의 패턴을 암기할 수 있는 충분한 용량을 가지고 있음을 나타내며, 이는 높은 모델 복잡도를 반영합니다.

2. 규제 전략

암기를 능동적으로 제어하기 위해 저자들은 암기 규제기(memorization regularizer)($L_{reg}$)를 도입합니다.

• 목적: 무작위 레이블에 대한 오류를 최소화하는 대신, RLP-head가 무작위 레이블을 올바르게 예측하는 것에 대해 페널티를 부여합니다.
• 공식: $L_{reg} = \log(1 - \hat{p}_{\hat{y}})$이며, 여기서 $\hat{p}_{\hat{y}}$는 무작위 레이벨의 예측 확률입니다. 이는 표준 크로스 엔트로피 로직을 역전시키며, 무작위 레이블에 대한 확신에 찬 예측에 대해 페널티를 증폭시킵니다.
• 그래디언트 흐름: $L_{reg}$로부터의 그래디언트는 RLP-head 자체가 아닌 특징 추출기로만 역전파됩니다. 이는 특징 추출기가 RLP-head가 무작위 레이블을 통해 개별 샘플을 구별할 수 없도록 하는 표현(representation)을 학습하도록 강제하며, 결과적으로 샘플 특유의 특징 학습을 억제합니다.

주요 기여

1. 탐사 도구로서의 RLP-Heads: 전체 네트워크를 무작위 레이블로 다시 학습시키지 않고도 레이어별 암기 정도와 모델 복잡도를 경험적으로 측정할 수 있는 방법으로서 RLP-head를 도입했습니다.
2. 지표의 검증: 무작위 레이블 정확도가 기존의 복잡도 규제 방식(Dropout, Weight Decay, Label Smoothing)과 상관관계를 가지며, 라데마허 복잡도의 유효한 대리 지표(proxy) 역할을 함을 입증했습니다.
3. 새로운 규제 기술: RLP-head의 성능에 페널티를 부여함으로써 암기를 명시적으로 제한하고, 이를 통해 특징 추출기가 샘플 특유의 정보를 인코딩하는 능력을 조절하는 방법을 제시했습니다.
4. 암기의 역할에 대한 재평가: 암기가 항상 해로운 것은 아니라는 경험적 증거를 제시하며, 암기가 데이터 샘플링에 따라 일반화를 방해하거나 촉진할 수 있음을 보여주었습니다.

실험 결과

1. 암기 역학

• 레이어별 분석: ImageNet으로 학습된 Vision Transformer(ViT)에서 무작위 레이블 정확도는 네트워크 깊이에 따라 증가합니다. 초기 레이어는 거의 0에 가까운 정확도를 보이는 반면, 깊은 레이어는 약 70%에 도달하며, 이는 암기가 추상화된 특징 표현 단계에서 발생함을 나타냅니다.
• 시간적 진화: 무작위 레이블 정확도는 훈련 및 테스트 정확도가 갈라지기 전에 약간 상승하며, 이는 암기가 훈련 과정 초기에 시작됨을 시사합니다.

2. 규제가 일반화에 미치는 영향

암기를 억제하는 효과는 데이터셋과 모델에 따라 크게 다릅니다.

• ImageNet (ViT-B/32): RLP 규제는 무작위 레이블 정확도(암기)를 성공적으로 감소시킵니다. 이는 훈련 정확도의 감소를 초래하지만, 테스트 정확도를 크게 향상시켜(최대 +1.5%) 훈련-테스트 간극을 좁힙니다. 이는 암기가 일반화를 해친다는 고전적 이론과 일치합니다.
• CIFAR-100 (WideResNet-16-4): RLP 규제는 암기를 줄이지만, 아주 작은 규제 계수에서도 테스트 정확도를 저하시킵니다. 훈련 정확도는 안정적으로 유지됩니다. 이는 암기를 줄이는 것이 항상 더 나은 일반화로 이어진다는 고전적 관점에 반하는 결과입니다.

3. 데이터 샘플링의 역할

저자들은 암기의 이중적 역할이 샘플링 효과에 의해 구동된다고 가설을 세웠습니다.

• 충분히 샘플링된 분포 (예: ImageNet): 암기를 억제하면 모델이 공유된 클래스 수준의 특징을 학습하도록 강제하여 일반화를 개선합니다.
• 부족하게 샘플링된 분포 (예: CIFAR-100, Long-tail): 샘플이 적은 영역에서는 특정 인스턴스를 암기하는 것이 실제 데이터 분포를 포착하는 데 필수적입니다. 이를 억제하면 모델이 부적절한 공유 특징이나 불충분한 샘플링의 부산물에 의존하게 되어 일반화가 저해됩니다.
• 증거:
  • ImageNet 서브셋에서 규제기는 데이터의 가용 비율이 높을 때만 테스트 정확도를 향상시킵니다.
  • 롱테일 데이터셋(ImageNet-LT)에서 암기를 억제하면 희귀 클래스의 정확한 예측을 방해합니다.
  • 레이블 노이즈 추가 시: 이 경우 암기는 순수하게 해롭습니다. 규제기는 일관되게 테스트 성능을 개선하며, 이는 암기가 분포적 목적을 수행하지 못할 때 일반화를 방해한다는 점을 확인해 줍니다.

4. 암기의 이동 (Shift of Memorization)

RLP 규제를 마지막 레이어에만 적용할 경우, 암기는 제거되지 않고 이전 레이어로 이동합니다. 네트워크는 규제기를 우회하기 위해 이전 레이어에서 샘플 특유의 특징을 클래스 관련 정보로 변환합니다. 모든 레이어에 걸쳐 규제를 적용하면 이러한 이동을 억제할 수 있지만, 반드시 테스트 정확도를 높이지는 않습니다. 이는 초기 레이어에서의 어느 정도의 암기가 유익할 수 있음을 시사합니다.

의의 및 주장

본 논문은 딥 뉴럴 네트워크에서 암기를 연구하고 조절할 수 있는 제어된 프레임워크를 제공한다고 주장합니다. 무작위 레이블 정확도를 라데마허 복잡도의 경험적 대리 지표로 해석함으로써, 저자들은 모델 용량과 샘플 수준의 암기를 직접 측정하는 방법을 제시합니다.

주요 의의는 암기와 과적합을 동일시하는 전통적인 관점에 도전한다는 점에 있습니다. 저자들은 암기가 본질적으로 해로운 것이 아니라, 그 영향이 데이터가 충분히 샘플링되었는지 여부에 달려 있다고 제안합니다. 샘플링이 부족한 환경에서는 특정 예시를 암기하는 것이 동일한 분포로부터 오는 미지의 데이터로 일반화하기 위한 유일한 방법일 수 있습니다.

이 연구는 RLP-head와 그로부터 파생된 규제기가 다음과 같은 용도로 효과적인 도구임을 시사합니다:

• 네트워크 내에서 암기가 언제, 어디서 발생하는지 진단함.
• 잘 샘플링된 환경에서 일반화를 개선하기 위해 암기를 명시적으로 감소시킴.
• 데이터 부족 상황에서 암기가 학습의 필수 구성 요소가 되는 트레이드오프를 이해함.

저자들은 이러한 발견이 암기를 단순히 오류의 원인으로 보는 이분법적 관점을 넘어, 현대 딥러닝의 모순적인 결과들을 화해시키기 위한 새로운 가설을 필요로 한다고 결론짓습니다.