Learning from almost nothing: How neural networks survive heavy input corruption

기술 요약: 거의 아무것도 없는 상태에서의 학습 (Learning from Almost Nothing)

문제 정의
본 논문은 불완전한 데이터, 특히 레이블은 온전하지만 속성 노이즈(입력 특징의 오염)가 존재하는 상황에서의 학습 문제를 다룹니다. 레이블 노이즈는 이미 상당한 분석적 주목을 받아왔으나, 센서 오류나 특징 누락 등으로 인해 실제 환경에서 흔히 발생하는 속성 노이즈에 대한 이론적 연구는 상대적으로 미흡했습니다. 핵심 질문은 신경망이 인간 관찰자에게는 신호가 무작ful한 노이즈와 거의 구별할 수 없을 정도로 심하게 오염된 입력값으로부터 훈련될 때, 일관된 분류 규칙을 학습하고 깨끗한 테스트 데이터로 일반화할 수 있는가 하는 점입니다.

방법론
저자들은 경험적 실험과 신경 탄젠트 커널(Neural Tangent Kernel, NTK) 프레임워크를 이용한 분석적 유도를 결합한 이중 접근 방식을 채택했습니다.

1. 경험적 설정:

   • 모델: 3개의 은닉층과 다양한 너비(128~2048)를 가진 다층 퍼셉트론(MLP).
   • 데이터셋: MNIST, Fashion-MNIST, KMNIST.
   • 오염 모델: 두 가지 유형의 입력 오염을 테스트함:
     • 치환 노이즈(Replacement Noise): 각 픽셀이 확률 $p$로 독립적으로 균등 분포 노이즈로 대체됨.
     • 가법 노이즈(Additive Noise): 각 픽셀이 깨끗한 픽셀과 독립적인 노이즈의 볼록 조합(convex combination)으로 구성됨.
   • 훈련: 교차 엔트로피(cross-entropy) 또는 평균 제곱 오차(MSE) 손실을 사용하여 오염된 입력과 깨끗한 레이블로 네트워크를 훈련함.
   • 평가: 깨끗한 테스트 세트에 대해 성능을 측정하며, 경우에 따라 동시에 오염된 테스트 세트에 대해서도 측정함.

2. 분석적 프레임워크:

   • 저자들은 NTK 설명을 사용하여 무한 너비 극한(infinite-width limit)에서의 MLP를 분석하며, 여기서 MSE 손실로 훈련하는 것은 커널 회귀(kernel regression)와 동일합니다.
   • 저자들은 "고농도 오염 영역"(신호 강도 $\epsilon = 1-p$가 작고 특징 차원 $d$가 큰 경우)에서 **평균장 기반 확장(mean-field-inspired expansion)**을 수행합니다.
   • 유도는 순수 노이즈 고정점($\epsilon = 0$) 주변에서 NTK와 결과적인 예측 함수(predictor)를 전개하고, 살아남은 신호를 선형 섭동(linear perturbation)으로 취급하는 과정을 포함합니다.
   • 순수 노이즈 극한에서의 **치환 불변성(permutation invariance)**에 기반한 대칭성 논증을 사용하여 결과적인 결정 규칙의 보편성을 설명합니다.

주요 기여 및 결과

1. 경험적 강건성:

   • 실험 결과, MLP는 속성 노이즈에 대해 놀라울 정도로 강건함을 보여줍니다. 훈련 입력이 90% 이상 오염되었음에도 불구하고(예: $p=0.9$), 네트워크는 훈련 이미지가 인간에게는 거의 알아볼 수 없는 수준임에도 불구하고 무작위 추측보다 훨씬 높은 테스트 정확도(예: MNIST에서 약 70~80%)를 달성합니다.
   • 테스트 정확도의 표준 편차는 오염 확률에 따라 비단조적(non-monotonic)인 거동을 보이며, 최대 노이즈가 아닌 중간 정도의 노이즈 수준에서 정점을 찍습니다.
   • 훈련 및 테스트 데이터가 모두 오염된 경우, 최적의 성능은 훈련 세트의 오염 수준이 테스트 세트의 오염 수준과 일치할 때($p_{train} \approx p_{test}$) 발생하며, 이는 모델이 특정 오염된 분포 내에서 일반화하도록 학습됨을 시사합니다.

2. 중심점 결정 규칙 (The Centroid Decision Rule):

   • 주요 이론적 발견은 고노이즈 극한에서 복잡한 비선형 네트워크가 단순하고 보편적인 최근접 클래스 평균(nearest-class-mean, centroid) 분류기로 붕괴된다는 것입니다.
   • 테스트 지점 $x_*$에 대한 주요 차수의 결정 규칙은 깨끗한 훈련 데이터의 **중심화된 경험적 평균(centered empirical mean, centroid)**과의 중첩을 최대화하는 클래스 $i$를 할당하는 것입니다:
     $$i^* = \arg\max_i \frac{1}{d} \sum_{k=1}^d x_{k*} (\bar{x}^i_k - \bar{x}_k)$$
     여기서 $\bar{x}^i_k$는 클래스 $i$의 평균이고 $\bar{x}_k$는 전체 평균입니다.
   • 이 규칙은 보편적입니다. 즉, 네트워크의 깊이, 활성화 함수, 또는 노이즈의 구체적인 분포(i.i.d.인 경우)에 관계없이 성립하며, 오직 노이즈 분포의 1차 및 2차 모멘트에만 의존합니다.

3. 분석적 검증:

   • 유도된 분석적 형태(식 13/16)는 고노이즈 영역($p \approx 0.97$)에서 유한 너비 네트워크(너비 2048)의 동작과 매우 높은 정밀도로 일치합니다 ($R^2 > 0.96$).
   • 이 모델은 평균 로짓(logit) 출력과 분류 정확도를 결정하는 변동(fluctuations)을 정확하게 예측합니다.
   • 유도된 신호 대 잡음비(SNR) 스케일링 법칙은 정확도가 생존 신호 비율 $(1-p)$, 특징 차원 $d$, 그리고 클래스당 훈련 사례 수 $N/C$에 따라 개선됨을 시사합니다.

의의 및 주장
본 논문은 신경망이 심한 입력 오염에 대해 보이는 놀라운 강건성이 복잡한 디노이징(denoising)이나 특징 복구 메커니즘 때문이 아니라고 주장합니다. 대신, 네트워크가 약하게 남아있는 클래스 정보를 프로토타입 기반 결정 규칙으로 효과적으로 집계하기 때문에 발생한다고 주장합니다.

• 복잡성으로부터의 단순성: 딥 네트워크의 구조적 복잡성과 비선형성에도 불구하고, 고노이즈 극한에서 학습된 규칙은 단순하고 해석 가능하며 선형적(클래스 중심점에 대한 템플릿 매칭)이 됩니다.
• 대칭성을 통한 보편성: 저자들은 이 규칙의 보편성을 순수 노이즈 커널의 치환 대칭성(permutation symmetry) 덕분이라고 설명합니다. 순수 노이즈 극한에서 훈련 사례들은 서로 교환 가능하며, 이 대칭성을 깨뜨리는 작은 신호에 대한 주요 차수의 반응은 중심화된 클래스 평균에 의존하도록 강제됩니다.
• 분석적 다루기 쉬움: 본 연구는 신경망 학습이 이례적으로 명시적인 용어로 설명될 수 있는 드문 영역을 식별하였으며, 예측 함수에 대한 주요 차수의 보정을 유도할 수 있는 다루기 쉬운 고정점(순수 노이즈)을 제공합니다.

저자들은 연구의 범위를 제한하며 겸손한 태도를 유지합니다. 즉, 결정 규칙은 보편적이지만, 정확도는 특정 데이터셋의 기하학적 구조(즉, 깨끗한 클래스 중심점이 충분한 변별력을 갖추고 있는지 여부)에 달려 있습니다. 이들이 모든 데이터셋이나 임의의 오염 수준에 적용된다고 주장하는 것이 아니라, MLP의 고속성 오염 영역에서의 일반적인 주요 차수 동작을 확립했음을 밝히고 있습니다.