기술 요약: 딥러닝의 일반화된 정보 병목 이론 (A Generalized Information Bottleneck Theory of Deep Learning)

문제 정의

Tishby 등(1999)에 의해 도입된 정보 병목(Information Bottleneck, IB) 원리는 신경망(NN) 학습을 입력 데이터 $X$를 압축하는 것과 타겟 $Y$에 대한 정보를 보존하는 것 사이의 트레이드오프(trade-off)로 이해하는 이론적 틀을 제공한다. 표준 IB 목적 함수는 $I(T; Y) - \beta^{-1}I(X; T)$를 최대화하는 것을 목표로 하며, 여기서 $T$는 잠재 표현(latent representation)이다. 이 이론은 영향력이 컸으나, 딥러닝에 대한 실질적인 적용에 있어 다음과 같은 중대한 이론적 및 경험적 과제에 직면해 있다:

1. 활성화 함수 의존성: 경험적 연구(예: Saxe et al., 2019)는 ReLU 활성화 함수를 사용하는 네트워크에서는 IB의 특징적인 "압축 단계(compression phase)"가 나타나지 않음을 보여주었으며, 그럼에도 불구하고 이러한 네트워크들은 강력한 일반화 성능을 보인다.
2. 추정 문제: 결정론적(deterministic) 네트워크에서 복잡도 항인 $I(X; T)$는 이론적으로 일정하거나 무한하며, 이로 인해 압축 단계를 관찰할 수 없게 된다. 이전의 압축 관찰 시도들은 이산화(discretization, "binning")나 무작위성 주입에 의존했는데, 이는 진정한 정보 이론적 효과라기보다 인위적인 결과물이라는 비판을 받기도 했다.
3. 시너지 모델링의 부재: 표준 IB는 잠재 표현을 블랙박스로 취급하여, 모든 정보를 동일하게 집계하며 중복되거나 고유하거나 혹은 시너지적인 특징 간의 상호작작용을 구분하지 못한다.

방법론

저자들은 시너지(synergy)—즉, 특징들의 결합된 처리(joint processing)를 통해서만 얻을 수 있는 추가적인 예측력—의 개념에 기반하여 IB 원리를 재구성한 **일반화된 정보 병목(Generalized Information Bottleneck, GIB)**을 제안한다.

1. 이론적 토대: 시너지와 일반화

본 논문은 시너지와 일반화 사이의 이론적 연결 고리를 확립한다. 저자들은 더 높은 시너지를 보이는 함수가 더 타이트한 일반화 경계(generalization bounds)를 달uc히는 데 기여한다고 가정한다.

• 노이즈 민감도: 저자들은 함수의 출력과 노이즈 사이의 상호 정보량($I(s(X, \epsilon); \epsilon)$)이 높다는 것이 큰 리프시츠 상수(Lipschitz constant)를 의미하며, 이것이 낮은 일반화 성능과 상관관계가 있음을 주장한다.
• 시너지적 처리: 저자들은 시너지적인 함수가 노이즈 및 중복된 입력 정보에 대한 의존성을 최소화함을 입증한다. CIFAR-10을 사용한 ResNet에서의 경험적 검증은 측정된 시너지 지표와 일반화 격차(generalization gap) 사이의 강한 음의 상관관계를 확인해 준다.

2. GIB 공식화

GIB 목적 함수는 시너지를 통해 IB를 재구성하고, 점별 상호 정보량(Point-wise Mutual Information, PMI) 기반의 가중치 재설정 방식을 도입하여 구축된다.

• 예측 항: $I(Z; Y)$로, 모델 출력 $Z$와 타겟 $Y$ 사이의 상호 정보량을 측정한다.
• 복잡도 항: 표준 IB의 $I(X; T)$ 대신, GIB는 **상호 정보량(Interaction Information, II)**에 기반한 특징별 시너지 분해를 사용한다. 이는 재가중치된 분포 $Q$에 대해 개별 특징 또는 그 보수(complement)로부터 얻을 수 있는 평균 정보를 측정한다.
  • 가중치 재설정: 분포 $Q(Z, Y)$는 $Q(Z, Y) = \frac{P(Z, Y)}{P(Z)P(Y)}$로 정의된다. 이 PMI 기반 재가중치는 예측과 타겟이 우연보다 더 자주 함께 발생하는 샘플에 우선순위를 두며, 결과적으로 복잡도 항이 올바른 예측에 집중되도록 한다.
  • 시너지 분해: 복잡도 항은 다음과 같이 공식화된다:
    $$\frac{1}{2\beta N} \sum_{i=1}^{N} \left( I(X_{-i}; Q) + I(X_i; Q) \right)$$
    여기서 $X_{-i}$는 $i$번째 특징을 제외한 나머지 모든 특징을 나타낸다. 이 공식은 모델이 개별 특징에 크게 의존하는 표현을 억제하고, 오직 집합적인 특징 상호작용으로부터만 나타나는 패턴을 학습하도록 유도한다.

최종 GIB 목적 함수는 다음과 같다:
$$L_{GIB} = \max_{p(Z|X)} \left[ I(Z; Y) - \frac{1}{2\beta N} \sum_{i=1}^{N} \left( I(X_{-i}; Q) + I(X_i; Q) \right) \right]$$

3. 이론적 특성

• 상한(Upper Bound): 저자들은 완벽한 추정(완벽한 훈련 정확도)을 가정할 때, 원래의 IB 목적 함수가 GIB에 의해 상한이 됨을 증명한다. 이는 기존 IB 이론과의 호환성을 보장한다.
• 무한대 처리: 표준 IB에서는 연속 공간에서의 결정론적 매핑으로 인해 무한한 복잡도 항이 발생하지만, GIB의 복잡도 항은 해석 가능한 상황에서 무한해지는 것을 방지한다. GIB에서의 무한값은 "완벽한 시너지"(전체 특징 세트가 타겟을 재구성하는 데 필요하지만, 어떤 부분 집합도 충분하지 않은 상태)를 의미하며, 부정형($\infty - \infty$)은 시너지의 부재를 나타낸다.

주요 결과

저자들은 다양한 아키텍처와 태스크에 걸쳐 GIB를 검증하였으며, GIB가 표준 IB가 실패하는 지점에서 일관되게 압축 단계를 보여준다는 것을 입증하였다.

1. 활성화 함수: Saxe et al. (2019)을 확장하여 softplus, swish, leaky ReLU를 포함한 실험에서, 표준 IB는 tanh 활성화 함수에서만 압축을 보였다. 반면, GIB는 테스트된 모든 활성화 함수에서 명확한 압축 단계를 보여주었다.
2. 단순 함수: 수학적 함수(덧셈, 곱셈, 대칭 다항식)를 학습하는 신경망에 대해, GIB 궤적은 뚜렷한 적합(fitting) 및 압축 단계를 보여준 반면, 표준 IB는 명확한 압축 없이 가변적인 동작을 보였다.
3. 심층 아키텍처 (ResNets): ReLU 활성화 함수를 사용하는 다양한 깊이(20~110 레이어)의 ResNet에 대한 CIFAR-10 실험에서, 표준 IB는 압축을 보여주지 못했다. 그러나 GIB는 일관되게 압축 단계를 보여주었으며, 그 역동성은 네트워크 깊이에 따라 예측 가능하게 변화했다.
4. 트랜스포머 (BERT): AG News에 대한 BERT 파인튜닝에서, GIB는 해석 가능한 학습 역동성을 드러냈다. 특히, "언러닝(unlearning)" 개입(무작위 라벨로 학습)은 모델을 정보 평면상의 유리한 초기화 지점으로 리셋시켰으며, 그 지점으로부터 일관된 학습 궤적이 나타났다. 표준 IB는 이러한 역동성을 명확히 포착하지 못했다.
5. 적대적 강건성 (Adversarial Robustness): GIB 복잡도 항은 적대적 취약성을 나타내는 민감한 지표 역할을 했다. 강력한 FGSM 공격 하에서, 표준 IB 복잡도 항은 공격 강도 간의 차이를 거의 보여주지 못한 반면, GIB 복생도 항은 높은 값(낮은 일반화 성능을 의미)을 유지하며 차이를 드러냈다.
6. 추정에 대한 강건성: 발견된 결과들은 커널 밀도 추정(KDE) 및 가우시안 코퓰라 MI(GCMI)를 포함한 대안적인 상호 정보량(MI) 추정기를 사용하여 검증되었으며, 이를 통해 관찰된 역동성이 주요 실험에서 사용된 특정 빈닝(binning) 방법의 인위적인 결과가 아님을 확인하였다.

의의 및 주장

본 논문은 GIB 프레임워크가 기존 IB 이론의 근본적인 한계를 해결한다고 주장한다:

• ReLU 역설의 해결: GIB는 왜 ReLU 네트워크가 표준 IB가 예측하는 압축 단계를 갖지 않음에도 불구하고 잘 일반화되는지를 설명한다. 전체 정보 흐름이 아닌 시너지에 초점을 맞춤으로써, GIB는 결정론적 네트워크의 학습 역동성을 포착한다.
• 해석 가능성: 이 프레임워크는 딥 네트워크가 정보를 처리하는 방식에 대해 더 완전한 그림을 제공하며, 중복된 학습과 시너지적인 학습을 구분한다. 이는 적대적 강건성 및 초기화 전략의 효과를 포함하여 모델 행동에 대한 새로운 통찰을 제공한다.
• 이론적 일관성: GIB가 완벽한 추정 하에서 원래의 IB를 상한한다는 것을 증명함으로써, 저자들은 GIB를 단순한 대체물이 아니라, 실질적인 제약을 극복하면서도 IB의 이론적 토대를 유지하는 필수적인 일반화 모델로 위치시킨다.

저자들은 입력을 시너지적으로 결합하는 법을 배우는 것이 강력한 일반화를 위한 근본적인 메커니즘이며, GIB가 이 과정을 관찰하고 정량화하는 데 필요한 이론적 및 경험적 도구를 제공한다고 결론짓는다.