A Fiber Criterion for Representation Identifiability in Supervised Learning

기술 요약: 지도 학습에서의 표현 식별 가능성을 위한 파이버 기준 (A Fiber Criterion for Representation Identifiability in Supervised Learning)

문제 정의
지도 학습에서 모델은 일반적으로 입력-출력 동작(예측 정확도 또는 리스크)을 기준으로 평가됩니다. 그러나 현대의 모델들은 단순히 예측기(predictor)로서가 아니라, 내부 매핑 $h$가 압축, 불변성, 분리성(disentanglement), 또는 의미론적 접근성(semantic accessibility)과 같은 특정 구조적 특성을 갖는다고 주장되는 '표현 학습기(representation learner)'로 해석되곤 합니다. 본 논문은 근본적인 간극을 식별합니다: 지도 학습의 증거는 합성 예측기 $f = c \circ h$ (여기서 $h$는 입력을 표현으로 매핑하고, $c$는 표현을 출력으로 매핑함)를 제약하지만, 해당 예측기를 실현하는 구체적인 인수분해 $(h, c)$를 결정하지는 않습니다.

두 개의 서로 다른 인수분해는 정확히 동일한 예측기 $f$를 유도하면서도, 실질적으로 매우 다른 내부 표현을 가질 수 있습니다. 예를 들어, 한 표현은 불필요한 정보(nuisance information)를 폐기할 수 있는 반면, 다른 표현은 이를 유지할 수 있습니다. 또한 한 표현은 압축되어 있을 수 있지만, 다른 표현은 그렇지 않을 수도 있습니다. 본 논문은 다음과 같은 질문을 공식화합니다: 내부 표현 $h$의 어떤 속성들이 유도된 예측기 $c \circ h$에 의해 유일하게 결정되는가? 저자들은 추가적인 가정이 없다면, 일반적인 표현 수준의 주장들은 지도 학습의 예측 동작만으로는 식별될 수 없다고 주장합니다.

방법론 및 이론적 프레임워크
본 논문은 표현-헤드 쌍의 공간 내에 있는 파이버(fibers) 개념을 기반으로 한 공식적인 식별 가능성 프레임워크를 통해 이 문제에 접근합니다.

1. 예측기 동등성 및 파이버 (Predictor Equivalence and Fibers):
   $\mathcal{M}$을 허용 가능한 표현-헤드 쌍 $(h, c)$의 클래스라고 합시다. 논문은 투영 사상 $\Pi: \mathcal{M} \to \Pi(\mathcal{M})$를 정의하며, 여기서 $\Pi(h, c) = [c \circ h]_{P_X}$는 $P_X$-거의 확실한(almost-sure) 동등성 하에 식별된 유도된 예측기를 나타냅니다.

   • 두 쌍 $(h, c)$와 $(\tilde{h}, \tilde{c})$는 **예측기 동등(predictor-equivalent)**합니다. 즉, 이들이 동일한 예측기를 유도한다면 ($c \circ h = \tilde{c} \circ \tilde{h}$ almost surely), 두 쌍은 동등합니다.
   • 동일한 예측기를 유도하는 모든 쌍의 집합은 $\Pi$의 하나의 **파이버(fiber)**를 형성합니다.

2. 파이버/하강 기준 (The Fiber/Descent Criterion):
   중심적인 이론적 결과(정리 3.3)는 표현 식별 가능성에 대한 필요충분조건을 확립합니다:

   • 표현 속성 $P$가 유도된 예측기로부터 **식별 가능하다(identifiable)**는 것은 $P$가 $\Pi$의 모든 파이버 상에서 **상수(constant)**인 것과 동치입니다.
   • 동치적으로, $P$는 예측기 자체의 잘 정의된 속성으로 **하강(descend)**해야 합니다. 만약 $P$가 단일 파이버 내에서 변한다면 (즉, 두 가지 인수분해가 동일한 예측기를 생성하지만 $P$에 대해서는 서로 다른 값을 가진다면), $P$는 예측기만으로는 추론될 수 없습니다.

3. 증강 장애 (The Augmentation Obstruction):
   비식별성을 입증하기 위해, 논문은 **예측기 보존 증강(predictor-preserving augmentation)**이라는 정형화된 구성을 도입합니다.

   • 인수분해 $(h, c)$와 보조 통계량 $q(x)$가 주어졌을 때, 새로운 표현 $h_q(x) = (h(x), q(x))$와 새로운 헤드 $c_q(u, v) = c(u)$를 구성할 수 있습니다.
   • 새로운 헤드는 추가된 좌표 $q$를 무시하며, 따라서 $c_q \circ h_q = c \circ h$가 점별(pointwise)로 성립합니다. 예측기와 지도 리스크는 변하지 않습니다.
   • 그러나 새로운 표현 $h_q$는 최소성, 압축, 불변성 또는 의미론적 접근성과 같은 속성에서 $h$와 다를 수 있습니다.
   • 정리 3.5 (증강 장애): 만약 모델 클래스 $\mathcal{M}$이 예측기 보존 증강에 대해 닫혀 있다면, 이러한 증강이 적용될 때 변화하는 모든 표현 속성은 유도된 예측기로부터 식별 가능하지 않습니다.

4. 식별 가능성 회복 (Restoring Identifiability):
   논문은 허용 가능한 클래스 $\mathcal{M}$을 제한함으로써(예: 구조적 제약, 병목 현상, 혹은 유도 편향을 통해) 식별 가능성을 회복할 수 있음을 언급합니다(예: "나쁜" 증강을 배제하거나, 보조 손실, 다중 환경, 혹은 직접적인 측정을 추가하는 방식).

주요 기여

• 표현 식별 가능성의 공식화: 본 논문은 유도된 예측기에 기초하여 표현 수준의 식별 가능성을 엄격하게 정의하며, 이를 잠재적 생성 요인의 통계적 식별 가능성과 구분합니다.
• 파이버/하강 기준: $P$가 식별 가능하려면 $P$가 표현-예측기 사이의 투영으로부터의 파이버 상에서 상수여야 한다는 엄밀한 수학적 기준을 제공합니다(정리 3.3).
• 일반적 장애 메커니즘: 예측기 보존 증강을 비식별성을 나타내는 보편적인 증거로 식별하였으며, 이는 최소성, 압축, 불변성, 등변성(equivariance), 불필요한 정보 제거, 의미론적 접근성 등 흔히 사용되는 요구사항들에 적용됩니다(표 1).
• 경험적 진단: 논문은 두 가지 유형의 경험적 증거를 제공합니다:
  1. 정확한 대수적 증거(Exact Algebraic Witnesses): CelebA, CIFAR-10, STL-10, OfficeHome, PACS 실험에서 보조 정보(의미론적 속성, 변환 임베딩, 도메인 레이블)를 표현에 추가했습니다. 결과는 예측기는 동일하게 유지되지만(불일치 0), 표준 진단 지표(프로브 정확도, 불변성 거리, 유효 랭크 등)는 급격히 변한다는 것을 보여줍니다.
  2. 매칭된 성능 연구 (Matched-Performance Study): 서로 다른 제약 조건(ERM, Bottleneck, VIB, AugInv, SupCon)으로 훈련된 모델들을 비교한 Waterbirds 데이터셋 연구입니다. 결과는 유사한 지도 성능을 달-성하더라도, 모델들이 서로 다른 표현 진단 값(예: 유효 랭크, 불필요한 정보 해독 가능성)을 선택함을 보여줍니다. 이는 예측 성능과 불필요한 정보 해독 가능성이 반드시 단조 상관관관계를 갖지 않음을 시사합니다.

결과

• 이론적 결과: 본 논문은 압축, 불변성, 의미론적 접근성과 같은 속성들이 지도 학습의 예측만으로는 발생하는 결과가 아님을 증명합니다. 이들은 유도된 예측기의 파이버 내에서 변하며, 따라서 클래스가 제한되지 않는 한 식별 불가능합니다.
• 경험적 결과:
  • 증거 실험에서, 표현에 단 하나의 좌표(예: 도메인 레이블)를 추가하는 것만으로도 프로브가 해당 정보를 100% 정확도로 해독할 수 있게 되었으나, 원래의 표현은 이를 해독할 수 없었습니다. 이때 예측기의 출력은 변하지 않았습니다.
  • Waterbirds 연구에서, 테스트 정확도가 일치하는 모델들 사이에서도 표현 속성은 크게 갈렸습니다. 예를 들어, Information Bottleneck 방법은 매우 낮은 랭크의 표현(유효 랭크 $\approx 1.8$)을 선택한 반면, ERM은 높은 랭크(유효 랭크 $\approx 35.7$)를 유지했습니다. 또한, 증강-불변성(augmentation-invariance) 방법은 변환 민감도는 줄였지만 불필요한 정보 해독 능력은 유지했습니다. 결정적으로, 최악의 그룹 정확도(worst-group accuracy)는 불필요한 정보 프로브 정확도와 단조 상관관계를 보이지 않았습니다.

의의 및 주장
본 논문은 지도 학습의 예측 동작과 내부 표현 속성 사이의 논리적 관계를 명확히 한다는 점에서 의의가 있습니다. 주요 기여는 지도 학습의 충분성에 대한 **부정적 결과(negative result)**입니다:

• 지도 학습의 예측 동작은 그 속성이 유도된 예측기에 의해 결정될 때만 표현 수준의 속성을 보증합니다.
• 압축, 불변성, 또는 의미론적 구조에 대한 주장은 낮은 지도 손실(low supervised loss)의 자동적인 결과가 아닙니다.
• 이러한 주장을 정당화하기 위해서는 예측기 이상의 추가적인 구조(예: 구조적 제약, 정규화, 병목 현상, 데이터 증강, 보조 목적 함수, 인과적 가정, 또는 직접적인 표현 수준 측정)에 의존해야 합니다.

결론적으로, 표현 수준의 식별 가능성은 허용 가능한 인수분해 클래스에 따라 조건부로 결정됩니다. 예측기 파이버를 축소하거나 특정 대표자를 선택하는 제약이 없다면, 지도 학습 모델의 내부 구조는 입력-출력 동작만으로는 과소 결정(under-specified)된 상태로 남게 됩니다.