기술적 요약: 사용 가능한 정보를 통한 기능적 유사성과 표현적 유사성의 연결

문제 제기

딥러닝 분야는 서로 다른 시스템이 정보를 처리하고, 지식을 전이하며, 구조를 조직화하는 방식을 이해하기 위해 내부 신경 표현을 비교하는 데 크게 의존합니다. 그러나 현재 문헌은 표현 간의'유사성'을 정의하고 측정하기 위한 통합된 프레임워크가 부족합니다. 기존 접근법은 일반적으로 두 가지 느슨하게 정의된 범주로 이분화되어 있습니다:

1. 기능적 유사성 (Functional Similarity): 표현이 동일한 하류 행동 (예: 모델 스티칭 또는 선형 프로브를 통한) 을 지원하는지 평가합니다.
2. 표현적 유사성 (Representational Similarity): 표현이 입력 정보를 동일한 구조적 방식으로 인코딩하는지 평가합니다 (예: CKA, RSA, 또는 프로크루스테스 분석을 통한).

이러한 개념들은 고립적으로 연구되어 왔으며, 이로 인해 작업 성능에 초점을 맞춘 기능적 방법과 특징 공간 정렬에 초점을 맞춘 기하학적 지표 간의 단절이 발생했습니다. 또한, 표준 지표들은 종종무엇이 실제로 비교되고 있는 정보인지, 또는 관찰자 (예측 모델) 의 용량이 측정에 어떻게 영향을 미치는지에 대한 엄밀한 이론적 근거가 부족합니다.

방법론

저자들은 **사용 가능한 정보 이론 (Usable Information Theory, Xu et al., 2020)**에 기반한 통합 프레임워크를 제안합니다. 이 이론은 정보 흐름을 특정'예측 계열 (predictive family)'$\mathcal{V}$로 제한하여, 표현 내의 모든 통계적 의존성이 제한된 용량을 가진 하류 모델에 의해 활용 가능한 것은 아님을 인정합니다.

이론적 프레임워크

이 논문은 **조건부 상호 정보 (conditional mutual information)**와 **마크로브 블랭킷 (Markov blankets)**의 관점을 통해 유사성을 재정의합니다:

• 기능적 유사성: 두 표현 $Z_1$과 $Z_2$가 작업 $Y$에 대해 상호 마크로브 블랭킷을 형성할 때 기능적으로 유사합니다. 이는 $I(Y; Z_2 | Z_1) = I(Y; Z_1; Z_2) = 0$을 의미합니다. 저자들은 이를 추정하는 메커니즘으로 **모델 스티칭 (Model Stitching)**을 공식화합니다: $Z_1$을 성능 손실 없이 $Z_2$에 스티칭할 수 있다면, $Z_1$은 $Z_2$의 모든 작업 관련 정보를 포함합니다. 핵심적으로, 저자들은 이 관계가 본질적으로 비대칭적임을 증명합니다. 강력한 기능적 유사성을 위해서는 양방향 스티칭이 필요합니다.
• 표현적 유사성: 작업 $Y$가 입력 $X$ 자체인 경우 ($I(X; Z_2 | Z_1) = 0$) 의 기능적 유사성으로 정의됩니다. 이는 표현들이 입력에 대해 동일한 정보를 포함함을 의미합니다.
• 세분성의 위계 (Hierarchy of Granularity): 저자들은 복잡한 작업에서의 유사성이 더 거친 파생 작업에서의 유사성을 보장한다는 단조 관계를 확립합니다. 결과적으로, 표현적 유사성 (입력 재구성) 은 가장 강력한 조건으로, 모든 파생 작업에 대한 기능적 유사성을 보장합니다.

실증적 방법론

이러한 이론적 주장을 검증하기 위해 저자들은 대규모 실증 연구를 수행했습니다:

• 규모: 14 가지 서로 다른 아키텍처 (선형, ResNet, DenseNet, ShuffleNet, MobileNet 과 같은 CNN 포함) 와 6 가지 데이터셋 (MNIST, CIFAR-10/100, SVHN, Tiny-ImageNet, ImageNet) 에 걸쳐 훈련된 58 개의 모델.
• 비교: 12,459 개의 서로 다른 레이어 간 비교.
• 스티칭 계열: 표현력 영향을 테스트하기 위해 세 가지 특정 스티처 (예측 계열 $\mathcal{V}$) 계열을 사용:
  1. 아핀 (Affine): 제약 없는 선형 맵.
  2. 직교 + 등방성 스케일링 (Orthogonal + Isotropic Scaling): 프로크루스테스 유사 제약.
  3. 직교 (Orthogonal): 엄격한 회전 제약.
• 지표: 저자들은 표준 지표 (CKA, RSA, SVCCA) 를 제안된 사용 가능한 정보 기반 점수 (정규화 재구성 오차) 와 비교했습니다.

주요 기여

1. 사용 가능한 정보를 통한 통합 프레임워크: 이 논문은 모델 스티칭을 사용 가능한 조건부 상호 정보와 이론적으로 연결합니다. 기능적 유사성이 절대적 속성이 아니라 예측 계열 $\mathcal{V}$의 용량에 상대적으로 정의됨을 보여줍니다.
2. 표준 지표의 재해석: 저자들은 실증적 및 이론적으로 표준 기하학적 지표 (CKA, RSA, 프로크루스테스) 가 임의적인 측정이 아니라 특정 제약 (예: 직교 변환) 하의 사용 가능한 정보에 대한 특정 추정치임을 보여줍니다.
3. 유사성의 위계:
   • 비대칭성: 스티칭이 본질적으로 비대칭적임을 증명합니다. 단일 방향 스티처만으로는 기능적 유사성을 주장하기에 부족합니다.
   • 충분성과 필요성: 표현적 유사성이 기능적 유사성에 대한 충분하지만 필요하지 않은 조건임을 보여줍니다. 표현들은 기능적으로 유사할 수 있습니다 (동일한 작업 해결). 반면 표현적으로 구별될 수 있습니다 (다른 노이즈 변수 인코딩).
   • 작업 세분성: 표현적 유사성 (입력 재구성) 이 최대 세분성의 한계이며, 모든 더 거친 작업에 대한 기능적 유사성을 보장함을 확립합니다.

실험 결과

• 스티칭 비대칭성: 12,459 쌍에 대한 분석은 순방향 및 역방향 스티처 간의 정확도 차이의 heavy-tailed 분포를 드러냈으며, 기능적 유사성이 빈번하게 비대칭적임을 확인했습니다. 한 표현이 다른 표현의 정보를 포함하는 경우가 종종 역방향은 그렇지 않은 경우가 많습니다.
• 표현적 유사성의 단조성: 연구는 예측 계열이 더 표현적이 될수록 표현적 유사성 점수가 증가함을 검증했습니다. 엄격한 프로크루스테스 제약 (직교) 하에서 구별되어 보였던 표현들이 더 표현력 있는 아핀 변환 하에서는 거의 동일하게 나타나는 경우가 많았습니다.
• 지표 정렬: 표준 지표는 제안된 사용 가능한 정보 점수와 강한 상관관계를 보였습니다. 구체적으로, CKA ($R^2=0.937$) 와 RSA ($R^2=0.912$) 는 직교 + 스케일링 스티처에서 유도된 표현적 유사성과 밀접하게 정렬되어, 이러한 지표들이 특정 변환군 하에서 사용 가능한 정보의 대리 지표 (proxy) 로 작용한다는 가설을 지지했습니다.
• 위계 검증: CIFAR-100 (세부 클래스 vs. 거친 상위 클래스) 을 사용하여, 저자들은 거친 작업에 대한 기능적 유사성이 일관되게 세부 작업에 대한 유사성의 상한선임을 확인했습니다.
• 표현적 유사성의 충분성: 표현적 유사성이 1.0 에 가까워질수록 기능적 유사성의 확률은 1.0 으로 수렴했습니다. 그러나 낮은 표현적 유사성에서도 높은 기능적 유사성이 빈번하게 관찰되어, 표현적 유사성이 필요 조건이 아님을 확인했습니다.

중요성과 주장

이 논문은 기능적 유사성과 표현적 유사성을 모두 사용 가능한 정보 이론에 기반하여 연결함으로써 두 개념 간의 단절을 해소했다고 주장합니다. 저자들은 유사성이 표현 자체의 고유한 속성이 아니라, 이를 비교하는 데 사용되는 예측 계열의 계산적 제약에 상대적이라고 주장합니다.

이러한 개념들을 통합함으로써, 이 논문은 표준 지표들이 왜 작동하는지 그리고 어떤 조건에서 실패하는지에 대한 엄밀한 이론적 근거를 제공합니다. 이는'보편적'유사성 지표를 찾는 패러다임에서, 특정 응용 프로그램에 대해'유사함'을 의미하는 예측 계열 $\mathcal{V}$를 명시적으로 정의하는 패러다임으로 전환시킵니다. 이 연구는 표현적 유사성이 모든 작업에 대한 기능적 유사성을 보장하지만 그 역은 성립하지 않는다고 결론지으며, 모델들이 근본적으로 다른 내부 표현을 통해 동일한 작업 성능을 달성할 수 있음을 강조합니다.