기술 요약: 표현 동치류(Representation Equivalence Classes)에 대한 교사 감독

1. 문제 제기

지식 증류(Knowledge Distillation)는 전통적으로 교사 모델의 무엇을 매칭할 것인가의 문제로 프레임화되어 왔다: 로짓(출력 분포), 은닉 특징(hidden features), 또는 샘플 간 관계(sample relations). 이러한 프레임화는 교사의 표현이 학생이 직접 매칭할 수 있는 "절대 좌표"를 가지고 있다는 전제를 내포한다.

본 논문은 이 전제가 근본적으로 결함이 있다고 주장한다. 사전 학습된 표현은 고정된 행렬이 아니라, **직교 및 등방성 스케일링 동치류(orthogonal-and-isotropic-scaling equivalence class)**에 대해서만 식별 가능한 존재이다. 왜냐하면 다운스트림 "리더(reader)"(가중치)는 네트워크의 출력 함수를 변경하지 않으면서 표현의 회전이나 스케일링을 흡수할 수 있기 때문에, 특징 벡터의 구체적인 좌표는 본질적인 의미를 갖지 않는다. 결과적으로, 교사의 특징을 "기저(basis) 대 기저" 방식으로 매칭하려는 시도는 부적절한(ill-posed) 목적 함수가 된다. 본 논문은 역량(capability)(예: 퍼플렉시티, Top-1 정확도)이 표현 자체의 속성이 아니라, 표현의 동치류, 즉 출력 함수의 불변량(invariant)이라고 상정한다.

2. 방법론 및 이론적 프레임워크

2.1 동치류로서의 표현

저자들은 레이어 활성화 값인 표현 $H$를 고정된 행렬이 아니라, 군 $G = O(d) \times \mathbb{R}^+$ (직교 회전 및 등방성 스케일링) 작용 하의 궤도(orbit)로 정의한다.

• 가정 2.1 (흡수 가능한 재매개변화): 표현에서의 임의의 좌표 변화 $h \mapsto c h Q$는 그에 대응하는 다운스트림 가중치의 변화 $W_{in} \mapsto c^{-1} Q^\top W_{in}$에 의해 상쇄될 수 있으며, 이는 네트워크 함수 $f$를 변경하지 않는다.
• 명제 2.1 (절대적 매칭의 부적절성): 함수가 이 군 작용에 대해 불변하기 때문에, 절대적 좌표 간의 거리(예: $\|H_T - H_S\|_F$)를 최소화하는 손실 함수는 부적절하다. 이는 함수를 보존하는 재매개변화를 처벌하며, 그 최솟값은 동치류 내의 임의적인 대표 선택에 의존하게 된다.

2.2 몫 공간(Quotient Space)과 역량

논문은 두 가지 몫 공간을 구분한다:

1. 표현 몫 공간 ($\pi_{rep}$): 표현 $H$만을 단독으로 동치류 $[H]$로 축소한다. 여기서의 불변량은 그램 행렬(Gram matrix), CKA(Centered Kernel Alignment), 그리고 주각(principal angles)이다. 이들은 기하학적 유사성을 측정하지만, 출력 함수를 결정하지는 않는다.
2. 결합 몫 공간 ($\pi_{joint}$): 쌍 $(H, \theta_{downstream})$을 함께 축소한다. 출력 함수 $f$는 이 결합 몫 공간 위에서 잘 정의된 함수이다.

명제 3.2는 역량이 결합 몫 공간 위에 정의된 클래스 불변량임을 확립한다. 따라서, 증류 목적 함수는 이 몫 공간 상의 출력 함수 불변량을 목표로 할 때만 역량을 전달할 수 있다.

2.3 증류 목적 함수의 분류

몫 프레임워크를 바탕으로, 논문은 증류 손실을 세 가지 범주로 분류한다:

• (A) 관계 매칭 (Relational Matching): 표현 몫 공간을 목표로 한다 (예: CKA, 정규화된 그램). 이들은 기저 불변(basis-invariant)이지만, 리더의 좌표계를 무시하기 때문에 그 자체로는 역량을 전달하지 못한다.
• (B) 정렬 후 매칭 (Align-then-Match): 정렬 맵(예: 프로크루스테스 회전 또는 저용량 선형 맵 $W$)을 추정하여 클래스 내의 대표를 고정한 후, 절대 좌표를 매칭한다. 이는 좌표 특정적 특징 소비(예: 그래프팅/grafting)가 필요한 작업에는 필요하지만, 정렬 노이즈를 유발한다.
• (C) 로짓 증류 (Logit Distillation): 출력 분포를 매칭함으로써 결합 몫 공간을 직접 목표로 한다. 출력은 이미 결합 클래스의 함수이므로, 이 목적 함수는 올바른 몫 공간 위에 자연스럽게 정의되며 별도의 정렬 단계가 필요하지 않다.

3. 주요 기여

1. 기하학적 재구성: 교사 감독을 "특징 매칭"에서 "표현 동치류 전달"로 재구성하였다. 역량을 표현 행렬의 속성이 아닌 출력 함수라는 클래스 불변량으로 식별하였다.
2. 부적절성 증명: 절대적 특징 매칭이 단일 기능적 파이버(functional fiber) 내의 점들을 분리하고 유효한 재매개변화를 처벌하기 때문에 부적절함을 공식적으로 증명하였다.
3. 손실 분류 체계: 특징 매칭, 관계 증류, 정렬, 그리고 그래프팅을 클래스 구조의 어느 부분을 고정하는지에 따라 구분하는 통합된 기하학적 설명을 제공하였다.
4. 경험적 검증: Qwen2.5 및 Llama-3.1에 대한 제어된 복구 및 교차 너비 증류 실험을 통해 역량 전달 메커니즘을 분리해 냈다.

4. 실험 결과

4.1 복구 연구 (Qwen2.5, Llama-3.1)

저자들은 교사 모델의 일부 레이어를 재초기화하여 손상시킨 후, 다양한 목적 함수를 사용하여 이를 복구하려고 시도했다.

• 결과 1: 기저 불변 관계 손실($L_{CKA}$)만으로 훈련했을 때, 표현의 기하학적 구조는 성공적으로 복구되었으나(CKA $\approx$ 0.99), 역량 복구에는 실패했다 (퍼플렉시티 비율 $10^2$–$10^4$ 악화, Top-1 $\approx$ 0).
• 결과 2: 로짓 손실($L_{logit}$)만으로 훈련했을 때, 은닉 표현을 정렬하지 않고도(CKA는 낮게 유지됨) 역량을 거의 완벽하게 복구했다 (퍼플렉렉시티 비율 $\approx$ 1.01, Top-1 $\approx$ 0.98).
• 결론: 표현을 정렬하는 것과 함수를 복구하는 것은 거의 직교하는 작업이다. 역량은 오로지 출력 함수 항에 의해 구동된다.

4.2 가중치 타이잉(Weight Tying)의 역할

• 입출력 임베딩이 결합된(tied) 모델(Qwen2.5-0.5B)에서는 출력 헤드가 고정되어 있으므로, 로짓 매칭만으로 함수를 복구하기에 충분하다.
• 언타이드 헤드(untied heads)를 가진 모델(Qwen2.5-7B, Llama-3.1-8B)에서는, 역량을 복구하기 위해 로짓 손실과 함께 출력 헤드를 명시적으로 훈련해야 했다. 이는 "리더"가 새로운 표현의 좌표계에 맞춰 정렬되어야 함을 확인시켜 준다.

4.3 교차 너비 증류 (Cross-Width Distillation)

실제 교차 너비 증류 설정(교사: 1.5B, 학생: 0.5B)에서:

• 특징 전용 매칭(학습된 투영 $W$를 사용하더라도)은 학생 모델을 **붕괴(collapse)**시켰다 (퍼플렉시티 $> 10^6$).
• 로짓 전용 매칭은 학생의 성능을 보존하거나 약간 향상시켰다.
• 로짓 매칭에 특징 항을 추가하는 것은 이득을 주지 못했으며, 종종 약간 해로웠다.
• 최적으로 해결된 정렬 맵을 사용한 대리 실험은 특징 전용 감독이 구조적으로 실패함을 확인시켜 주었다.

4.4 그래프팅(Grafting) 및 부분 공간 중첩

본 논문은 모듈 그래프의 성공이 도너(donor)와 호스트(host) 사이의 경계 부분 공간 중첩(CKA 또는 프로크루스테스 잔차로 측정)에 의해 결정됨을 검증한다. 높은 중첩은 필요조건이지만 충분조건은 아니다; 출력 레이어 근처의 그래프는 작은 불일치에도 민감하기 때문에 높은 중첩에도 불구하고 실패할 수 있다.

5. 의의 및 주장

본 논문은 증류가 "기저(basis) 내에서 일어난다"는 직관이 "정신적으로는 맞지만 글자 그대로는 틀렸다"고 주장한다.

• 핵심 주장: 교사 감독은 좌표가 아니라 동치류를 목표로 해야 한다. 역량은 출력 함수 불변량을 통해 전달된다.
• 실무적 시사점: 역량 전달을 위해서는 로짓 매칭이 올바른 몫 공간 위에 정의된 유일한 목적 함수이다. 특징 매칭(관계적 또는 정렬된 방식 포함)은 기하학적 구조를 전달하거나 그래프와 같이 좌표 정렬이 명시적으로 요구되는 특정 작업에는 유용할 수 있으나, 역량 전달에는 불충분하다.
• 범위 제한: 논문은 증류가 복제이지 창조가 아님을 강조한다. 증류는 훈련 코퍼스에 의해 커버된 범위 내에서 교사의 출력 함수를 전달한다. 교사의 기존 함수를 넘어서는 새로운 역량을 생성하거나, 토크나이저가 일치하지 않는 교차 패밀리 간의 전이를 해결한다고 주장하지 않는다.

논문은 다음과 같이 결론짓는다: "교사가 아는 것은 클래스 안에 살고, 전달되는 것은 목적 함수와 코퍼스가 실제로 타겟팅하는 그 클래스의 부분이다."