🤖 AI

Relational Representation Distillation

본 논문은 표준 KL 발산의 한계와 지나치게 엄격한 대조 학습의 한계를 극복하기 위해 별도의 온도 파라미터를 사용하여 인스턴스 간의 상대적 관계를 보존하는 새로운 지식 증류 방법인 관계적 표현 증류(Relational Representation Distillation)를 제안하며, 이를 통해 다양한 전이 작업에서 우수한 성능을 달성한다.

원저자: Nikos Giakoumoglou, Tania Stathaki

게시일 2026-07-30

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Nikos Giakoumoglou, Tania Stathaki

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

세상의 모든 책이 담긴 거대한 도서관처럼 똑똑한 컴퓨터들이 존재하는 세상을 상상해 보세요. 이들은 문제를 해결하고, 얼굴을 인식하며, 놀라운 정확도로 세상을 이해할 수 있습니다. 하지만 여기에는 함정이 있습니다. 이 도서관들이 너무나 거대하고 무거워서 여러분의 배낭은커녕 스마트폰에도 들어갈 수 없다는 점입니다. 이들은 운영되기 위해 엄청난 양의 전기와 강력한 하드웨어를 필요로 합니다. 이것이 현대 인공지능의 과제입니다. 어떻게 하면 이 거대한 "스승(teacher)" 모델의 지식을 아주 작고 가벼운 "학생(student)" 모델로 압축하여 어디에서나 실행할 수 있게 만들 것인가 하는 문제입니다.

이를 위해 과학자들은 **지식 증류(Knowledge Distillation)**라는 기술을 사용합니다. 이것은 마치 숙련된 요리사가 젊은 견습생을 가르치는 것과 같습니다. 스승은 견습생에게 단순히 최종 레시피(정답)만을 주는 것이 아니라, 요리의 '느낌'을 보여줍니다. 만약 스승이 "이 수프는 닭고기 맛이 약간 나면서도 허브 향이 은은하게 느껴지는구나"라고 말한다면, 견습생은 단순히 그것이 "수프"라는 사실을 배우는 것이 아니라 그 미묘한 차이를 배우게 됩니다. 컴퓨터의 관점에서 보면, 스승 모델은 단순히 "이것은 고양이입니다"라고 말하는 데 그치지 않고, "이것은 개와 매우 비슷하지만, 비행기와는 다릅니다"라고 속삭여 줍니다. 이 "속삭임"은 학생 모델이 사물 사이의 미묘한 관계를 학습하는 데 도움을 줍니다. 하지만 최근의 시도들은 이러한 관계를 가르칠 때 너무 엄격했습니다. 마치 "너는 고양이고, 저 개는 고가 아니니, 둘 사이를 멀리 떨어뜨려 놓아라!"라고 소리치는 선생님처럼 말이죠. 이는 학생이 고양이와 개가 사실 둘 다 동물이며 어느 정도 유사해야 한다는 사실을 잊게 만듭니다.

여기서 임페리얼 칼리지 런던(Imperial College London) 연구진의 새로운 논문이 **관계적 표현 증류(Relational Representation Distillation, RRD)**라는 참신한 아이디어와 함께 등장합니다. 연구진은 학생 모델에게 모든 개별 객체 사이의 정확한 거리를 암기하도록 강요하는 대신, 사물들의 상대적인 순서를 가르치는 것이 더 낫다는 것을 깨달았습니다. 교실을 상상해 보세요. 선생님은 단순히 "여기에 앉으렴"이라고 말하는 대신, "개보다는 가깝게 앉되, 고양이보다는 멀게 앉으렴"이라고 말합니다. 연구진은 학생의 학습을 더 날카롭고 집중적으로 만들기 위해 특별한 "온도(temperature)" 설정을 사용함으로써, 혼란 없이 이러한 중요한 관계들을 보존할 수 있다는 것을 발견했습니다. 이들의 실험은 이 방법이 작은 학생 모델이 훨씬 더 잘 학습하도록 돕고, 때로는 거대한 스승 모델만큼이나 뛰어난 성능을 내면서도 "배낭"을 가볍고 효율적으로 유지할 수 있음을 보여줍니다.

너무 엄격함이 초래하는 문제

오랫동안 학생 모델을 가르치는 가장 좋은 방법은 **대조 학습(Contrastive Learning)**이라 불리는 방법을 사용하는 것이었습니다. 이것은 친구들과는 가까이 두고 낯선 이들은 밀어내는 것을 목표로 하는 의자 뺏기 게임과 같습니다. 이 게임에서 컴퓨터가 고양이 사진을 가지고 있다면, '고양이'의 표현을 다른 '개'나 '비행기' 사진과는 매우 멀리 떨어뜨리고 다른 '고양이' 사진과는 매우 가깝게 만들려고 노력합니다.

저자들이 지적하듯, 이 게임은 다소 지나치게 격렬해질 수 있습니다. 이 방식은 컴퓨터가 고양이와 개를 모두 털이 있는 동물임에도 불구하고 완전히 남남처럼 취급하도록 강요합니다. 이는 마치 학생에게 "너는 고양이고, 개는 완전히 다른 우주에 있으니 절대 닮았다고 생각하지 마라"라고 말하는 선생님과 같습니다. 이러한 "의미론적 반발(semantic repulsion, 사물을 너무 세게 밀어내는 것)"은 귀중한 정보를 버리게 만듭니다. 학생은 고양이를 인식하는 법은 배우지만, 고양이와 개가 같은 가계도를 공유한다는 사실은 잊어버리게 됩니다.

새로운 접근법: 상대적 관계

저자들은 더 똑똑하게 게임을 하는 방법을 제안합니다. 절대적인 거리 대신, 상대적인 관계에 집중하는 것입니다. 그들은 학생 모델에게 유사성의 순서를 학습하도록 요구합니다.

여기 비유가 있습니다. 당신이 좋아하는 과일의 순위를 매긴다고 가정해 봅시다.

과거의 방식 (엄격한 대조 학습): "사과는 100% 사과다. 바나나는 100% 바나나다. 둘은 적이다. 서로 100마일 떨어져 있어라."
새로운 방식 (RRD): "사과가 네가 제일 좋아하는 과일이야. 배는 두 번째로 좋아해 (둘 다 둥글고 달콤하니까). 바나나는 세 번째야. 돌멩이는 꼴찌야."

학생은 사과와 배 사이의 정확한 거리가 몇 마일인지 알 필요가 없습니다. 단지 배가 바나나보다는 사과에 더 가깝다는 것을 알면 됩니다. 이를 통해 세상의 구조가 보존됩니다. 사과와 배는 서로 관련이 있고, 바나나는 어느 정도 관련이 있으며, 돌멩이는 관련이 없다는 식의 구조 말입니다.

어떻게 구현했는가: 온도의 마법

이것이 작동하게 만들기 위해, 연구진은 **온도(temperature)**와 관련된 영리한 트릭을 도입했습니다. AI의 세계에서 "온도"는 열에 관한 것이 아니라, 모델의 예측이 얼마나 "부드러운지" 혹은 "날카로운지"에 관한 것입니다.

높은 온도: 모델이 확신이 없어 예측을 넓게 퍼뜨립니다 (안개가 낀 날 모든 것이 흐릿하게 보이는 것과 같습니다).
낮은 온도: 모델이 매우 자신감이 있고 초점을 날카롭게 맞춥니다 (레이저 빔과 같습니다).

저자들은 **스승(Teacher)**에게 특정 온도를 부여하고, **학생(Student)**에게는 그보다 더 날카로운 다른 온도를 부여했습니다. 그들은 학생의 온도를 스승보다 낮게(더 날카롭게) 설정했습니다. 이는 학생이 가장 중요한 관계(예: 고양이 대 비행기 같은 '주요' 관계)에는 강렬하게 집중하면서도, 부차적인 관계(예: 고양이 대 개)에 대해서는 여전히 부드럽고 모호한 기억을 유지하도록 강제합니다.

또한 그들은 스승이 이전에 보았던 특징들의 거대한 목록인 "메모리 뱅크(memory bank)"를 사용했습니다. 학생은 현재의 이미지를 이 메모리 뱅크와 비교하여 전체적인 구도 속에서 자신이 어디에 위치하는지 확인합니다. 학생의 "상대적 순위"를 스승의 순위와 일치시킴으로써, 학생은 기존 방식의 엄격한 규칙 때문에 혼란을 겪지 않고도 세상의 구조를 학습하게 됩니다.

연구 결과

연구팀은 CIFAR-100(100가지 종류의 객체가 포함됨)과 ImageNet(백만 개 이상의 이미지가 포함된 거대한 컬렉션)을 포함한 여러 유명 이미지 데이터셋에서 이 아이디어를 테스트했습니다. 그들은 이 새로운 방식을 기존 분야의 챔피언들과 맞붙였습니다.

결과는 인상적이었습니다. 새로운 방식을 단독으로 사용했을 때, 표준적인 "대조" 방식들보다 뛰어난 성능을 보였습니다. 하지만 진짜 마법은 이 방식을 전통적인 지식 증류 기술과 결합했을 때 일어났습니다.

CIFAR-100 데이터셋에서, 이들의 방식은 표준 지식 증류 방식보다 75.50%의 상대적 개선을 보여주었습니다.
이 방식을 클래식한 방법과 결합했을 때, 개선 폭은 **80.03%**까지 뛰어올랐습니다.

단순히 말해, 학생 모델은 훨씬 더 빠르게 학습했고 훨씬 더 똑똑해졌습니다. 어떤 경우에는 이 새로운 방식으로 훈련된 작은 학생 모델이 복제 대상이었던 거대한 스승 모델보다 더 나은 성능을 보이기도 했습니다!

그들은 또한 복잡한 데이터를 2D 지도로 변도하는 t-SNE 기법을 사용하여 모델의 "두뇌"를 살펴보았습니다. 이 지도에서 컴퓨터가 사물들을 어떻게 그룹화하는지 볼 수 있습니다. 기존 방식에서는 그룹들이 엉망이거나 너무 멀리 떨어져 있었습니다. 하지만 새로운 관계적 표현 증류를 사용하면, 그룹들이 스승의 그룹과 거의 동일하게 나타났습니다. 학생은 스승이 의도한 대로 고양이를 개 근처에, 비행기로부터는 멀리 두는 스승의 "세계관"을 성공적으로 학습한 것입니다.

이것이 왜 중요한가

이것은 단순히 차트 위의 숫자를 좋게 만드는 문제가 아닙니다. 이것은 AI를 실용적으로 만드는 것에 관한 것입니다. 만약 우리가 작은 규모의 효율적인 모델이 거대한 모델만큼 세상을 잘 이해하도록 가르칠 수 있다면, 우리는 트렁크에 슈퍼컴퓨터를 싣지 않고도 스마트폰, 자동차, 스마트워치에 똑똑한 AI를 넣을 수 있습니다. 사물의 '규칙'이 아닌 '관계'를 이해하도록 학생을 가르침으로써, 저자들은 거인의 천재성을 주머니에 들어갈 크기의 패키지로 압축하는 방법을 찾아냈습니다.

이 논문은 이러한 상대적 연결에 집중하는 것이 앞으로 나아갈 유망한 길임을 시사합니다. 이 연구가 AI의 모든 문제를 해결했다고 주장하는 것은 아니지만, 차세대 스마트 기기를 강력하면서도 휴대 가능하게 만들 수 있는 명확하고 효과적인 도구를 제시하고 있습니다.

기술 요약: 관계적 표현 증류 (Relational Representation Distillation)

문제 정의

지식 증류(Knowledge Distillation, KD)는 대규모 고용량 교사 모델(Teacher model)로부터 압축된 학생 모델(Student model)로 지식을 전달하여 자원이 제한된 환경에서의 배포를 용이하게 하는 것을 목표로 한다. 표준적인 KD 방식은 확률적 출력(Logits) 사이의 쿨백-라이블러(Kullback-Leibler, KL) 발산을 최소화하지만, 이는 교사 네트워크의 내부 특징 표현 내에 존재하는 구조적 관계를 포착하는 데 실패하는 경우가 많다.

최근의 발전된 연구들은 대조 학습 목적 함수(예: CRD)를 채택하여 이를 해결하려고 시도했다. 그러나 이러한 방법들은 엄격한 인스턴스 식별 제약(Instance-discrimination constraints)에 의존한다. 이는 의미론적으로 유사한 샘플들이 서로 별개의 인스턴스로 취급될 때, 원래 유사성을 유지해야 함에도 불구하고 강제로 멀어지게 만드는 "의미론적 반발(Semantic repulsion)" 문제를 야기한다. 본 논문은 인스턴스 간의 절대적인 유사성이나 분리를 강제하는 것보다, 인스턴스 간의 상대적 관계(예: 고양이 이미지가 비행기에 비해 개와 갖는 상대적 유사성)를 보존하는 것이 더 중요하다고 주장한다.

방법론: 관계적 표현 증류 (Relational Representation Distillation, RRD)

제안된 프레임워크인 RRD는 인스턴스 간의 유의미한 상대적 관계를 보존하는 데 집중함으로써 엄격한 대조 목적 함수를 완화한다. 핵심 구성 요소는 다음과 같다:

메모리 뱅크 및 유사도 점수 계산:
- 교사( $z^T_i$ )와 학생( $z^S_i$ ) 네트워크의 특징들은 단위 초구(Unit hypersphere) 위에 놓이도록 $\ell_2$ 정규화된다.
- 메모리 뱅크 $M$ 은 이전 배치로부터의 특징 임베딩을 저장한다 (FIFO 또는 모멘텀 전략을 통해 업데이트됨).
- 직접적인 정렬을 보장하기 위해, 현재의 교사 임베딩을 메모리 뱅크( $M^+$ )에 추가하여 $K+1$ 개의 참조 벡터 세트를 생성한다.
- 현재 입력 특징과 메모리 뱅크 항목들 사이의 유사도 점수는 온도 파라미터를 사용하는 소프트맥스(Softmax) 함수를 사용하여 계산된다.
이중 온도 파라미터 (Dual Temperature Parameters):
- 핵심 혁신 사항은 교사( $\tau_t$ )와 학생( $\tau_s$ )을 위한 별도의 온도 파라미터를 사용하는 것이다.
- 교사 분포 $p^T$ 는 $\tau_t$ 를 사용하여 계산되고, 학생 분포 $p^S$ 는 $\tau_s$ 를 사용하여 계산된다.
- 저자들은 $\tau_s > \tau_t$ (예: $\tau_s=0.1, \tau_t=0.02$ )로 설정한다. 이는 학생을 위한 "날카로워진(Sharpened)" 분포를 생성하여, 학생이 주요 관계(가장 높은 유사도 점수)에 집중하도록 강제하는 동시에 부차적인 유사성을 포착할 수 있는 유연성을 유지하게 함으로써, 엄격한 인스턴스 식별에서 발생하는 클래스 충돌 문제를 방지한다.
손실 함수:
- 목적 함수는 교사의 유사도 분포 $p^T$ 와 학생의 유사도 분포 $p^S$ 사이의 KL 발산을 최소화한다:
  $\mathcal{L}_{RRD} = \sum_{i} -p^T(x_i) \cdot \log p^S(x_i)$
- 전체 목적 함수는 이를 지도 학습 손실( $\mathcal{L}_{sup}$ ) 및 표준 로그릿 기반 KD 손실( $\mathcal{L}_{KL}$ )과 결합한다:
  $\mathcal{L}_{total} = \mathcal{L}_{sup} + \lambda \cdot \mathcal{L}_{KL} + \beta \cdot \mathcal{L}_{RRD}$
이론적 연결성:
- 본 논문은 $\tau_t \to 0$ 일 때 RRD 목적 함수가 InfoNCE 손실(대조 학습에서 사용됨)로 수렴하며, 결과적으로 InfoNCE가 RRD의 특수한 사례가 됨을 입증한다.
- 또한, 클래스 로그릿이 아닌 메모리 뱅크 유사도 점수 위에서 작동하면서, 힌튼(Hinton)의 독창적인 KD에서 사용되는 표준 KL 발산과 구조적 관계를 유지한다.

주요 기여

프레임워크 제안: 이중 온도 파라미터를 사용하여 학생 분포를 더 날카롭게 만듦으로써 특징 공간에서의 구조적 관계를 보존하는 증류 프레임워크인 RRD를 도입하였다.
이론적 통합: 제안된 목적 함수, InfoNCE 대조 손실, 그리고 KL 발산 사이의 이론적 연결을 입증하여, InfoNCE가 RRD의 특수한 사례로 나타남을 보여주었다.
경험적 검증: 표준 벤치마크(CIFAR-100, ImageNet, STL-10, Tiny ImageNet) 및 객체 탐지(MS-COCO)에 걸친 포괄적인 검증을 통해 기존 방식보다 유의미한 정확도 향상을 보여주었다.
구조적 보존 증거: 정량적(상관관계 분석) 및 정성적(t-SNE 시각화) 증거를 통해, RRD가 일반적인 훈련이나 다른 증류 방식에 비해 교사와 학생의 임베딩 공간 사이의 공간적 관계와 구조적 일관성을 더 잘 보존함을 입증하였다.

실험 결과

이 방법은 13가지의 서로 다른 교사-학생 아키텍처 쌍(ResNet, WideResNet, VGG, MobileNet, ShuffleNet 포함)에 대해 평가되었다.

CIFAR-100: RRD는 단독으로 사용되었을 때 표준 KD 및 최첨단 CRD 방식보다 우수한 성능을 보였다. KD와 결합했을 때 더욱 향상된 성능을 달성했다. 논문은 평균 상대적 개선 지표를 기준으로, 전통적인 KD 대비 75.50%의 상대적 개선과 KD와 통합했을 때 80.03%의 상대적 개선을 보고한다.
ImageNet: RRD는 다양한 아키텍처(예: ResNet-50에서 ResNet-18)에 대해 KD보다 일관되게 우수한 성능을 보이며 확장성을 입증했다.
전이 학습 (Transfer Learning): CIFAR-100에서 STL-10 및 Tiny ImageNet으로 특징을 전이하는 실험에서, RRD는 추가적인 KD 없이도 CRD와 대등하거나 더 나은 성능을 보이는 강력한 특징 전이 능력을 보여주었다.
Ablation Studies (절제 연구):
- 온도 (Temperatures): 최적의 성능은 $\tau_t \approx 0.02$ 및 $\tau_s = 0.1$ 에서 발견되었다. $\tau_t$ 값이 더 높으면 너무 부드러운(Soft) 분포를 생성하여 성능이 저하되었다.
- 메모리 크기 (Memory Size): 성능은 메모리 크기가 $K=16384$ 에 도달할 때까지 향상되었으며, 그 이후에는 정체되었다.
- 손실 가중치 (Loss Weighting): 가중치 계수 $\beta$ 는 0.5와 1.5 사이에서 가장 좋은 성능을 보였다.
- 메모리 구조 (Memory Structure): RRD는 모멘텀 및 FIFO 큐 업데이트 모두에서 잘 작동하였으며, 특히 FIFO가 매우 강력한 결과를 보여주었다.

의의 및 주장

본 논문은 RRD가 절대적 유사성이 아닌 인스턴스 간의 상대적 관계 보존에 초점을 맞춤으로써 더 효과적인 지식 증류 접근법을 제공한다고 주장한다. 이중 온도 파라미터를 통해 대조 학습의 엄격한 제약을 완화함으로써, 방법론은 의미론적 반발 문제를 피하는 동시에 학생 네트워크가 교사의 주요 구조적 단서를 학습하도록 보장한다.

저자들은 자신들의 방법이 다양한 작업과 아키텍처에서 기존의 지식 증류 기술을 유의미하게 능가한다고 단언한다. 그들은 개선된 구조적 보존이 교사 모델과의 더 나은 정렬로 이어지며, 경우에 따라 학생 네트워크가 교사 네트워크 자체를 능가할 수 있게 한다고 강조한다. 이 연구는 상대적 관계에 집중하는 것이 더 효과적인 모델 압축 기술을 개발하기 위한 유망한 방향임을 시사한다.