💬 NLP

Dual-Space Knowledge Distillation with Key-Query Matching for Large Language Models with Vocabulary Mismatch

이 논문은 서로 다른 토크나이저를 가진 대규모 언어 모델 간의 지식 증류 시 발생하는 키 - 쿼리 분포 불일치 문제를 해결하기 위해 생성적 적대 학습을 도입한 'DSKD-CMA-GA' 방법을 제안하고, 이를 통해 텍스트 생성 품질을 향상시킨 결과를 제시합니다.

원저자: Stella Eva Tsiapali, Cong-Thanh Do, Kate Knill

게시일 2026-03-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Stella Eva Tsiapali, Cong-Thanh Do, Kate Knill

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 두뇌를 작은 두뇌로 가르치는 새로운 방법: "키-쿼리 매칭" 이야기

이 논문은 인공지능 (AI) 이 세상을 바꾸고 있지만, 그 AI 들이 너무 크고 비싸서 실제로 쓰기 어렵다는 문제에서 출발합니다. 이 문제를 해결하기 위해 **작은 AI(학생)**가 **큰 AI(선생님)**의 지식을 배우는 '지식 증류 (Knowledge Distillation)' 기술을 연구했는데, 특히 **서로 다른 언어 체계 (토크나이저)**를 사용하는 AI 들 사이에서 더 잘 작동하는 새로운 방법을 제안했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 배경: 거인 선생님과 작은 학생, 그리고 언어 장벽

상상해 보세요. **거대한 도서관 (큰 AI)**이 있고, 그 안에 모든 지식을 가진 선생님이 있습니다. 하지만 이 도서관은 너무 커서 유지비가 비싸고, 책을 읽는 속도도 느립니다. 그래서 우리는 **작은 도서관 (작은 AI)**을 만들어 선생님에게서 지식을 배우고 싶어 합니다.

하지만 여기서 문제가 생깁니다.

선생님은 "사과"를 말할 때 **"사 - 과"**라는 두 글자로 나눕니다.
학생은 "사과"를 말할 때 **"사과"**라는 한 글자로 나눕니다.

이처럼 **단어를 쪼개는 방식 (토크나이저)**이 다르면, 선생님이 "사 - 과"라고 가르쳐도 학생은 "사과"로만 이해할 수 있어 대화가 안 됩니다. 기존 기술들은 이 언어 장벽을 넘기 위해 애썼지만, 여전히 완벽하지 않았습니다.

2. 기존 기술 (DSKD-CMA): "눈감고 손잡기"

이 논문에서 분석한 기존 기술 (DSKD-CMA) 은 아주 똑똑한 방법입니다.
선생님과 학생이 서로의 말을 이해하지 못하더라도, 주의 (Attention) 메커니즘을 통해 "아, 선생님이 지금 이 부분을 강조하고 있구나"라고 자동으로 맞춰주는 방식입니다.

하지만 이 기술의 문제는 어떻게 맞춰주는지 알 수 없다는 것입니다. 마치 눈을 가리고 두 사람이 손을 잡는 것과 같습니다. "어디서 잡아야 할지 모르는데, 그냥 잡으면 되겠지?"라고 믿고 있는 셈이죠. 때로는 엉뚱한 곳을 잡거나, 잡은 손이 너무 느슨할 수도 있습니다.

3. 연구자의 발견: "눈을 뜨고 살펴보니?"

저자들은 이 "눈 가리고 손 잡기" 방식을 자세히 들여다보기 위해 수동으로 단어를 맞춰보는 실험을 했습니다.

발견 1: 실제로 AI 들은 대략적으로 "단어 덩어리 (Chunk)" 단위로 맞춰주려고 노력합니다. (예: "사 - 과"와 "사과"를 하나의 덩어리로 인식)
발견 2: 하지만 가끔은 숫자나 반복되는 단어 때문에 엉뚱하게 연결되기도 합니다. (소음이 섞인 연결)

이처럼 어떤 부분이 잘 되고, 어떤 부분이 잘못되는지를 시각화 (히트맵) 로 확인한 것이 이 연구의 첫 번째 성과입니다.

4. 새로운 해결책: "키 - 쿼리 매칭" (DSKD-CMA-GA)

이제 저자들은 이 문제를 해결하기 위해 새로운 비유를 도입했습니다.

비유: 서로 다른 악기를 조율하는 오케스트라

선생님과 학생은 서로 다른 악기 (다른 토크나이저) 를 연주합니다. 선생님은 피아노, 학생은 바이올린을 치는데, 둘이 합주를 하려면 **음정 (주파수)**이 맞아야 합니다.

기존 방식은 그냥 "연주해 봐!"라고 하는 것이었다면, 새로운 방식은 두 악기의 소리를 들어보고 음정을 자동으로 맞춰주는 튜너를 도입한 것입니다.

이 논문에서는 두 가지 새로운 튜너를 제안했습니다.

적대적 학습 (GA - Generative Adversarial):
- 역할: 한쪽은 "이 소리가 진짜 선생님의 소리야, 아니면 학생이 흉내 낸 소리야?"를 감별하는 **심문관 (판별자)**입니다.
- 작동: 다른 쪽은 심문관을 속이려고 **학생이 선생님의 소리를 완벽하게 흉내 내는 연기 (생성자)**를 합니다.
- 결과: 심문관이 속을 수 없을 정도로 학생이 선생님의 '말투'와 '분위기'를 완벽하게 따라하게 됩니다.
조건부 운송 (CT):
- 수학적인 방법으로 두 소리의 분포를 최대한 가깝게 이동시키는 방식입니다.

5. 실험 결과: "작은 학생이 거인보다 잘할 수도 있다?"

이 새로운 방법 (특히 GA 방식) 을 적용한 결과, 놀라운 일이 일어났습니다.

기존의 언어 장벽 극복: 서로 다른 단어를 쓰는 AI 들 사이에서도 지식을 전달하는 효율이 크게 향상되었습니다.
예상 밖의 성과: 심지어 **서로 다른 언어를 쓰는 AI(크로스 토크나이저)**가, **같은 언어를 쓰는 AI(동일 토크나이저)**보다 더 좋은 결과를 내기도 했습니다.
실제 효과: 특히 평소 보지 못했던 새로운 질문 (Out-of-Distribution) 에 대해, 기존 방법보다 훨씬 더 정확한 답변을 내놓았습니다.

6. 결론: 왜 이것이 중요한가?

이 연구는 단순히 "더 좋은 AI"를 만드는 것을 넘어, AI 들이 서로 소통하는 방식을 이해하고 개선했다는 점에서 의미가 큽니다.

기존: "눈 가리고 손 잡기" (어떻게 되는지 모름)
새로운 방법: "음정 맞춰주는 튜너" (키 - 쿼리 매칭)

이 기술을 통해 우리는 거대한 AI 모델을 그대로 복사하지 않아도, 작고 가벼운 모델이 거인의 지식을 완벽하게 흡수할 수 있게 되었습니다. 이는 앞으로 스마트폰이나 개인용 컴퓨터에서도 거대 AI 의 능력을 무료로, 빠르게 사용할 수 있는 시대를 앞당길 것입니다.

한 줄 요약:

서로 다른 언어를 쓰는 거인 AI 와 작은 AI 가, **서로의 소리를 맞춰주는 '튜너' (적대적 학습)**를 통해 더 완벽하게 지식을 공유하게 되었습니다. 이제 작은 AI 도 거인 못지않게 똑똑해질 수 있습니다!

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 뛰어난 성능을 보이지만, 배포 비용 (연산 자원, 지연 시간, 에너지) 이 매우 높다는 단점이 있습니다. 이를 해결하기 위해 지식 증류 (Knowledge Distillation, KD) 를 통해 작은 학생 모델이 큰 교사 모델의 능력을 학습하게 하는 방법이 사용됩니다.

그러나 현대의 LLM 들은 서로 다른 토크나이저 (Tokenizer) 와 어휘 (Vocabulary) 를 사용합니다. 이로 인해 다음과 같은 어려움이 발생합니다:

시퀀스 길이 불일치: 동일한 텍스트를 토큰화했을 때 토큰의 개수와 길이가 다릅니다.
어휘 공간 불일치: 토큰의 의미와 인덱싱이 서로 달라 내부 상태나 출력 확률 분포를 직접 비교하기 어렵습니다.

기존의 최첨단 (SOTA) 방법인 DSKD-CMA (Dual-Space Knowledge Distillation with Cross-Model Attention) 는 이러한 문제를 해결하기 위해 교사 - 학생 간의 암시적 정렬을 학습하지만, 그 내부 작동 원리가 불투명하며 (Black-box), 키 (Key) 와 쿼리 (Query) 간의 분포 불일치로 인해 효율성이 제한될 수 있습니다.

2. 방법론 (Methodology)

이 논문은 DSKD-CMA 의 내부 메커니즘을 분석하고, 이를 개선하기 위해 키 - 쿼리 매칭 (Key-Query Matching) 기법을 도입한 새로운 프레임워크를 제안합니다.

A. DSKD-CMA 분석 및 프로빙 (Analysis & Probing)

기존 DSKD-CMA 의 어텐션 메커니즘을 해석하기 위해 수동 토큰 정렬 (Manual Token Alignment) 과 히트맵 시각화를 수행했습니다.

Chunk Alignment: 서로 다른 토크나이저가 생성한 토큰 시퀀스를 동일한 텍스트를 spanning 하는 최소 단위 'Chunk' 단위로 정렬하는 알고리즘을 개발했습니다.
실험적 검증:
- Chunk-Level Projection (CLP): 어텐션 없이 정렬된 Chunk 간에 단순 프로젝션만 수행하는 방식. 결과적으로 CMA 와 유사하거나 더 나은 성능을 보였으나, 계산 비용이 높음.
- Chunk-Level Attention (CLA): 정렬된 Chunk 내부에서만 어텐션을 적용하는 방식. 오히려 성능이 저하되어, DSKD 는 정밀한 국소적 매핑보다는 안정적인 거시적 (Coarse-grained) 정렬을 선호함을 발견했습니다.

B. 제안된 방법: DSKD-CMA-GA 및 DSKD-CMA-CT

교사 모델과 학생 모델에서 계산된 키 (Key) 와 쿼리 (Query) 의 분포가 서로 달라 어텐션 메커니즘의 효율성이 떨어지는 문제를 해결하기 위해, 키 - 쿼리 분포 정렬을 학습 목표에 통합했습니다.

Generative Adversarial Alignment (GA):
- 판별자 (Discriminator) 는 교사 키와 학생 쿼리를 구별하려 하고, 생성자 (Generator, 학생의 쿼리 프로젝터) 는 판별자를 속이도록 학습합니다.
- 이를 통해 두 모델 간의 토큰 표현 분포를 정렬합니다.
Conditional Transport (CT):
- 최적 수송 (Optimal Transport) 의 제약된 버전을 사용하여 키와 쿼리 분포 간의 이방향 매칭을 촉진합니다.
최종 손실 함수: 기존 DSKD-CMA 손실 함수에 키 - 쿼리 정렬 손실 ( $L_{KQ}$ ) 을 추가하여 전체 손실 ( $L_{train}$ ) 을 최소화합니다.

3. 주요 기여 (Key Contributions)

DSKD-CMA 분석 프레임워크: 멀티 토큰 Chunk 정렬 프로브와 히트맵 시각화를 통해 DSKD-CMA 가 Chunk 단위의 정렬을 학습하지만 국소화 (Localization) 에 한계가 있음을 규명했습니다.
새로운 증류 목적 함수 제안: 생성적 적대적 학습 (GA) 과 조건부 수송 (CT) 을 기반으로 한 DSKD-CMA-GA 및 DSKD-CMA-CT를 제안하여, 토크나이저 불일치로 인한 분포 불일치 문제를 해결했습니다.
성능 향상: 제안된 방법, 특히 GA 기반 접근법이 다양한 벤치마크에서 텍스트 생성 품질을 향상시켰으며, 동일 토크나이저 KD 와의 성능 격차를 줄였습니다.

4. 실험 결과 (Results)

데이터셋: Dolly 15K(학습), Self-Instruct, Vicuna, Super-Natural Instructions, Unnatural Instructions(평가) 등 총 26,387 개의 테스트 샘플.
모델 구성: 학생 모델 (GPT-2, 124M), 교사 모델 (GPT-2 XL 및 Qwen1.5, 1.8B). Qwen1.5 와 GPT-2 는 어휘 크기가 크게 달라 (150K vs 50K) 까다로운 크로스-토크나이저 설정입니다.
성능 지표: ROUGE-L 점수.
주요 결과:
- DSKD-CMA-GA가 모든 방법 중 가장 우수한 성능을 보였습니다.
- OOD (Out-of-Distribution) 데이터에서 평균 ROUGE-L 점수 +0.37의 개선을 보였으며, 일부 데이터셋에서는 동일 토크나이저 KD 성능을 능가하기도 했습니다.
- DSKD-CMA-CT는 GA 보다 성능이 낮았으며, GA 가 토크나이저 불일치 하에서 정렬을 더 잘 포착함을 시사합니다.
- 손실 함수의 상호작용: GA/CT 방법론과 발산 함수 (Divergence function, 예: SKL, KL) 의 조합이 성능에 중요한 영향을 미쳤습니다. (예: GA 는 SKL 과 함께 사용 시 최적).

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 크로스-토크나이저 지식 증류 분야에서 다음과 같은 의의를 가집니다:

해석 가능성 증대: 기존에 불투명했던 DSKD-CMA 의 내부 작동 원리를 분석하여, 왜 Chunk 단위의 정렬이 중요한지 규명했습니다.
성능 격차 해소: 생성적 적대적 학습 (GA) 을 도입하여 서로 다른 토크나이저를 가진 모델 간의 지식 전유 효율을 높였으며, 이는 동일 토크나이저 환경과 거의 동등하거나 더 나은 성능을 달성할 수 있음을 증명했습니다.
미래 연구 방향: 동적 가중치 조정 및 적대적 학습의 더 넓은 적용 등 크로스-토크나이저 KD 의 발전 가능성을 제시했습니다.

요약하자면, 이 연구는 키 - 쿼리 분포 정렬을 통해 서로 다른 어휘를 가진 LLM 간의 지식 증류 효율성을 극대화하는 새로운 프레임워크를 제안하고, 이를 통해 텍스트 생성 품질을 유의미하게 향상시켰습니다.