🤖 machine learning

Diffract: Spectral View of LLM Domain Adaptation

본 논문은 대규모 언어 모델의 도메인 적응을 위한 지속적 사전 학습을 조사하여, 스펙트럼 변화가 특이값의 변화보다는 주로 특이 벡터의 이동에 의해 발생함을 밝히고, 이러한 통찰을 활용하여 도메인 연결성을 보존하면서 중요도가 낮은 어텐션 헤드를 선택적으로 되돌림으로써 효율적인 적응을 가능하게 하는 툴킷인 Diffract를 개발한다.

원저자: Nikita Borodin, Maria Krylova, Artem Zabolotnyi, Dmitry Aspisov, Egor Shikov, Nikita Tyuplyaev, Oleg Travkin, Roman Alferov, Dmitry Vinichenko

게시일 2026-08-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nikita Borodin, Maria Krylova, Artem Zabolotnyi, Dmitry Aspisov, Egor Shikov, Nikita Tyuplyaev, Oleg Travkin, Roman Alferov, Dmitry Vinichenko

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계를 거대한 로봇들이 글을 읽고 쓰는 법을 배우고 있는 북적이는 거대한 도서관이라고 상상해 보세요. 대규모 언어 모델(LLM)이라 불리는 이 거대 로봇들은 인간의 언어가 어떻게 작동하는지 배우기 위해 뉴스, 이야기, 과학, 채팅 로그 등 도서관에 있는 거의 모든 것을 읽기 시작합니다. 이것은 마치 아이가 주변의 모든 사람의 말을 들으며 말을 배우며 성장하는 것과 같습니다. 하지만 여러분이 그 로봇에게 수학의 천재가 되거나, 코딩의 마법사가 되거나, 지시를 내리는 데 능숙한 전문가가 되기를 원한다면 어떻게 될까요? 처음부터 새로운 로봇을 만드는 것은 너무 오래 걸리고 비용도 많이 들 것입니다. 대신, 과학자들은 "지속적 사전 학습(Continents Pre-Training, CPT)"이라는 기술을 사용합니다. 이것은 범용 로봇에게 전문적인 여름 캠프를 보내주는 것으로 생각하면 됩니다. 수학 책만 집중적으로 읽거나, 코드 매뉴얼만 집중적으로 읽는 몇 주간의 강도 높은 학습 과정 말이죠. 연구자들이 던진 큰 질문은 이것입니다: 이 캠프 동안 로봇의 뇌는 실제로 어떻게 변하는가? 로봇이 자신의 기억 전체를 다시 쓰는 것일까요, 아니면 단지 몇 개의 특정 노트만을 수정하는 것일까요? 이를 이해하는 것은 매우 중요합니다. 왜냐하면 이를 통해 우리가 기존의 기술을 잊지 않으면서도 새로운 기술을 배울 수 있는 더 똑똑하고 효율적인 AI를 구축할 수 있기 때문입니다.

"Diffract: LLM 도메인 적응의 스펙트럼 관점(Diffular: Spectral View of LLM Domain Adaptation)"이라는 제목의 새로운 연구에서, 연구팀은 특수한 종류의 X-레이인 특이값 분해(SVD)를 사용하여 로봇의 뇌 내부를 들여다보기로 했습니다. 로봇의 뇌가 수백만 개의 작은 톱니바퀴와 레버(수학적 행렬)로 만들어졌다고 상상해 보세요. 로봇이 새로운 것을 배울 때 이 톱니바퀴들은 움직입니다. 연구자들은 이 톱니바퀴들이 어떻게 움직이는지 알고 싶었습니다. 그들은 놀라운 사실을 발견했습니다: 톱니바퀴의 "크기"(특이값)는 거의 변하지 않는다는 것입니다. 마치 로봇이 자신의 도구 상자에 있는 동일한 도구 세트를 그대로 유지하는 것과 같습니다. 대신, 마법은 도구가 가리키는 방향(특이 벡터)이 회전하여 새로운 주제를 향하도록 재정렬되는 과정에서 일어납니다.

연구팀은 로봇의 뇌가 균일한 덩어리가 아니라, "어텐션 헤드(attention heads)"라고 불리는 많은 작은 전문가들로 구성되어 있다는 것을 발견했습니다. 어떤 전문가들은 로봇이 수학을 배우느냐 코딩을 배우느냐에 따라 색깔을 바꾸는 카멜레온과 같지만, 어떤 전문가들은 무엇을 배우든 상관없이 그대로 유지됩니다. 이것을 "헤드 이질성(head heterogeneity)"이라고 합니다. 이 때문에 연구자들은 최대 60%의 전문가들을 원래 상태로 "되감기(rewind)" 하더라도 로봇의 성능에 해를 끼치지 않는다는 것을 발견했습니다. 사실, 어떤 전문가들을 되감아야 할지 신중하게 선택함으로써, 그들은 로봇의 수학 능력을 최대 4%까지 향상시켰습니다. 이는 마치 여러분의 공부 노트 중 60%가 그저 방해 요소였음을 깨닫고, 그것들을 제거함으로써 오히려 시험에서 만점을 받게 된 것과 같습니다.

나아가, 이 연구는 그들이 "도메인 연결성(domain connectivity)"이라고 부르는 현상을 밝혀냈습니다. 만약 수학을 학습한 로봇과 코딩을 학습한 로봇을 가져와서 그들의 뇌를 부드럽게 혼합한다면, 그 결과물은 두 분야 모두에서 뛰어난 능력을 갖추되 어느 한쪽의 기술도 잃지 않는 로봇이 됩니다. 이러한 혼합은 로봇이 전문화된 학습을 하기 전에 충분히 긴 시간 동안 철저한 교육(큰 "토큰 예산")을 받았을 때 가장 잘 작동합니다. 연구진은 또한 다른 사람들이 이 뇌의 톱니바퀴들을 살펴볼 수 있도록 "Diffract"라는 무료 툴킷을 공개하며, 모델이 학습하는 방식은 무에서 유를 창조하는 것이라기보다 기존의 구조를 재정렬하는 것에 더 가깝다는 점을 시사했습니다. 비록 이러한 발견이 테스트된 모델들에 국한된 것이지만, 이는 AI가 학습하는 방식에 대한 새로운 생각을 제시합니다: 그것은 과거를 덮어쓰는 것이 아니라, 미래를 바라보는 올바른 각도를 찾는 것입니다.

기술 요약: Diffract: LLM 도메인 적응의 스펙트럼 관점

문제 정의

지속적 사전 학습(Continual Pre-training, CPT)은 범용 대규모 언어 모델(LLM)을 특화된 도메인(예: 수학, 코드, 지시문)에 적응시키기 위한 표준적인 메커즘입니다. CPT는 유사한 컴퓨팅 예산 하에서 특화된 모델을 처음부터 학습시키는 것보다 더 나은 성능을 제공하지만, 그 기저의 메커니즘은 지도 미세 조정(Supervised Fine-Tuning, SFT)에 비해 현저히 덜 이해되어 있습니다. 선형 모드 연결성(linear mode connectivity)과 태스크 산술(task arithmetic) 같은 현상은 SFT에서는 잘 문서화되어 있으나, CPT에서도 이와 유사한 스펙트럼 또는 구조적 역학이 작용하는지는 불분명합니다. 구체적으로, CPT 과정에서 가중치 행렬이 어떻게 진화하는지, 도메인 적응이 특이값(singular values)의 변화에 의존하는지 아니면 특이 벡터(singular vectors)의 변화에 의존하는지, 그리고 효율성을 위해 활용할 수 있는 파라미터 업데이트의 중복성이 존재하는지에 대한 이해가 부족합니다.

방법론

저자들은 사전 학습 및 지속적 사전 학습 궤적 전반에 걸쳐 LLM의 가중치 행렬을 분석하기 위해 **특이값 분해(Singular Value Decomposition, SVD)**를 채택했습니다. 본 연구는 1B, 7B, 13B, 32B 파라미터 규모의 OLMo 2 아키텍처를 활용합니다.

주요 분석 구성 요소는 다음과 같습니다:

스펙트럼 측정(Spectral Measures): 가중치 행렬의 프로베니우스 노름(Frobenius norms), 스펙트럼 노름(spectral norms), 안정적 랭크(stable ranks) 및 유효 랭크(effective ranks) 분석.
특이 벡터 일치도(Singular Vector Agreement): 사전 학습된 체크포인트( $W_{pre-train}$ )와 도메인 적응된 체크포인트( $W_{domain}$ ) 사이의 코사인 유사도를 측정하여 방향성 변화를 정량화.
분포 피팅(Distribution Fitting): 벌크 스펙트럼(bulk spectra)에 대해서는 마르첸코-파스투르(Marchenko-Pastur, MP) 분포를, 헤비 테일(heavy-tailed) 영역에 대해서는 파워 로(Power Law, PL) 모델을 사용하여 경험적 스펙트럼 밀도(ESD)를 피팅함으로써 헤비 테일 자기 규제(Heavy-Tailed Self-Regularization, HTSR) 이론과의 정렬 여부를 평가.
개입 실험(Intervention Experiments):
- 특이값 이식(Singular Value Transplantation): 특이 벡터는 유지한 채 체크포인트 간의 특이값( $\Sigma$ )을 교체하여 스펙트럼 크기 대 방향의 중요성을 테스트.
- 헤드 단위 되돌리기(Head-wise Rewinding): 다양한 중요도 기준에 따라 어텐션 헤드를 사전 학습 상태로 체계적으로 되돌려 다운스트림 태스크 성능에 미치는 영향을 측정.
- SVD 절단(SVD Truncation): CPT 델타( $\Delta W = W_{domain} - W_{pre-train}$ )의 가장 작은 특이값들을 절단하여 파라미터 중복성을 평가.
- 선형 보간(Linear Interpolation): 서로 다른 도메인에 적응된 체크포인트 간의 가중치를 보간하여 "도메인 연결성"을 테스트.

저자들은 이러한 스펙트럼 분석을 용이하게 하기 위해 설계된 오픈 소스 툴킷인 Diffract를 공개합니다.

주요 기여 및 결과

1. 스펙트럼 역학: 불변하는 스펙트럼, 진화하는 벡터

본 연구는 CPT가 특이값 스펙트럼을 거의 불변하게 유지한다는 것을 발견했습니다. 적응 과정은 주로 특이 벡터의 변화, 특히 SVD 스펙트럼의 피크 근처에 국지화된 벡터들에 의해 주도됩니다.

사전 학습 진화: 사전 학습 단계 동안, 어텐션 헤드 행렬은 이상치(outliers)와 다수의 좁은 피크를 특징으로 하는 복잡한 스펙트럼 구조를 발달시킵니다. 이러한 복잡성은 사전 학습 토큰 예산이 증가함에 따라 심화되며, 단순한 파워 로 꼬리를 예측하는 일반적인 HTSR 모델과는 차이를 보입니다.
CPT 안정성: 반대로, 특이값 스펙트럼은 CPT 동안 거의 안정적으로 유지됩니다. 저자들은 사전 학습 중에 획득한 복잡한 스펙트럼 구조가 효율적인 도메인 적응을 위한 전제 조건이라고 가설을 세웠습니다.

2. 헤드 이질성(Head Heterogeneity) 및 되돌리기

헤드 이질성이라 명명된 새로운 현상이 식별되었습니다. 사전 학습 토큰 예산이 증가함에 따라, 어텐션 헤드들은 CPT 중에 다양한 행동을 보입니다:

어떤 헤드들은 도메인과 관계없이 상당한 변화를 겪습니다.
다른 헤드들은 도메인 특이적인 방식으로 변화합니다.
되돌리기 전략: 참조 텍스트 도메인에 대한 CPT 델타의 프로베니우스 노름을 비교하는 새로운 기준으로 헤드를 정렬함으로써, 저자들은 최대 60%의 어텐션 헤드를 품질 저하 없이 사전 학습 상태로 되돌릴 수 있음을 입증했습니다. 또한, 중요도가 낮은 헤드를 선택적으로 되돌리는 것이 완전히 학습된 베이스라인에 비해 벤치마크 정확도를 최대 4% 향상(특히 7B 모델의 수학 태스크)시킬 수 있음을 보여주었습니다.

3. CPT 델타의 파라미터 중복성

CPT 델타는 모델 크기에 따라 확장되는 상당한 중복성을 나타냅니다:

1B 모델: 절단에 대한 내성이 적은 고랭크(high-rank) 델타를 보입니다.
7B 및 13B 모델: 공격적인 절단을 견딜 수 있습니다. 7B CPT 델타에서는 **최대 50%**의 특이값을 제거할 수 있고, 13B 델타에서는 **최대 70%**를 제거해도 GSM8K 정확도에 유의미한 저하가 없습니다. 이는 더 큰 모델이 CPT 과정에서 더 많은 중복 표현을 학습함을 시사합니다.

4. 도메인 연결성

저자들은 서로 다른 도메인(예: 수학과 코드)에 적응된 체크포인트 간에 치명적인 망각 없이 선형 보간할 수 있는 능력인 도메인 연결성을 확인했습니다.

볼록성 트렌드(Convexity Trend): 보간된 모델("모델 수프", model soup)의 품질은 사전 학습 토큰 예산과 모델 크기가 증가함에 따라 개선됩니다. 작은 예산의 경우 보간은 오목(concave, 양 끝단보다 성능이 낮음)하지만, 더 큰 예산(예: 4T 토큰)의 경우 볼록(convex, 선형 현(chord)보다 성능이 높음)해집니다.
한계: 연결성이 존재함에도 불구하고, 선형 보간은 일반적으로 데이터 혼합물(data mixtures)로 직접 학습된 모델보다 성능이 떨어지며, 이는 단순한 태스크 벡터 병합에 한계가 있음을 시사합니다.

의의 및 주장

본 논문은 스펙트럼 관점을 통해 CPT 메커니즘에 대한 근본적인 이해를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

HTSR 이론에 대한 도전: MLP 레이어는 HTSR와 일치하지만, 어텐션 헤드는 표준적인 헤비 테일 이론이 완전히 설명할 수 없는 복잡한 스펙트럼 구조를 발달시킨다는 점을 입증했습니다.
효율성: 중복된 파라미터(헤드의 최대 60%)를 식별하고 제거하거나, 선택적 되돌리기를 통해 성능을 향상시키는 원칙적인 방법을 제공하여, 더 효율적인 도메인 적응 경로를 제시합니다.
도구 제공: Diffract의 출시는 십억 단위 파라미터 모델의 스펙트럼 분석을 가능하게 하여, LLM 가중치 역학을 분석하는 도구의 공백을 메웁니다.
확장성: 헤드 이질성 및 도메인 연결성에 관한 발견은 다양한 모델 규모(1B~32B)와 다양한 도메인(수학, 지시문, 코드, 텍스트)에 걸쳐 일관되게 나타납니다.

저자들은 자신들의 결론이 OLMo 제품군 내에서는 견고하지만 모든 현대적 LLM 아키텍처에 보편적으로 적용되지는 않을 수 있음을 언급하며 신중한 입장을 유지합니다. 또한 벤치마크 커버리지와 특정 AdamW 옵티마이저 사용의 한계를 인정하며, 향-후 연구에서 다른 모델 제품군과 옵티마이저 절제 실험(ablation)을 탐구할 것을 제안합니다.