💻 computer science

Darwin Family: MRI-Trust-Weighted Evolutionary Merging for Training-Free Scaling of Language-Model Reasoning

다윈 가족 프레임워크는 추가적인 경사 기반 학습 없이 대규모 언어 모델의 추론 능력을 획기적으로 향상시키기 위해 경사 없는 가중치 공간 재결합, 적응적 신뢰 기반 융합, 그리고 교차 아키텍처 번식을 활용하는 학습이 없는 진화적 병합 접근법을 제시합니다.

원저자: Taebong Kim, Youngsik Hong, Minsik Kim, Sunyoung Choi, Jaewon Jang, Junghoon Shin, Minseo Kim

게시일 2026-05-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Taebong Kim, Youngsik Hong, Minsik Kim, Sunyoung Choi, Jaewon Jang, Junghoon Shin, Minseo Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 명의 전문가 셰프가 있다고 상상해 보세요. 한 명은 이탈리아 요리의 대가 (그를 '아버지'라고 부르겠습니다) 이고, 다른 한 명은 프랑스 제과 분야의 대가 (그녀를 '어머니'라고 부르겠습니다) 입니다. 두 셰프 모두 같은 유명한 요리 학교 (이것을 '사전 학습된 기반'이라고 합니다) 에서 기본적인 칼질 기술과 주방 레이아웃을 배웠습니다.

이제 완벽한 파스타와 완벽한 크루아상을 모두 요리할 수 있는 궁극적인 '슈퍼 셰프'를 만들고 싶지만, 새로운 요리 학교에 보내 배울 시간은 없습니다. 또한 그들을 훈련시키기 위해 새로운 팀을 고용하고 싶지도 않습니다. 그저 지금 당장 그들의 기존 기술을 섞어보고 싶을 뿐입니다.

이것은 바로 다윈 패밀리 (Darwin Family) 논문이 수행하는 작업과 정확히 일치합니다. 다만 셰프 대신 대규모 언어 모델 (LLM)(AI 두뇌) 을 섞어 새로운 훈련 없이 추론(어려운 논리 퍼즐 해결) 능력을 향상시키는 것입니다.

다음은 그들이 사용한 간단한 비유를 통해 설명한 방법입니다:

1. 문제: 단순히 '섞는 것'이 보통 실패하는 이유

보통 두 개의 AI 모델을 섞으려 하면, 스테이크와 바나나를 블렌더에 넣어 스무디를 만드는 것과 같습니다. 매우 지저분해집니다. 두 모델이 서로 다른 방식으로 다른 것들을 배웠기 때문에 AI 는 혼란을 겪습니다.

구식 방법은 재료를 단순히 평균 내는 것 (스테이크 50%, 바나나 50%) 과 같습니다. 이는 모델들이 서로 간섭하기 때문에 종종 나쁜 맛 (낮은 성능) 을 초래합니다.
다윈의 해결책은 셰프 A 의 어떤 칼을 가져오고 셰프 B 의 어떤 휘핑 도구를 가져와서 완벽하게 결합하는지 정확히 아는 똑똑한 수석 조리기 (sous-chef) 와 같습니다.

2. 다윈의 세 가지 비밀 재료

이 논문은 이러한 혼합을 성공적으로 만들기 위한 세 가지 주요 도구를 소개합니다:

A. "14 차원 게놈 (The 14-Dimensional Genome)" (레시피 책)

AI 모델을 여러 개의 방 (레이어) 이 있는 거대한 건물로 생각하세요. 다윈 팀은 14 개의 서로 다른 노브가 있는 '레시피 책'(이를 게놈이라고 부름) 을 만들었습니다.

건물 전체를 한 번에 섞는 대신, 노브를 돌려 다음과 같이 결정할 수 있습니다: "생각하는 방의 80% 는 셰프 A 에서 가져오되, 창의성 방의 20% 는 셰프 B 에서 가져오라."
그들은 진화 탐색 (evolutionary search) 이라는 컴퓨터 프로그램을 사용하여 수천 가지의 이러한 레시피를 자동으로 시도하고, 맛이 가장 좋은 것들은 유지하며 나쁜 것들은 버립니다.

B. "MRI-Trust Fusion" (똑똑한 가이드)

이것은 이 논문의 가장 큰 혁신입니다. 똑똑한 수석 조리기에게 AI 의 두뇌 내부에서 실제로 추론을 위해 무거운 일을 수행하는 부분을 보여주는 특수 스캐너 (MRI) 가 있다고 상상해 보세요.

문제: 때때로 스캐너는 약간 흐릿하거나 노이즈가 있을 수 있습니다. 때때로 레시피를 추측하는 컴퓨터도 잘못 추측할 수 있습니다.
해결책: 시스템에는 '신뢰 다이얼'( $\tau$ 라고 함) 이 있습니다. "우리는 MRI 스캐너를 얼마나 신뢰해야 하며, 컴퓨터의 무작위 추측을 얼마나 신뢰해야 할까?"라고 묻습니다.
시스템은 이 균형을 학습합니다. 스캐너가 "이 방은 논리에 중요합니다"라고 말하면 시스템은 귀를 기울입니다. 스캐너가 혼란스러우면 시스템은 컴퓨터의 시행착오에 더 의존합니다. 이 균형이 최종 결과를 매우 강력하게 만듭니다.

C. "아키텍처 매핑러 (The Architecture Mapper)" (번역기)

때로는 트랜스포머(표준 AI 구조) 로 구축된 모델과 맘바(더 새롭고 다른 구조) 로 구축된 모델을 섞고 싶을 수 있습니다. 그들은 서로 다른 '언어'를 사용합니다.

아키텍처 매핑러는 번역기와 같은 역할을 합니다. 두 모델을 살펴보고 "좋아, 비록 다르게 보이지만 모델 A 의 이 특정 부분은 모델 B 의 이 부분과 동일하다"라고 말합니다.
이를 통해 일반적으로 재학습 없이는 불가능했던 완전히 다른 유형의 AI 가족들 간의 부분들을 혼합할 수 있게 됩니다.

3. 결과: '슈퍼 셰프'의 등장

팀은 Darwin-27B-Opus라는 플래그십 모델로 이를 테스트했습니다.

테스트: 그들은 이 모델을 GPQA Diamond에 통과시켰는데, 이는 대학원 수준의 과학 및 논리 질문 (PhD 입학 시험과 유사) 을 테스트하는 매우 어려운 시험입니다.
점수: **86.9%**를 기록했습니다.
순위: 이는 평가된 1,252 개 모델 중 #6 위에 올랐습니다.
마법: 이는 자신의 '아버지' 모델 (원래 기반 모델) 을 능가했을 뿐만 아니라, 수개월간 훈련된 훨씬 더 큰 모델들조차 능가했습니다.
비용: 그들은 새로운 훈련 없이 이를 달성했습니다. 새로운 데이터를 공급하거나 비싼 수학 (기울기) 을 사용하여 가중치를 조정하지 않았습니다. 그들은 단순히 이미 가지고 있던 기존 가중치를 재배열했을 뿐입니다.

4. 그들이 발견한 것 ("아하!" 순간들)

"초점" 유지: 승리한 레시피들을 살펴보면 한 가지 패턴을 발견했습니다. 시스템은 거의 항상 원래 기반 모델의 '어텐션 (Attention)' 부분 (AI 가 올바른 단어에 집중하는 데 도움이 되는 부분) 을 유지했지만, 실제 계산을 수행하는 '피드포워드 (Feed-Forward)' 부분은 전문화된 모델로 교체했습니다. 이는 셰프의 안정적인 손은 유지하면서 새로운 레시피 책으로 교체하는 것과 같습니다.
어디서나 작동함: 그들은 40 억 개의 파라미터 (작은 규모) 에서 350 억 개의 파라미터 (큰 규모) 에 이르는 모델들에서 이를 테스트했습니다. 동일한 '혼합 규칙'이 모두에게 작동하여, AI 추론을 개선하는 보편적인 방법을 발견했음을 시사합니다.

요약

다윈 패밀리 논문은 더 똑똑한 AI 를 훈련시키기 위해 수백만 달러와 수개월의 시간이 항상 필요한 것은 아님을 증명합니다. 대신 기존 AI 모델을 가져와서 그들이 무엇을 알고 있는지 보기 위해 똑똑한 '스캐너'를 사용하고, 컴퓨터를 이용해 식물처럼 그들을 '교배'하여 부모보다 추론 능력이 뛰어난 새로운 더 똑똑한 모델을 만들 수 있습니다. 이는 새로운 훈련 코드를 한 줄도 작성하지 않고도 가능합니다.

핵심 교훈: 그들은 새로운 지식을 발명하지 않았습니다. 그들은 이미 모델 안에 숨겨져 있던 지식을 더 잘 작동하도록 재구성했을 뿐입니다.

기술 요약: 다윈 가족 – MRI 신뢰 가중 진화적 병합

1. 문제 제기

본 논문은 전통적인 사후 학습 파이프라인 (예: 지시 튜닝, 강화 학습, 증류) 을 통해 대규모 언어 모델 (LLM) 의 추론 능력을 개선하는 데 수반되는 높은 계산 비용과 재현성 문제를 다룹니다. 이러한 방법들은 작업 정확도를 향상시키지만, 추론의 충실도, 견고성, 그리고 전이성을 저하시킬 수 있습니다.

최근 진단 연구들은 핵심 추론 메커니즘이 사전 학습 중에 대부분 확립되며 모델 층 전반에 고르지 않게 분포되어 있고, 추론에 중요한 계산이 특정 층의 하위 집합에 국한되어 있음을 시사합니다. 이 관찰은 근본적인 질문을 제기합니다: 기존 체크포인트에 이미 인코딩된 잠재 능력을 재구성함으로써 추가 학습 없이 추론 성능을 개선할 수 있을까요?

본 논문은 모델 병합이 학습이 없는 대안을 제공한다고 주장합니다. 그러나 기존 병합 방법들은 다음과 같은 한계를 겪습니다:

정적 휴리스틱: 가중치 평균화나 고정 선형 결합과 같은 방법들은 이질적인 전문가들을 병합할 때 작업 간섭으로 인해 종종 실패합니다.
진단 무지: 현재의 진화적 병합 접근법은 모든 매개변수를 균일하게 병합 가능한 것으로 취급하고 추론 회로의 구조적 제약을 고려하지 못해 진단적 지침이 부족합니다.

2. 방법론: 다윈 프레임워크

다윈 프레임워크는 완전히 가중치 공간에서 작동하는 학습이 없고, 기울기가 없는 진화적 병합 프로세스를 도입합니다. 이는 진단적 지침과 진화적 탐색을 분리하고 명시적 융합 메커니즘을 통해 이를 조화시킵니다.

핵심 구성 요소

모델 층 응답 중요도 (MRI):
- 개별 매개변수 텐서의 추론 행동에 대한 기능적 관련성을 추정하는 진단적 사전 지식입니다.
- 정적 텐서 통계 (정규화 엔트로피, 분산, 캡핑된 $\ell_2$ -노름) 와 프로브 기반 기능적 응답 (추론 조건부 활성화와 일반 활성화 간의 코사인 거리) 을 결합합니다.
- MRI 는 특정 텐서에 대한 부모 모델 매개변수의 상대적 중요도를 나타내는 소프트 사전 비율 ( $r_{MRI}$ ) 을 생성합니다.
14 차원 적응형 병합 게놈:
- 다윈은 병합 전략을 다음을 제어하는 14 차원 벡터 ( $g$ $g$ ) 로 인코딩합니다:
  - 글로벌 병합 균형 ( $\gamma$ ).
  - 어텐션 ( $\alpha_{attn}$ ), 피드포워드 네트워크 ( $\alpha_{ffn}$ ), 임베딩 ( $\alpha_{emb}$ ) 에 대한 구성 요소별 혼합 비율.
  - 부모 델타에 대한 희소화 밀도 ( $\rho_A, \rho_B$ ).
  - 블록 수준 전문화 계수 ( $r_0 \dots r_5$ ).
  - MRI 신뢰 매개변수 ( $\tau$ ) 및 병합 커널 보간 동작 ( $\lambda$ ).
- 이를 통해 균일한 평균화가 아닌 세밀한 구성 요소 및 블록 수준의 재조합이 가능해집니다.
MRI 신뢰 융합:
- 진단 신호와 진화적 탐색을 적응적으로 균형 잡는 핵심 혁신입니다.
- 최종 병합 비율 ( $r_{final}$ ) 은 다음과 같이 정의됩니다:
  $r_{final}(T) = \tau \cdot r_{MRI}(T) + (1 - \tau) \cdot r_{genome}(T)$
- 신뢰 매개변수 $\tau \in [0, 1]$ 은 진화를 통해 학습되어, 시스템이 구조적 사전 지식을 유지하면서 진단 노이즈를 수정할 수 있게 합니다.
아키텍처 매핑러:
- 이질적인 모델 가족 (예: 트랜스포머와 맘바) 간의 교차 아키텍처 교배를 가능하게 합니다.
- 기능적 역할, 차원 일관성, 매개변수 형태 유사성에 기반한 호환성 점수를 계산하여 수치적 재조합 전에 텐서 수준의 대응 관계를 확립합니다.
진화적 최적화 (2 단계):
- 1 단계: 가벼운 프록시 적합도 점수를 사용한 구조적 선별을 통해 비현실적인 게놈을 필터링합니다.
- 2 단계: 추론 벤치마크에서 고품질 후보들의 경험적 평가를 통해 최종 모델을 선택합니다.
- 이 프레임워크는 파괴적 간섭을 완화하고 선형 보간 및 SLERP 를 능가하는 주 병합 커널로 DARE-TIES(작업 간격 제거를 통한 드롭 앤 리스케일) 를 활용합니다.

3. 주요 기여

진단 유도 진화적 병합: 모델 병합을 위한 진화적 탐색에 기능적 중요도 진단 (MRI) 을 직접 통합하여 "맹목적인" 최적화를 넘어선 최초의 프레임워크입니다.
MRI 신뢰 융합: 잠재적으로 노이즈가 있는 신호에 대한 과도한 의존을 방지하기 위해 진단적 사전 지식과 진화적 탐색 간의 의존성을 동적으로 균형 잡는 학습 가능한 메커니즘입니다.
교차 아키텍처 교배: 학습 없이 이질적 구성 요소 (예: 트랜스포머 어텐션과 맘바 상태 공간 피드포워드 층) 의 재조합을 가능하게 하는 아키텍처 매핑러입니다.
규모 불변 원리: 진화된 게놈에서 발견된 안정적인 구조적 패턴, 구체적으로 베이스 모델의 어텐션 층을 비대칭적으로 보존하고 전문화 모델의 피드포워드 층을 공격적으로 재조합하는 패턴입니다.

4. 실험 결과

이 프레임워크는 4B 에서 35B 파라미터에 이르는 모델들을 통해 검증되었습니다.

주요 성능 (Darwin-27B-Opus):
- GPQA Diamond 벤치마크에서 86.9% 를 달성했습니다.
- 2026 년 4 월 기준, 평가된 1,252 개 모델 중 #6 위를 기록했습니다.
- 기울기 기반 학습 없이 완전히 학습된 기반 모델 (Qwen3.5-27B) 과 추론 증류 부모 모델보다 우수한 성능을 보였습니다.
- 정적 기준 (Simple Avg, SLERP) 과 진단적 지침이 없는 진화적 기준보다 일관된 개선을 입증했습니다.
일반화:
- 규모: 4B 에서 35B 에 이르는 모델들이 부모 모델보다 일관되게 개선되었습니다.
- 세대: 이 프레임워크는 재귀적 다세대 진화를 지원합니다 (예: Darwin-4B-Opus 에서 진화한 Darwin-4B-David).
- 아키텍처: Darwin-4B-Genesis 는 트랜스포머와 맘바 구성 요소를 성공적으로 병합하여 대상 벤치마크에서 두 부모 모델 모두를 능가했습니다.
어블레이션 연구:
- MRI 지침을 제거 ( $\tau=0$ ) 한 경우 성능이 크게 저하되었습니다 (GPQA 에서 84.4% 대 86.9%).
- 정적 MRI 만에 의존하는 경우 ( $\tau=1$ ) 역시 적응형 변형보다 성능이 낮아, 진단과 진화적 탐색의 균형이 필수적임을 확인했습니다.
- DARE-TIES 가 선형 보간 및 SLERP 보다 우월한 병합 커널로 확인되었습니다.

5. 중요성과 주장

본 논문은 다윈 가족이 비용이 많이 드는 사후 학습 파이프라인에 대한 실용적이고 재현 가능한 대안으로서 진단 유도 진화적 병합을 증명한다고 주장합니다.

비용 효율성: 이 접근법은 기존 사전 학습이나 파인튜닝보다 3 배에서 6 배 낮은 계산 비용으로 최첨단 수준의 추론 성능을 달성합니다.
재구성 대 생성: 이 프레임워크는 ex nihilo(무에서) 새로운 능력을 창출하지 않습니다. 대신 사전 학습된 체크포인트에 이미 인코딩된 잠재 능력을 재구성합니다. 부모가 상호 보완적인 추론 구조를 possess 할 때 가장 효과적입니다.
오픈 사이언스: 모든 모델, V6 코드베이스, 그리고 MRI 도구는 독립적인 검증과 원칙적이고 진단 유도된 가중치 공간 최적화에 대한 연구를 촉발하기 위해 Apache 2.0 라이선스로 공개됩니다.

저자들은 부모 능력에 대한 의존성 (결손된 기술은 복구 불가), 아키텍처 정합 제약 (최적 성능을 위해 공통 베이스 필요), 그리고 진화적 탐색의 비영구 비용 등을 포함한 한계를 인정합니다. 그러나 그들은 다윈을 추론 능력의 효율적이고 학습이 없는 확장을 향한 중요한 단계로 위치시킵니다.