💬 NLP

InfiGFusion: Graph-on-Logits Distillation via Efficient Gromov-Wasserstein for Model Fusion

InfiGFusion 은 어휘 채널 간의 의미적 의존성을 포착하기 위해 효율적인 폐형식 그로모프-워슈타인 근사를 활용한 그래프 온 로짓 증류 방식을 적용하는 구조 인식 모델 융합 프레임워크를 도입하여 복잡한 추론 작업에서 기존 베이스라인을 크게 능가합니다.

원저자: Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Yanggan Gu, Fei Wu, Hongxia Yang

게시일 2026-05-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Yanggan Gu, Fei Wu, Hongxia Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

세 명의 서로 다른 전문가 요리사를 상상해 보세요. 한 명은 이탈리아 파스타의 대가이고, 다른 한 명은 매운 인도 커리의 마법사이며, 세 번째는 프랑스 제과를 만드는 천재입니다. 여러분은 세 사람을 따로 고용할 필요 없이 세 가지 요리를 완벽하게 요리할 수 있는 단일 "슈퍼 셰프"를 만들고 싶어 합니다.

이는 인공지능에서의 모델 퓨전 (Model Fusion) 의 과제입니다. 이 논문은 챗봇을 구동하는 것과 같은 대규모 언어 모델 (LLM) 을 위해 이 문제를 해결하는 새로운 방법인 InfiGFusion을 소개합니다.

다음은 이 논문이 간단한 비유를 사용하여 그들의 해결책을 설명하는 방식입니다:

1. 문제: "솔로" 접근법 대 "팀" 접근법

대부분의 현재 AI 모델 결합 방법들은 슈퍼 셰프에게 파스타 재료 목록을 먼저 보고, 커리 재료 목록을 본 다음, 한 가지 재료씩 맛을 결정하도록 요청하는 것과 같습니다.

결함: 이는 재료들이 어떻게 상호작용하는지를 무시합니다. 실제 레시피에서 마늘과 레몬은 특정 맛을 만들어내기 위해 함께 작용합니다. 이를 별개의 항목으로 취급하면 "맛의 프로필"이나 의미적 의존성 (semantic dependency) 을 놓치게 됩니다.
논문의 관점: 기존 방법들은 AI 의 "생각"(logits 라고 함) 을 단어별로 봅니다. 그들은 "AI 는 '고양이'가 유력하다고 생각하고, '개'도 유력하다고 생각한다"고 말하지만, AI 가 '고양이'와 '개' 사이에 '동물'이라는 관계를 본다는 사실을 이해하지 못합니다. 그들은 생각의 구조를 놓칩니다.

2. 해결책: 생각의 지도 그리기 (Graph-on-Logits)

InfiGFusion 은 개별 단어를 보는 대신 그들이 어떻게 연결되는지를 봄으로써 게임의 규칙을 바꿉니다.

비유: AI 의 생각이 단순한 단어 목록이 아니라 소셜 네트워크라고 상상해 보세요.
- 노드 (사람들): AI 가 말할 수 있는 각 가능한 단어는 한 사람입니다.
- 엣지 (우정): AI 가 종종 '불'과 '연기'를 함께 생각한다면, 그들 사이에는 강한 우정 선이 존재합니다.
혁신: AI 가 예측하는 단어 목록을 단순히 비교하는 대신, InfiGFusion 은 우정 관계의 전체 지도를 비교합니다. 질문은 다음과 같습니다: "슈퍼 셰프의 '불'과 '연기'의 관계에 대한 지도가 이탈리아 셰프와 인도 셰프의 지도와 유사한가?"

3. 비밀 소스: "그로모프 - 워스터스타인 (Gromov-Wasserstein)" 거리 (형태 매칭기)

이러한 복잡한 지도를 비교하기 위해 저자들은 그로모프 - 워스터스타인 (GW) 거리라는 수학적 도구를 사용합니다.

비유: 점토로 만든 두 가지 다른 모양을 가지고 있다고 상상해 보세요. 하나는 정육면체, 하나는 구입니다. 이 둘이 얼마나 유사한지 알고 싶습니다.
- 옛 방법: 모든 단일 점의 높이, 너비, 깊이를 측정합니다. 이는 느리고 지저분합니다.
- GW 방법: 사물의 형태를 봅니다. 정육면체에 모서리가 있는가? 구에 곡선이 있는가? 점 자체뿐만 아니라 점들 사이의 관계를 비교합니다.
GW 의 문제: 일반적으로 이러한 "형태 매칭"은 매우 느리고 계산 비용이 많이 듭니다 (10 억 개의 조각으로 퍼즐을 푸는 것과 같습니다). AI 를 학습시키는 데 너무 많은 시간이 걸릴 것입니다.

4. 돌파구: "정렬" 단축키

이 논문의 가장 큰 기술적 성과는 이러한 형태 매칭을 빠르게 수행하는 새로운 방법입니다.

비유: 소셜 네트워크의 모든 사람을 일일이 매칭하려고 시도하는 대신, 그들이 얼마나 인기 있는지 (얼마나 많은 연결을 가지고 있는지) 에 따라 모든 사람을 순위 매기기만 하면 된다는 사실을 깨달았습니다.
- 만약 "슈퍼 셰프"에게 5 위 인기인인 "불"이라는 사람이 있고, "소스 셰프"에게도 5 위 인기인인 "불"이라는 사람이 있다면, 그들을 매칭합니다!
결과: 이 "정렬" 트릭은 영원히 걸리던 작업 (O(n⁴)) 을 거의 즉시 완료되는 작업 (O(n log n)) 으로 바꿉니다. 10 시간의 하이킹을 10 분의 자전거 타기로 바꾸는 것과 같습니다.

5. 결과: "생각"에 더 능숙함

저자들은 이 새로운 "슈퍼 셰프"를 수학, 코딩, 논리 퍼즐을 포함한 11 가지 다른 과제에서 테스트했습니다.

결과: InfiGFusion 은 이전 방법들보다 복잡한 추론에서 훨씬 더 뛰어났습니다.
- 예시: "다단계 산술" 테스트 (여러 단계가 필요한 수학 문제 해결) 에서 35.6 점 향상되었습니다.
- 예시: "인과적 판단" (A 가 B 를 유발했는지 파악) 에서 37 점 향상되었습니다.
이유: 그것은 아이디어 간의 관계를 보존했기 때문입니다. 단순히 답을 외운 것이 아니라, 소스 모델들이 추론한 논리를 학습했습니다.

요약

InfiGFusion은 AI 모델을 결합하는 새로운 방법입니다. 단순히 단어로 답을 복사하는 대신, 생각의 구조를 복사합니다. AI 의 예측을 연결의 지도처럼 취급하고, 이러한 지도를 빠르게 정렬하기 위해 교묘한 "정렬" 트릭을 사용합니다. 그 결과, 고립된 단어만 보는 모델들보다 복잡한 다단계 문제 해결에 훨씬 더 똑똑한 퓨전 AI 가 만들어집니다.

기술 요약: InfiGFusion

문제 제기
이질적인 대규모 언어 모델 (LLM) 을 통합된 시스템으로 융합하려는 최근 노력은 주로 로그it 기반 증류 방법에 의존해 왔습니다. 이러한 접근법은 추론 효율성을 유지하지만, 어휘 차원을 독립적으로 취급하며 KL 발산이나 워서슈타인 거리와 같은 목적 함수를 통해 토큰 분포를 정렬합니다. 이러한 토큰 단위 정렬은 모델의 내부 추론 과정을 인코딩하는 차원 간 상호작용 및 공동 활성화 패턴인 의미적 의존성을 간과합니다. 결과적으로 기존 방법들은 다단계 추론, 관계 추론, 그리고 세밀한 의미 정렬이 필요한 작업에서 발산하는 생성 행동을 보이는 모델들을 정렬하는 데 어려움을 겪습니다.

방법론: InfiGFusion
저자들은 이러한 의미적 의존성을 명시적으로 모델링하는 구조 인식 융합 프레임워크인 InfiGFusion을 제안합니다. 핵심 혁신은 다음과 같이 작동하는 로그it 그래프 증류 (GLD) 손실 함수입니다:

로그it 그래프 구성: 로그it 를 독립적인 벡터로 취급하는 대신, 이 방법은 글로벌 공동 활성화 그래프를 구성합니다. 각 출력에 대해 희소성을 보장하기 위해 상위-k 개의 로그it 를 유지합니다. 시퀀스 위치 전반에 걸친 이러한 로그it 의 외적 (outer products) 을 집계하여 그래프를 형성하는데, 여기서 노드는 어휘 채널을 나타내고 에지는 그들의 공동 활성화 (유사성) 를 정량화합니다.
구조 인식 정렬: 소스 모델의 로그it 그래프를 피벗 모델과 정렬하기 위해, 이 프레임워크는 그로모프 - 워서슈타인 (GW) 거리를 사용합니다. GW 는 직접적인 노드 대응이 아닌 내부 구조적 유사성에 기반하여 분포를 매칭할 수 있는 능력 때문에 선택되었습니다.
효율적인 근사: 표준 GW 거리 계산은 금지적인 $O(n^4)$ $O (n^{4})$ 복잡성을 가지므로 대규모 어휘 ( $n > 10^5$ $n > 1 0^{5}$ ) 에는 불가능합니다. 저자들은 복잡성을 $O(n \log n)$ 으로 줄이는 새로운 정렬 기반 폐형식 근사를 도입했습니다.
- 그래프 특징 압축: 유사도 행렬을 스칼라 노드 수준 특징 (구체적으로 행 평균 또는 차수 스타일 특징) 으로 압축합니다.
- 정렬 기반 매칭: 정렬은 이러한 특징들을 정렬하고 소스의 $i$ 번째 최대 항목을 타겟의 $i$ 번째 최대 항목과 매칭함으로써 수행됩니다.
- 이론적 보장: 논문은 $\frac{n-1}{n^2} + \frac{m-1}{m^2}$ 의 증명 가능한 근사 오차 한계를 제공하며, 이는 $O(1/n)$ 으로 감소합니다. 또한, 저자들은 GW 유도 손실이 KL 및 표준 워서슈타인 손실에 비해 현저히 낮은 리프시츠 상수를 가진다는 것을 증명하여 더 엄격한 일반화 한계와 더 안정적인 훈련을 시사합니다.
통합 목적 함수: 최종 훈련 목적 함수는 구조 인식 GLD 손실과 거시적 범위의 범용 로그it 증류 (ULD) 손실 (토큰 수준 분포 정렬용) 및 표준 지도 미세 조정 (SFT) 신호를 결합합니다.

주요 기여

최초의 구조 인식 융합 프레임워크: InfiGFusion은 특징 수준 로그it 그래프를 통해 의미적 의존성을 모델링하고 새로운 GLD 손실을 사용하여 이를 정렬하는 최초의 방법으로, 독립적인 토큰 정렬을 넘어섭니다.
확장 가능한 GW 근사: 저자들은 계산 복잡성을 $O(n^4)$ 에서 $O(n \log n)$ 으로 줄이고 증명 가능한 오차 한계를 갖는 그로모프 - 워서슈타인 거리에 대한 폐형식 근사를 제안하여, LLM 규모 어휘에 대한 그래프 기반 정렬을 가능하게 합니다.
추론에서의 경험적 우위: 추론, 코딩, 수학, 그리고 지시 따르기 등 11 개 벤치마크에 걸친 광범위한 실험을 통해 InfiGFusion 이 최첨단 융합 베이스라인 (예: MiniLogit, FuseLLM, FuseChat) 과 SFT 베이스라인을 일관되게 능가함을 입증했습니다.

결과
이 방법은 Qwen2.5, Mistral, Qwen2.5-Coder 등 여러 소스 모델을 Phi-4 피벗 모델로 융합하여 추론, 코딩, 수학, 지시 따르기 등 11 개 벤치마크에서 평가되었습니다.

복잡한 추론 향상: InfiGFusion 은 다단계 및 관계 추론이 필요한 작업에서 상당한 개선을 보여주었습니다. 특히, SFT 베이스라인 대비 다단계 산술에서 +35.6 점 향상을, 인과 판단에서 +37.06 점 향상을 달성했습니다.
전체 성능: 이 모델은 다양한 도메인에서 피벗 및 소스 모델을 능가하여 피벗의 79.54 점 대비 평균 83.85 점을 달성했습니다.
효율성: 구조적 정렬에도 불구하고, 이 방법은 훈련에 195 GPU 시간을만 요구하여 FuseChat(650 GPU 시간) 과 같은 다단계 융합 파이프라인보다 훨씬 적은 비용으로 경쟁력 있는 효율성을 유지했습니다.
절차 제거 연구: 실험은 ULD(거시적 정렬) 와 GLD(구조적 정렬) 구성 요소 모두 필요하며, GLD 가 특히 추론 작업에서의 향상을 주도한다는 것을 확인했습니다.

의의
이 논문은 InfiGFusion 이 모델 융합의 중요한 격차, 즉 모델 추론의 기반이 되는 관계 구조를 포착하지 못하는 토큰 수준 목적 함수의 한계를 해결한다고 주장합니다. 주변 분포뿐만 아니라 로그it 공간의 "형태"를 명시적으로 정렬함으로써, 이 프레임워크는 추론 비용을 증가시키지 않고 이질적인 LLM 들의 통합을 가능하게 합니다. 저자들은 이러한 구조 보존 정렬이 특히 논리적 일관성과 다중 홉 추론이 최우선인 복잡한 추론 시나리오에서 집단적 LLM 능력을 발전시키는 데 필수적이라고 봅니다. 이 연구는 모델 융합의 향후 진전이 일관된 추론을 주도하는 내부 의미적 의존성을 보존하기 위해 표면적인 토큰 매칭을 넘어설 때 이루어질 것임을 시사합니다.