💬 NLP

Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning

이 논문은 분포 외 일반화(out-of-distribution generalization)를 예측하는 그래디언트 기반 다양성 지표인 G-Vendi를 소개하며, 이를 활용하여 미지의 벤치마크에서 LLM의 추론 성능을 크게 향상시키고 훨씬 더 큰 규모의 독점 데이터셋으로 학습된 모델들을 능가하는 다양한 합성 데이터를 생성하는 프레임워크인 Prismatic Synthesis를 개발한다.

원저자: Jaehun Jung, Seungju Han, Ximing Lu, Skyler Hallinan, David Acuna, Shrimai Prabhumoye, Mostafa Patwary, Mohammad Shoeybi, Bryan Catanzaro, Yejin Choi

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jaehun Jung, Seungju Han, Ximing Lu, Skyler Hallinan, David Acuna, Shrimai Prabhumoye, Mostafa Patwary, Mohammad Shoeybi, Bryan Catanzaro, Yejin Choi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 똑똑한 로봇에게 퍼즐 푸는 법을 가르치려 한다고 상상해 보세요. 당신에게는 방대한 퍼즐 책 도서관이 있지만, 그 책들은 모두 똑같이 지루한 스타일로 쓰여 있고, 똑같은 농담과 똑같은 유형의 수수께끼만을 담고 있습니다. 만약 당신이 로봇에게 오직 그 책들만 학습시킨다면, 로봇은 '그 특정' 퍼즐에는 달인이 될지 모르지만, 한 번도 본 적 없는 새롭고 이상한 퍼즐을 받게 되면 아마 막혀버릴 것입니다. 이것이 바로 오늘날 가장 똑똑한 챗봇들의 뒤에 있는 AI의 두뇌인 거대 언어 모델(LLM)의 세계입니다. 과학자들은 이 로봇들을 진정으로 똑똑하게 만들기 위해서는 '다양한' 학습 데이터, 즉 서로 다른 종류의 예시가 많이 필요하다는 것을 오래전부터 알고 있었습니다. 하지만 까다로운 점은, 다양성을 실제로 어떻게 '측정'하느냐 하는 것입니다. 단순히 단어가 다양한 것일까요? 아니면 주제가 다양한 것일까요? 아니면 로봇이 생각하는 법을 배우는 데 정말로 도움이 되는, 더 깊고 보이지 않는 어떤 자질이 있는 것일까요? 이 논문은 이 미스터리를 파고들며, 우리가 로봇이 미지의 영역을 처리하는 능력을 예측할 수 있는 데이터 속의 '비법 소스'를 찾을 수 있는지 묻습니다.

이 연구를 수행한 NVIDIA와 여러 대학의 연구진은 추측하는 것을 멈추고 측정을 시작하기로 했습니다. 그들은 G-Vendi라는 새로운 도구를 만들었는데, 이는 학습 데이터에 대한 특수한 X-레이 역할을 합니다. G-Vendi는 얼마나 많은 다양한 단어를 사용하는지 세거나 이야기가 얼마나 다르게 들리는지 확인하는 것과 같은 표면적인 수준을 보는 대신, '그래디언트(gradient)'를 봅니다. 그래디언트를 로봇이 데이터를 통해 배우려고 할 때 데이터가 남기는 작고 보이지 않는 발자국이라고 생각해 보세요. 만약 두 퍼즐이 매우 유사한 발자국을 남긴다면, 그것들은 로봇에게 똑같은 것을 똑같은 방식으로 가르치고 있는 것입니다. 만약 발자국이 매우 다르다면, 그것들은 로봇에게 새로운 것을 가르치고 있는 것입니다. G-Vendi는 이 발자국들의 '엔트로피'(또는 혼돈)를 측정함으로써, 데이터셋이 진정으로 얼마나 다양한지를 알려줄 수 있습니다.

연구팀은 300개가 넘는 서로 다른 버전의 로봇을 3백만 개의 합성 퍼즐 샘로 학습시키는 대규모 실험을 진행했습니다. 그 결과, G-Vendi는 일반화 능력을 보여주는 수정구슬이라는 것을 발견했습니다. G-Vendi 점수가 높은 데이터셋(즉, 발자국이 사방에 흩어져 있어 사고하는 방식의 다양한 경로를 포괄하는 데이터셋)을 선택했을 때, 결과물인 로봇들은 한 번도 본 적 없는 새로운 퍼즐을 해결하는 데 놀라울 정도로 뛰어난 능력을 보였습니다. 사실, 상관관계가 매우 강력하여(1.0 중 약 0.9), 이 다양성 점수는 로봇이 보지 못한 테스트에서 얼마나 잘 수행할지를 거의 완벽하게 예측했습니다. 이는 '비법 소스'가 단순히 많은 데이터를 갖는 것이 아니라, 로봇의 뇌를 다양한 방향으로 확장하도록 강제하는 데이터를 갖는 것임을 시사합니다.

이 발견을 바탕으로, 연구팀은 Prismatic Synthesis라는 새로운 방법을 발명했습니다. 당신이 가장 맛있는 수프를 만들려는 요리사라고 상상해 보세요. 단순히 냄비에 재료를 더 많이 집어넣는 대신, 수프를 맛보고 특정 풍미가 부족하다는 것을 깨달은 뒤, 그 부족한 재료를 구체적으로 찾아 나서는 것과 같습니다. Prismatic Synthesis는 AI 데이터에 대해 정확히 이와 같이 작동합니다. 이 방법은 '그래디언트 공간'(발자국)을 살펴보고, 로봇이 아직 많이 배우지 못한 빈 공간을 찾아낸 다음, 강력한 AI를 사용하여 그 빈틈을 메우기 위해 특별히 설계된 새로운 퍼즐을 생성합니다. 이는 피드백 루프와 같습니다. 데이터를 생성하고, 로봇이 어디에서 약한지 확인하고, 그 약점을 보완하기 위해 더 많은 데이터를 생성하며, 이를 반복하는 것입니다.

결과는 놀라웠습니다. 그들은 이 방법을 사용하여 수학적 추론(PrismMath)과 자연어 추론(PrismNLI)을 위한 두 가지 새로운 데이터셋을 만들었습니다. 비록 이 데이터들이 인간의 도움 없이 전적으로 AI에 의해 생성되었음에도 불구하고, 이 데이터로 학습된 모델들은 믿기 힘들 정도로 강력했습니다. 예를 들어, 320억 개의 파라미터를 가진 AI가 생성한 데이터로 학습된 그들의 PrismMath-7B 모델은, 6710억 개의 파라미터를 가진 거대한 AI가 생성한 데이터로 학습된 최첨단 모델을 7개의 도전적인 수학 벤치마크 중 6개에서 이겼습니다. 이것은 엄청난 일인데, 왜냐하면 당신이 똑똑한 학생을 만들기 위해 반드시 거대하고 비싼 '선생님' AI가 필요한 것은 아니며, 단지 적절하고 다양한 데이터가 필요하다는 것을 시사하기 때문입니다.

또한 이 논문은 몇 가지 인기 있는 아이디어들을 명시적으로 배제합니다. 그들은 전략 없이 점점 더 많은 데이터를 생성하는 것에 불과한 '나이브 스케일링(naive scaling)'을 테스트했고, 이것이 빠르게 한계에 부딪힌다는 것을 발견했습니다. 로봇은 어느 시점이 지나면 지루해하거나 혼란스러워합니다. 또한, AI에게 다양한 캐릭터(해적, 로봇, 시인 등)처럼 행동하라고 지시하는 '페르소나 가이드형' 생성을 테스트했습니다. 이것은 처음에는 약간 도움이 되었지만, 결국 정체기에 도달했는데, 그 이유는 이 방식이 텍스트의 '스타일'만 바꿀 뿐 문제를 해결하는 데 필요한 '사고 과정'은 바꾸지 못했기 때문입니다. 논문은 표면적인 풍미를 바꾸는 것만으로는 충분하지 않으며, 근본적인 인지 과정을 바꿔야 한다는 것을 보여줍니다.

결론적으로, 이 연구는 더 똑똑한 AI로 가는 길이 단순히 더 많은 데이터나 더 큰 컴퓨터를 갖는 것에 달려 있지 않음을 시사합니다. 그것은 전략적이어야 합니다. G-Vendi와 같은 도구를 사용하여 데이터의 진정한 '사고 다양성'을 측정하고, Prismatic Synthesis와 같은 방법을 사용하여 로봇의 지식 공백을 공략함으로써, 우리는 훨씬 더 잘 일반화되는 모델을 구축할 수 있습니다. 저자들은 높은 다양성을 가진 작고 정교하게 큐레이션된 데이터셋이 다양성이 결여된 열 배 더 큰 데이터셋보다 종종 더 뛰어난 성능을 낸다는 것을 발견했습니다. 이는 AI의 세계에서, 생각의 질이 단지 단어의 양보다 더 중요할 수 있다는 점을 상기시켜 줍니다.

기술 요약: 프리즘틱 신세시스 (Prismatic Synthesis)

문제 정의

대규모 언어 모델(LLM)의 효과적인 일반화는 학습 데이터의 다양성에 결정적으로 의존합니다. 그러나 데이터 다양성을 측정하고 보장하기 위한 기존 방법들은 대개 실제 모델의 행동과 분리된 표면 수준의 휴리스틱(예: 어휘적 변이, 시맨틱 임베딩 거리)에 의존합니다. 결과적으로, 어떤 특정 유형의 다양성이 추론 작업의 일반화를 유도하는지, 그리고 이를 어떻게 효과적으로 정량화할 수 있는지는 여전히 불분명합니다. 현재의 접근 방식들은 분포 외(Out-of-Distribution, OOD) 성능과 상관관계를 맺는 데 자주 실패하며, 합성 데이터를 단순히 규모만 키우는 방식은 일반화 개선 없이 조기 포화 상태에 이르는 경우가 많습니다.

방법론

1. G-Vendi: 그래디언트 기반 다양성 지표

저자들은 표면적 특징이 아닌 모델 유도 그래디언트(model-induced gradients)의 엔트로피를 기반으로 데이터 다양성을 정량화하는 새로운 지표인 G-Vendi를 도입합니다.

그래디언트 표현: 각 학습 샘플 $(x, y)$ 에 대해, 소규모의 기성 프록시 모델(예: Qwen2.5-0.5B-Instruct)을 사용하여 정규화된 손실 그래디언트 벡터를 계산합니다. 차원 관리를 위해, 이 고차원 그래디언트들은 라데마커 무작위 투영(Rademacher random projection)을 사용하여 저차원 공간( $d=1024$ )으로 투영됩니다.
엔트로피 계산: 데이터셋의 다양성은 투영된 그래디언트의 정규화된 공분산 행렬의 지수 엔트로피를 계산함으로써 측정됩니다. 이는 벤디 스코어(Vendi Score)에서 유도되었으며, 점수가 높을수록 그래디언트의 분산이 많은 방향으로 분포되어 있음(높은 다양성)을 의미하고, 점수가 낮을수록 몇몇 방향에 집중되어 있음(낮은 다양성)을 의미합니다.
장점: 임베딩 기반 지표와 달리, G-Vendi는 작업 특화적인 인지 과정을 포착합니다. 추가적인 모델 훈련(warm-up)이 필요 없으며 계산 효율적입니다.

2. 다양성의 경험적 검증

저자들은 자연어 추론(NLI) 및 수학 추론 작업에 걸쳐 300회 이상의 대규모 학습 실행을 포함한 경험적 분석을 수행했습니다.

설정: 각 작업에 대해 150만 개의 샘플로 구성된 합성 데이터 풀을 생성하고, 다양성과 규모를 제어하여 300개의 서로 다른 서브셋을 샘플링했습니다.
결과:
- 상관관계: G-Vendi는 미학습 OOD 벤치마크에서의 모델 성능과 강한 상관관계(Spearman's $\rho \approx 0.9$ )를 보였으며, 임베딩 기반 지표 및 2-gram 엔트로피와 같은 휴리스틱 측정치를 크게 상회했습니다.
- 다양성 vs 규모: OOD 일반화를 위해서는 다양성이 규모보다 더 중요한 경우가 많았습니다. 높은 다양성을 가진 작은 데이터셋이 낮은 다양성을 가진 10배 큰 데이터셋보다 더 우수한 성능을 낼 수 있습니다. 반대로, 분포 내(In-Distribution, ID) 성능에는 규모가 지배적인 요소입니다.
- 작업 관련성: 실험 결과, G-Vendi는 수학 작업에서 '페르소나'나 시맨틱 다양성보다 '추론 패턴'의 다양성이 더 중요하다는 것을 정확히 식별해 낸 반면, 임베딩 지표는 주로 후자를 우선시했습니다.

3. 프리즘틱 신세시스(Prismatic Synthesis) 프레임워크

G-Vendi의 통찰력을 바탕으로, 저자들은 그래디언트 공간에서 과소 표현된 영역을 타겟팅하여 다양한 합성 데이터를 생성하는 반복적 프레임워크인 Prismatic Synthesis를 제안합니다.

1단계 (클러스터링): 데이터 풀에 존재하는 기존 샘플들을 그래디언트 공간에서 K-means를 사용하여 클러스터링합니다.
2단계 (생성): 대규모 LLM(예: Qwen2.5-72B)과 소규모 추론 모델(예: 수학 솔루션을 위한 R1-32B)을 사용한 퓨샷 프롬프팅을 통해 새로운 샘플을 생성합니다.
3단계 (다양화): 가장 희소한 클러스터(예: 멤버 수가 가장 적은 상위 20%의 클러스터)에 속하는 샘플만을 데이터 풀에 추가합니다.
반복: 이 과정은 데이터셋의 규모를 키우면서 다양성을 극대화하기 위해 그래디언트 공간의 빈틈을 탐욕적(greedily)으로 채우며 반복됩니다.
품질 관리: 파이프라인에는 인간의 주석 없이도 데이터 품질을 보장하기 위한 다수결 투표 필터링(정확성 검증을 위한 다중 솔루션 샘플링) 및 디컨테미네이션(10-gram 매칭 및 LLM 기반 패러프레이즈 탐지)이 포함됩니다.

주요 기여

G-Vendi 지표: OOD 일반화를 강력하게 예측하며 임베딩 기반 베이스라인을 능가하는, 그래디언트 엔트로피 기반의 확장 가능하고 작업 민감한 다양성 지표를 제공합니다.
Prismatic Synthesis: 단순한 규모 확장이나 휴리스틱 다양화(예: 페르소나 가이드 생성)에서 나타나는 조기 포화 현상을 피하고, 다양한 합성 데이터를 생성하는 원칙적인 알고리즘을 제시합니다.
최첨단 모델: 훨씬 더 크거나 독점적이거나 인간이 검증한 데이터셋으로 학습된 모델을 능가하는 모델을 생성하는 Nemotron-PrismMath 및 PrismNLI 데이터셋을 구축했습니다.

결과

수학 추론: Prismatic Synthesis를 통해 생성된 100만 개의 합성 샘플으로 32B LLM으로부터 증류(distilled)되어 학습된 PrismMath-7B는, 671B 모델로부터 생성된 데이터로 학습된 R1-Distill-Qwen-7B를 7개의 도전적인 벤치마크 중 6개에서 능가했습니다 (예: AIME24에서 671B 증류 베이스라인의 47.91% 대비 57.08% 달성).
NLI: PrismNLI(515K 샘플)는 규모가 절반에 불과하고 인간의 주석이 필요 없음에도 불구하고, 기존의 대규모 데이터셋 혼합물(WANLI, MNLI, SNLI)보다 OOD 성능을 평균 8% 향상시켰습니다.
스케일링 동작: 바닐라 퓨샷 및 페르소나 가이드 생성은 약 50K~100K 샘플 부근에서 포화되는 반면, Prismatic Synthesis는 100만 샘플 규모까지 모델 성능을 지속적으로 개선합니다.

의의 및 주장

본 논문은 단순히 데이터 규모를 키우거나 더 강력한 데이터 생성기에 의존하는 것보다, 그래디언트 공간에서의 전략적 다양화가 모델 일반화의 더 효과적인 동력이라고 주장합니다. 그래피언트가 포착하는 근본적인 인지 과정으로 초점을 전환함으로써, 저자들은 다음을 입증했습니다:

데이터 다양성은 추론 작업의 OOD 강건성을 예측하는 주요 지표입니다.
고품질의 다양한 합성 데이터는 완전히 자동화된 방식으로 생성될 수 있으며, 이는 잠재적으로 비용이 많이 드는 인간의 큐레이션과 방대한 독점 데이터에 대한 의존도를 줄일 수 있습니다.
G-Vendi 지표는 일반화 능력을 극대화하는 학습 데이터를 큐레이션하기 위한 신뢰할 수 있고 효율적인 도구를 제공합니다.

저자들은 데이터 품질을 통제하지 않은 상태에서 G-Vendi가 임의의 데이터셋 비교를 위한 만능 해결책(panacea)은 아니라는 점을 언급하며 신중한 입장을 유지하며, 그들의 일반화 메트릭이 기존 벤치마크들의 성능을 종합하는 것에 기반하고 있음을 명시합니다. 그들은 자신들의 접근 방식이 휴리스틱한 다양화 방법론에 대한 원칙적인 대안을 제공함을 강조합니다.