DIVE: Scaling Diversity in Agentic Task Synthesis for Generalizable Tool Use

이 논문은 실행 가능한 도구 실행을 먼저 수행하고 이를 역으로 추론하여 작업을 생성하는 'DIVE' 프레임워크를 제안함으로써, 데이터 양 증가보다 다양성 확장이 도구 사용 LLM 의 일반화 성능을 획기적으로 향상시킨다는 것을 입증했습니다.

핵심

🚀 DIVE: AI 로봇에게 '다양한 경험'을 주는 혁신적인 방법

이 논문은 AI(대형 언어 모델)에 대해 이야기합니다. 기존에는 AI 가 특정 일만 잘하도록 훈련시켰는데, DIVE 는 **어떤 새로운 상황이나 도구도 만나도 당황하지 않고 해결할 수 있는 '범용 AI'**를 만드는 방법을 제시합니다.

핵심 아이디어를 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "특정 일만 잘하는 AI 의 한계"

지금까지 AI 를 훈련시킬 때는 주로 **"특정 도구 **(예: 웹 검색)만 반복해서 사용하게 했습니다.

• 비유: 마치 요리사에게 오직 '스파게티'만 만드는 법만 10 만 번 가르친 것과 같습니다.
• 결과: 스파게티는 완벽하게 만들지만, 갑자기 "이제 초밥을 만들어줘"라고 하면 당황해서 아무것도 못 합니다. AI 도 마찬가지로, 훈련된 도구와 상황 밖으로 나가면 무너집니다.

2. 해결책: DIVE(다이버스) 의 새로운 방식

저자들은 이 문제를 해결하기 위해 훈련 방식을 완전히 뒤집었습니다. 기존 방식은 "질문 (과제) 을 먼저 만들고, 그걸 해결할 수 있는지 확인"하는 것이었는데, DIVE 는 그 반대로 합니다.

🔄 DIVE 의 핵심: "먼저 실행하고, 그걸로 과제를 만들자!"

• **기존 방식 **(질문 먼저) "오늘 날씨 어때?"라고 질문을 던진 뒤, AI 가 검색을 해보는데 검색이 안 되면 "이건 훈련 데이터에서 빼자"라고 버립니다. (질문이 현실과 동떨어질 수 있음)

• **DIVE 방식 **(실행 먼저)

  1. 먼저 AI 가 실제 373 가지의 다양한 도구 (의료, 금융, 생물학, 학술 등) 를 가지고 놀게 합니다.
  2. AI 가 도구를 써서 **실제 결과 **(증거)를 얻어옵니다. (예: "약 A 는 10ml 에 400mg 이 들어있네", "주식 B 는 오늘 5% 올랐네")
  3. 그 실제 결과를 바탕으로 AI 가 스스로 "이제 이 결과를 이용해 어려운 질문을 만들어보자"라고 과제를 역설계합니다.

• 비유: 요리사가 먼저 **실제 재료를 사서 **(도구 실행) 요리를 해보고, 그 결과물을 보고 "이 재료를 이용해 어떤 요리를 만들지?"라고 **레시피 **(질문)를 만드는 것입니다.

  • 이렇게 하면 무조건 실행 가능하고, 정답이 확실한 훈련 데이터가 만들어집니다.

3. DIVE 가 만든 '다양성'의 힘

DIVE 는 단순히 데이터를 많이 모으는 게 아니라, 도구의 종류와 조합을 극도로 다양하게 만듭니다.

• 비유: 요리사에게 스파게티, 초밥, 피자, 스튜, 케이크 등 전 세계 모든 요리의 재료를 섞어서 연습하게 하는 것입니다.
• 효과: AI 는 이제 "검색만 하는 게 아니라, 검색해서 데이터를 분석하고, 코드로 계산하고, 의료 기록을 확인하는" 등 복잡하고 다양한 패턴을 배우게 됩니다.

4. 실험 결과: "적은 데이터로 더 큰 성과"

논문의 실험 결과는 놀라웠습니다.

• **양 **(Quantity) 같은 양의 데이터를 4 배 늘려도 (단순 반복 학습), AI 는 새로운 상황에 잘 적응하지 못했습니다.
• **다양성 **(Diversity) 데이터 양은 적지만 도구와 상황의 다양성을 높였을 때, AI 는 **새로운 환경 **(OOD)에서 훨씬 뛰어난 성능을 발휘했습니다.
  • 결과: 기존 8B(80 억 파라미터) 모델 중 가장 강력한 모델보다 68% 더 높은 점수를 받았으며, 전혀 보지 못한 전문 분야 (의료, 금융 등) 에서도 상위권 성능을 냈습니다.

5. 결론: 왜 이것이 중요한가?

DIVE 는 AI 를 "특정 업무만 하는 전문가"에서 "어떤 상황에서도 유연하게 대처하는 범용 전문가"로 바꿔줍니다.

• 핵심 메시지: AI 를 똑똑하게 만드는 비결은 데이터의 양이 아니라, **다양한 경험 **(도구와 상황)입니다.
• 일상적 비유: 아이를 키울 때, 같은 문제집을 10 권 풀게 하는 것보다, **다양한 체험 학습 **(박물관, 자연, 과학 실험 등)을 시키는 것이 더 똑똑하고 유연한 어른으로 자라게 하는 것과 같습니다.

이 연구는 앞으로 AI 가 우리 생활의 복잡한 문제 (병원 진료, 투자 분석, 복잡한 여행 계획 등) 를 해결할 때, 새로운 도구가 나와도 당황하지 않고 즉시 적응할 수 있는 기반을 마련해 줍니다.

기술 요약

1. 문제 정의 (Problem)

최근 에이전트 (Agent) 를 위한 LLM 후속 학습 (Post-training) 에는 합성된 작업 (Synthesized Tasks) 이 널리 사용되고 있습니다. 그러나 기존 방법론은 **작업과 도구 세트 (Toolset) 의 변화에 따른 견고한 일반화 (Generalization)**에 실패하는 경향이 있습니다.

• 근본 원인: 기존 합성 데이터의 다양성 (Diversity) 부족. 대부분의 연구는 데이터의 양 (Quantity) 이나 난이도만 확장하거나, 고정된 도구 세트 (예: 웹 검색만 사용) 와 특정 작업 유형 (예: 심층 연구) 에만 국한됩니다.
• 한계:
  • 구조적 다양성 부재: 단순한 템플릿 교체 (예: 엔티티 변경) 수준을 넘어, 이질적인 도구 사용 패턴 (검색 후 분석, 다중 단계 추론 등) 을 포함하지 못함.
  • 검증 가능성과 실행 가능성의 딜레마: 도구 환경을 시뮬레이션하거나 가상의 쿼리를 생성하면, 실제 실행 시 검증 불가능하거나 해결 불가능한 작업이 생성될 위험이 큽니다. 반대로, 실제 도구를 기반으로 하려면 수동 파이프라인 확장에 막대한 비용이 듭니다.

2. 방법론 (Methodology: DIVE)

저자들은 **DIVE (Evidence-Driven Synthesis with Diverse, Real-world Tools)**를 제안합니다. 이는 합성 순서를 **반전 (Invert)**시켜, 먼저 다양한 실제 도구를 실행하고 그 결과 (Trace) 에서 작업을 역추적하는 방식입니다.

핵심 단계:

1. 다양한 합성 자원 준비 (Resource Preparation):

   • Tool Pool: 5 개 도메인 (일반, 금융, 의학, 생물학, 학술) 에 걸쳐 373 개의 검증된 실제 API 도구 (검색 및 처리 primitives) 를 구축.
   • Seed Pool: 위키피디아, PubMed, 주식 시장 등 5,000 개 이상의 엔티티 시드 (Seed) 를 추출하여 의미적 다양성 확보.
   • Exemplar Pool: 다양한 작업 형태의 구조적 사전 지식 (Query-only 예시) 을 제공.

2. 증거 기반 작업 합성 (Evidence-Driven Task Synthesis):

   • 순서 반전: "쿼리 생성 $\rightarrow$ 검증"이 아닌 "도구 실행 $\rightarrow$ 증거 수집 $\rightarrow$ 작업 역추적" 방식을 채택.
   • Evidence Collection: 에이전트가 샘플링된 도구 세트와 시드를 기반으로 실제 도구를 호출하여 실행 궤적 (Trace) 과 증거 (Evidence) 를 수집합니다.
   • Task Derivation: 수집된 증거를 바탕으로, 해당 증거에 의해 엄격하게 도출된 (Strictly Entailed) 질문 - 답변 쌍 (QA Pair) 을 생성합니다.
   • 반복적 확장: 이 과정을 여러 번 반복하며 증거를 축적하고, 이를 바탕으로 더 복잡하고 다양한 작업 구조를 유도합니다.

3. 에이전트 학습 (Agentic Training):

   • SFT (Supervised Fine-Tuning): 생성된 검증된 궤적으로 모델을 초기화 (Cold Start).
   • RL (Reinforcement Learning): 정답 일치 여부에 기반한 보상 함수를 통해 다양한 도구 세트 하에서의 견고성과 일반화 능력을 강화.

3. 주요 기여 (Key Contributions)

1. 다양성 확장 (Scaling Diversity) 의 중요성 규명: 에이전트 일반화를 위해서는 데이터의 양보다 구조적 다양성 (다양한 도구 풀, 도구 세트 조합, 이질적인 사용 패턴) 이 핵심임을 이론적, 실험적으로 입증했습니다.
2. DIVE 프레임워크 제안: 실제 도구의 실행 결과에서 작업을 역추적하는 '증거 기반 (Evidence-first)' 합성 레시피를 통해, 실행 가능 (Executable) 이고 검증 가능 (Verifiable) 한 대규모 다양성 데이터를 자동 생성하는 방법을 제시했습니다.
3. 성능 입증: 소규모 모델 (Qwen3-8B) 이 DIVE 데이터로 학습했을 때, 기존 8B 베이스라인보다 평균 68% 이상 향상된 성능을 보였으며, OOD(Out-of-Distribution) 벤치마크에서 최상위 수준의 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크: 9 개의 OOD 벤치마크 (일반 도구, 전문 도구, 다양한 프로토콜 및 환경 포함) 에서 평가.
• 성능 향상:
  • SFT 단계: 평균 +16.2 점 향상.
  • RL 단계: 평균 +22.2 점 향상.
  • 비교: 가장 강력한 8B 베이스라인 대비 +68% 성능 우위.
  • 전문가 모델 대비: 특정 도메인 (금융, 의료, 소프트웨어 엔지니어링) 에 특화된 모델들보다 일반화 성능이 뛰어났으며, 오히려 특정 도메인 벤치마크에서도 동등하거나 더 좋은 성능을 보임 (Negative Transfer 방지).
• 확장성 분석 (Scaling Analysis):
  • 다양성 vs 양: 데이터 양을 4 배 늘리는 것보다 도구 풀의 다양성을 확장하는 것이 OOD 일반화에 훨씬 효과적임.
  • RL 의 역할: RL 학습은 SFT 에서 학습된 다양한 도구 사용 패턴을 더 강화하고 탐색 (Exploration) 하여 일반화 성능을 증폭시킴.

5. 의의 및 결론 (Significance)

• 실용적 가치: 실제 세계의 복잡한 도구 환경 (금융 API, 의료 기록, 코드베이스 등) 에서 작동하는 에이전트 학습을 위한 고품질 데이터 생성 파이프라인을 제공합니다.
• 방법론적 전환: "가상 시뮬레이션"이나 "수동 파이프라인"에 의존하던 기존 방식에서 벗어나, 실제 도구 실행을 기반으로 한 역추적 (Reverse Derivation) 방식을 통해 데이터의 신뢰성과 다양성을 동시에 확보했습니다.
• 미래 방향: 데이터의 양적 확장보다는 **구조적 다양성 (Structural Diversity)**을 확장하는 것이 에이전트의 진정한 일반화 능력을 결정한다는 통찰을 제공하며, 향후 에이전트 학습 전략의 방향성을 제시합니다.

---

요약: DIVE 는 실제 도구를 먼저 실행하여 얻은 증거를 바탕으로 작업을 생성하는 방식을 통해, 에이전트 학습 데이터의 다양성과 검증 가능성을 동시에 해결했습니다. 이를 통해 소규모 모델이 다양한 도구 환경과 작업 유형에 대해 뛰어난 일반화 능력을 갖추게 되었으며, 이는 에이전트 학습에서 '양'보다 '다양성'이 핵심임을 입증한 중요한 연구입니다.