기술 요약: 근거 기반 상호작용 합성(GAIS)을 통한 에이전트 역량 스케일링

문제 정의

범용 에이전트 지능은 복잡한 과업을 완수하기 위해 다양한 현실 세계의 도구와 상호작용하는 능력에 의존합니다. 현재의 학습 패러다임은 정적인 코퍼스에서 상호작용 경험 학습으로 전환되고 있으며, 이는 실행 가능한 도구 환경과 과업 명세가 포함된 고품질의 상호작용 데이터를 필요로 합니다. 그러나 이러한 데이터를 수동으로 확보하는 것은 실제 환경을 배포하고 고충실도 과업을 큐레이션하는 비용 때문에 매우 비경제적입니다.

데이터 합성을 확장하기 위해 기존 방식들은 주로 대규모 언어 모델(LLM)을 사용하여 제약 없이 환경과 과업을 생성합니다. 본 논문은 이러한 패러다임의 결정적인 결함을 지적합니다. 즉, 제약 없는 생성은 LLM의 내부 사전 확률(priors)에 대한 편향된 무작위 샘플링으로 퇴보한다는 것입니다. 체계적인 분석 결과, 기존의 LLM 합성 데이터셋은 다음과 같은 문제를 겪고 있음이 밝혀졌습니다:

1. 기능적 다양성 부족: 샘플의 90% 이상이 단순 정보 검색(읽기 전용) 도구로 구성되어 있으며, 상태 변경(쓰기) 및 데이터 처리(프로세스) 도구는 심각하게 부족합니다.
2. 운영 난이도 저하: 대부분의 도구가 엄격한 형식 제약이나 도메인 특화 로직이 결여된 저복잡도 추상화 단계에 머물러 있습니다.
3. 얕은 과업 복잡도: 생성된 과업들은 일반적으로 짧은 상호작용 체인을 가지며 도구 간의 의존성이 없거나 최소한에 불과하여, 견고한 에이전트 행동에 필요한 장기적(long-horizon) 인과 추론을 시뮬레이션하지 못합니다.

방법론: 근거 기반 에이전트 상호작용 합성 (GAIS)

확장성과 데이터 품질 사이의 간극을 메우기 위해, 저자들은 2단계 근거 메커니즘을 통해 다양한 환경과 복잡한 과업을 자동 구축하는 프레임워크인 **근거 기반 에이전트 상호작용 합성(Grounded Agentic Interaction Synthesis, GAIS)**을 제안합니다.

1단계: 프로토콜 기반 환경 구축

환경을 처음부터 합성하는 대신, GAIS는 실제 모델 컨텍스트 프로토콜(MCP) 생태계를 활용합니다.

• MCP 유래 인스턴스화: 프레임워크는 1,000개 이상의 실제 MCP 서버 저장소를 수집합니다. 배포 오버헤드를 피하기 위해, LLM은 원본 소스 코드를 실행 가능한 파이썬 함수로 변환합니다.
• 테스트 주도 반복(Test-Driven Iteration): 엄격한 파이프라인을 통해 기능적 정확성을 보장합니다. LLM은 도구 구현과 그에 대응하는 단위 테스트를 모두 생성하며, 테스트를 통과해야만 코드가 수락됩니다. 테스트 실패 시, 엄격한 입출력 스키마 일관성을 유지하면서 내부 로직을 단순화합니다.
• 기능적 난이도 필터링: 단순한 도구로만 구성된 환경(난이도 점수 ≤2)이나 도구가 3개 미만인 환경을 제외하도록 필터링합니다. 이를 통해 결과 환경이 높은 기능적 다양성과 운영 난이도를 갖도록 보장합니다.

2단계: 구조 가이드형 과업 생성

구성된 환경을 활용하기 위해, GAIS는 무작위 탐색이 아닌 구조 가이드 전략을 채택합니다.

• 복잡 의존성 계획: 데이터 흐름이나 의미론적 선행 조건을 나타내는 엣지(edge)를 가진 도구 의존성 그래프를 구축합니다. 시스템은 고난도 "앵커 노드"를 식별하고 이 복잡한 하위 구조를 통과하는 유향 보행(directed walks)을 계획합니다. 이후 LLM은 이러한 추상적 체인을 일관된 내러티브로 변환하여, 과업이 깊은 추론을 요구하도록 만듭니다.
• 적대적 정책 주입: 각 환경에 대해 도메인 특화 정책(제약 및 금지 규칙)을 생성합니다. 과업은 다음 두 범주로 합성됩니다:
  • 정책 준수(Policy-Compliant): 사용자 의도가 규칙과 일치함.
  • 정책 적대적(Policy-Adversarial): 사용자 의도가 규칙을 위반하며, 에이전트가 요청을 거부하거나 준수 가능한 대안을 찾도록 요구함. 이는 현실 세계의 마찰과 경계 조건을 시뮬레이션합니다.
• 상호작용 시뮬레이션: 사용자 시뮬레이터와 어시스턴트 에이전트가 다회차 대화를 수행하여 궤적(trajectory)을 생성합니다. 상태 기반 및 응답 기반의 2단계 검증 프로세스를 통해 출력물을 필터링하여, "골든(golden)" 정답 또는 유효한 대안 경로와 일치하는 궤적만을 유지함으로써 높은 과업 실행 유효성을 보장합니다.

주요 기여

1. LLM 합성 편향에 대한 체계적 분석: 본 논문은 기존 LLM 합성 데이터셋이 단순 검색 도구와 얕은 상호작용 체인에 심하게 치우쳐 있어, 실제 도메인의 다양성과 난이도를 포착하지 못한다는 것을 정량적으로 분석했습니다.
2. 근거 기반 데이터 합성 프레임워크: GAIS는 프로토콜 기반 환경(MCP 유래)과 구조 가이드형 과업(의존성 계획 및 적대적 정책 활용)에 근거한 새로운 프레임워크를 도입하여, 고충실도의 복잡한 상호작용 생성을 자동화합니다.
3. 우수한 데이터 효과성 및 효율성: 저자들은 GAIS 데이터로 학습된 모델이 SOTA 베이스라인들을 능가하며, 훨씬 적은 데이터로도 우수한 성능을 달이고 다른 방법론들이 정체되는 구간에서도 지속적인 성능 성장을 유지함을 입증했습니다.

실험 결과

프레임워크는 Qwen3-Base 시리즈(4B, 8B, 14B) 및 Llama-3.1-8B 모델을 사용하여 BFCL-V3, $\tau^2$-Bench, ACEBench-en 세 가지 벤치마크에서 평가되었습니다.

• 성능 우위: GAIS 데이터로 미세 조정된 모델은 ToolLLM, ToolACE, Nemotron으로 학습된 모델보다 일관되게 높은 성능을 보였습니다. 특히, GA-S로 학습된 베이스 모델은 공식 인스트럭션 튜닝 모델(예: Qwen3-Instruct)보다 훨씬 더 많은 양의 데이터로 학습되었음에도 불구하고, 해당 모델들과 대등하거나 더 높은 성능을 기록했습니다.
• 데이터 효율성: GAIS는 탁월한 데이터 효율성을 보여주었습니다. 단 1,0002,000개의 GAIS 샘플로 학습된 모델은 3,4004,800개의 Nemotron 샘플로 학습된 모델과 대등한 성능을 달성했습니다(2.4배~3.4배의 효율성 이득).
• 확장성: Nemotron과 같은 베이스라인이 약 7,000개 샘플 부근에서 성능 정체를 보이는 반면, GAIS 튜닝 모델은 데이터 양이 증가함에 따라 성능이 계속 향상되어 과적합이 적고 일반화 능력이 뛰어남을 보여주었습니다.
• 범용 역량: GAIS 데이터 미세 조정은 다른 에이전트 데이터셋보다 추론 능력(예: HellaSwag, GSM8K)을 향상시키고 일반 지식 과업(예: MMLU, CSQA)에서의 파괴적 망각(catastrophic forgetting)을 더 잘 완화했습니다.

의의

본 논문은 에이전트 지능을 확장하는 데 있어 핵심적인 병목 현상은 단순히 데이터의 양이 아니라, 데이터의 **구조적 근거(structural grounding)**라고 주장합니다. 환경 구축을 실제 프로토콜(MCP)에 고정하고, 명시적인 의존성 구조와 적대적 정책을 통해 과업 생성을 가이드함으로써, GAIS는 제약 없는 LLM 합성의 내재적 편향을 극복합니다. 이 연구는 고충실도의 장기적(long-horizon) 에이전트 역량이 단순한 규모의 확장이 아닌, 기능적 다양성과 논리적 복잡성을 우선시하는 원칙적이고 자동화된 합성 과정을 통해 달성될 수 있음을 시사하며, 견고한 자율 에이전트 학습을 위한 일반화 가능한 패러다임을 제시합니다.