기술 요약: ANDES (Agent Native Data Evolving Synthesis)

문제 정의

본 논문은 대규모 언어 모델(LLM)의 자율적 사후 학습(post-training)에서 발생하는 핵심적인 병목 현상을 지적한다: 즉, 엄격한 컴퓨팅 자원 제약 하에서 에이전트가 고품질의 타겟 지향적이고 다양한 학습 데이터를 안정적으로 확보하는 데 어려움을 겪는다는 점이다. 최근의 트렌드는 모델 정렬(SFT 및 RL)의 복잡한 의사결정을 자율 에이전트에게 위임하는 방향으로 나아가고 있으나, 평가 결과에 따르면 최첨단(frontier) 에이전트들조차 이 영역에서는 어려움을 겪고 있다.

현재의 접근 방식들은 두 가지 주요 실패 모드에 직면해 있다:

1. 웹 기반 데이터 수집: 오픈 웹 검색에 의존하는 방식은 에이전트에게 장기적인 계획 수립, 가공되지 않은 HTML 파싱, 제로샷 노이즈 필터링을 강요한다. 이는 매우 높은 진입 장벽을 형성하여, 성능이 낮은 모델은 기능적인 학습 루프를 형성하기도 전에 실패하게 만들며, 고성능 모델조차 데이터 조직화 및 품질 관리에서 어려움을 겪게 한다.
2. 정적인 합성 파이프라인: 전통적인 합성 데이터 방식은 에이전트의 능동적인 학습 사이클과 격리된 정적이고 일회성인 스크립트로 작동한다. 이러한 방식은 실시간 진단 피드백을 바탕으로 생성을 동적으로 조절하는 능력이 부족하여, 데이터 도메인 불일치, 다양성 붕괴, 그리고 표면적인 벤치마크 분포에 대한 과적합 문제를 야기한다.

따라서 사후 학습 에이전트에 특화된, 접근 가능하고 동적으로 상호작용 가능한 고품질 데이터 합성 인터페이스가 절실히 필요하다.

방법론: ANDES 프레임워크

이러한 간극을 메우기 위해 저자들은 데이터를 정적인 파이프라인이 아닌 하나의 플러그 앤 플레이(plug-and-play) 에이전트 기술로 재정의하는 ANDES(Agent Native Data Evolving Synthesis) 프레임워크를 제안한다. ANDES는 지능적인 추상화 계층을 제공하여, 트레이너 에이전트가 상호작용형 폐쇄 루프 인터페이스를 통해 데이터 합성을 동적으로 제어할 수 있도록 한다.

이 프레임워크는 네 가지 핵심 단계로 작동한다:

1. 타겟 지향적 에이전트 요청 (Target-Driven Agent Request)

ANDES를 호출하기 전, 트레이너 에이전트는 다운스트림 벤치마크를 분석하고 이를 $K$개의 거시적 역량 도메인(예: 수학적 추론, 코드 생성)으로 분해한다. 특정 작업 요구사항을 열거하는 대신, 에이전트는 전이 가능한 데이터 커버리지를 보장하기 위해 이를 근본적인 역량 차원으로 추상화한다. 각 도메인에 대해 에이전트는 작업 설명($\tau$), 샘플 예산($N$), 그리고 포맷 프로토콜($\phi$)을 입력 구성으로 설정한다.

2. 자기 진화형 동적 월드 트리 라우팅 (Self-Evolving Dynamic World Tree Routing)

정밀한 작업별 접지(grounding)를 용이하게 하는 동시에 다양성을 유지하기 위해, ANDES는 주제(Topic) → 테마(Theme) → 시나리오(Scenario)(예: 사이버 보안 → 정보 유출 방지 → 방지 대책) 구조의 월드 트리(World Tree, $W$)를 활용한다.

• 가중치 기반 샘플링: 주제는 가중치에 비례하여 샘플링된다. 라우터 LLM은 샘플링된 시나리오를 작업 설명과 대조하여 강함(Strong)(작업 정렬), 약함(Weak)(일반적), 또는 *모호함(Ambiguous)*으로 분류한다.
• 적응형 가중치 부여: 가중치는 적합도 등급에 따라 업데이트되며, 잔여 커버리지를 보존하면서도 의미론적으로 정렬된 주제로 합성 예산을 이동시킨다.
• 동적 노드 진화: 고관련성 주제의 시나리오 풀이 고갈되는 것을 방지하기 위해, 특정 주제의 선택 횟수가 포화 임계값을 초과하면 시스템은 "서브트리 진화(subtree evolution)"를 트리거한다. 에볼버(Evolver) LLM은 이전 생성물에 기반하여 새로운 테마와 시나리오를 생성함으로써 택소노미(taxonomy)가 신선함을 유지하고 중복을 피하도록 한다.

3. 2단계 데이터 합성 (Two-Stage Data Synthesis)

각 라우팅 구성은 두 단계의 파이프라인을 거친다:

• 1단계 (QA 생성): 원시 질문-답변 쌍을 생성한다. "퓨전 트랙(fusion track)" 샘플의 경우, 프롬프트에 작업 설명을 강력한 제약 조건으로 주입하는 동시에 시나리오를 문맥적 래퍼(wrapper)로 사용한다. "제너릭 트랙(generic track)" 샘플의 경우, 프롬프트는 일반적인 인스트럭션 데이터에 집중한다.
• 2단계 (정제 및 요약): 리파이너(Refiner) LLM이 원시 출력물을 비평하고, 결함이 심한 응답을 걸러내기 위해 노력 점수(effort score)를 할당한다. 유지된 응답은 재작성된다. 결정적으로, 퓨전 트랙 샘플에 대해 논리적 다양성 검사를 수행하여 추론 템플릿의 반복(붕괴)을 탐지하고 억제한다.

4. 보고서 기반 분할 및 구성 조정 (Report-Driven Partition and Configuration Adjustment)

시스템은 정제된 데이터셋과 함께 진단 신호(예: 논리적 다양성 요약, 주제 분포, 유효 샘플 수)를 포함한 **합성 보고서(Synthesis Report)**를 반환한다. 트레이너 에이전트는 이 보고서를 사용하여 다음을 수행한다:

• 데이터 필터링: 탐지된 논리적 반복이 있는 샘플을 제거하기 위해 능동적 필터링을 적용한다.
• 구성 조정: 미개척된 역량 측면을 타겟팅하도록 다음 호출을 위한 작업 설명($\tau$)을 동적으로 수정하고, 버려진 샘플을 보상하기 위해 샘플 예산($N$)을 조정한다. 이를 통해 에이전트가 더 나은 역량 커버리지를 향해 점진적으로 합성을 유도하는 폐쇄 루프 상호작용이 완성된다.

주요 기여

1. 개념적 전환: 본 논문은 데이터 합성을 정적인 오프라인 파이프라인에서 플러그 앤 플레이 에이전트 기술로 재개념화하여, 자율적 데이터 획득을 위한 역량 임계치를 크게 낮추었다.
2. ANDES 툴: 자기 진화형 월드 트리 라우팅과 보고서 기반 피드백으로 구동되는 합성 툴을 구현하였다. 이는 복잡한 데이터 큐레이션 메커니즘을 추상화하여 에이전트가 고수준의 최적화 전략에 집중할 수 있게 한다.
3. 실증적 검증: ANDES를 능동적 사후 학습 루프에 통합함으로써 기초 모델이 놀라운 자율적 자기 개선을 달 위치와 SOTA 성능을 확보할 수 있음을 종합적인 평가를 통해 입증하였다.

실험 결과

저자들은 자율적 사후 학습 능력을 평가하기 위해 설계된 벤치마크인 PostTrainBench에서 ANDES를 평가하였다.

• SOTA 성능: 엄격한 컴퓨팅 제약 하에서, ANDES를 탑재한 GLM-4.7 에이전트는 PostTrainBench에서 평균 **33.39%**의 점수를 기록했다. 이는 가장 강력한 경쟁 방법인 Opus-4.7 (xHigh)의 점수인 **28.56%**를 능가하며, 단순 실행 베이스라인(Scaffold만 적용된 GLM-4.7)의 **7.48%**를 크게 상회한다.
• 교차 모델 일반화: ANDES는 네 가지 서로 다른 베이스 모델(Qwen3-1.7B, Qwen3-4B, SmolLM-3B, Gemma3-4B) 전반에서 지속적으로 가장 높은 평균 성능을 달성하였으며, 이는 그 효능이 특정 모델 아키텍처에 국한되지 않음을 나타낸다.
• 절제 연구(Ablation Studies):
  • Scaffold vs. Tool: 커스텀 에이전트 스캐폴드가 표준 CLI 베이스라인보다 성능을 개선하기는 했으나, ANDES 툴의 통합이 결정적인 "두 번째 파동"의 개선을 이끌어내어, 능동적이고 타겟에 정렬된 데이터 합성이 성공의 핵심 동력임을 확인시켜 주었다.
  • 상호작용 메커니즘: 보고서 기반 상호작용을 제거했을 때 성능이 감소(Qwen3-1.7B 기준 30.39%에서 26.80%로 하락)하였으며, 이는 다회차 상호작용이 데이터 품질과 다양성을 최적화하는 데 필수적임을 입증한다.
• 확장성: 월드 트리의 분석 결과, 데이터 볼륨이 확장됨에 따라 시스템이 타겟 관련 노드에 성공적으로 집중(퓨전 데이터 비율 증가)하는 동시에, 다양성 붕괴를 방지하기 위해 지속적으로 새로운 노드를 진화시킨다는 것을 보여주었다.

의의 및 주장

본 논문은 자동화된 연구 파이프라인의 주요 병목 현상이 훈련의 실행 자체가 아니라, 제한된 컴퓨팅 예산 내에서 고품질의 타겟 지향적이고 다양한 데이터를 안정적으로 확보하는 것이라고 주장한다.

ANDES는 구조화되고, 상호작용 가능하며, 진화 가능한 데이터 합성 인터페이스가 확장 가능하고 신뢰할 수 있는 자동 모델 정렬을 향한 유망한 단계임을 보여준다. 데이터를 에이전트가 능동적으로 필터링하고 구성을 교정하는 동적인 폐쇄 루프 게임으로 변환함으로써, 이 프레임워크는 기초 역량이 약한 에이전트조차 SOTA 성능을 확보할 수 있게 하여 에이전트의 능력과 사후 학습의 엄격한 요구 사항 사이의 간극을 효과적으로 메운다.