기술 요약: daVinci-Agency – 데이터 효율적인 장기적(Long-Horizon) 에이전시 구현

1. 문제 정의

대규모 언어 모델(LLM)은 단기 작업에서는 숙련도를 입증해 왔으나, 이를 **장기적 에이전트 워크플로우(long-horizon agentic workflows)**로 확장하는 데에는 여려 가지 중대한 과제가 남아 있습니다. 주요 병목 현상은 **진정한 장기 의존 구조(authentic long-dependency structures)**와 **교차 단계 진화 역학(cross-stage evolutionary dynamics)**을 포착하는 고품질 학습 데이터의 부족입니다.

기존의 데이터 합성 방식은 두 가지 결정적인 한계에 직면해 있습니다:

1. 합성된 궤적(Synthetic Trajectories): 단일 기능 시나리오나 교사 기반 증류(teacher-bounded distillation)에 의존하는 방법들은 현실적인 실패 모드, 오류 누적, 그리고 반복적 정교화 패턴을 포착하는 데 실패하는 경우가 많습니다. 이러한 방식은 단계들을 독립적으로 취급하며, 지속적인 목표 지향적 행동에 필수적인 인과적 의존성을 결여하고 있습니다.
2. 수동 어노테이션(Manual Annotation): 인간의 어노테이션을 통한 고충실도 감독은 비용이 매우 많이 들며 규모를 키우기가 어렵습니다.

결과적으로, 현재의 모델들은 확장된 상호작용 범위 내에서 방향성을 유지하고, 누적된 오류를 완화하며, 반복적인 정교화를 수행하는 데 어려움을 겪습니다.

2. 방법론: daVinci-Agency

저자들은 **실제 소프트웨어 진화(real-world software evolution)**의 관점에서 데이터 구축을 재개념화한 새로운 데이터 합성 패러다임인 daVinci-Agency를 제안합니다. 핵심 통찰은 GitHub Pull Request (PR) 시퀀스가 장기적 학습에 필요한 감독 신호를 자연스럽게 체현하고 있다는 점입니다.

2.1 핵심 메커니즘: Chain-of-PRs

고립된 이슈 수정(issue fixes)과 달리, 소프트웨어 개발은 여러 개의 PR이 하나의 기능적 목표에 정렬되는 연속적인 반복 과정을 포함합니다. daVinci-Agency는 PR 체인(하나의 $PR_i$가 $PR_{i-1}$을 반복, 수정 또는 확장하는, 의미론적으로 연결된 PR들의 시퀀스)으로부터 구조화된 감독 신호를 체계적으로 추출합니다. 이 구조는 세 가지 핵심 메커니즘을 강제합니다:

1. 점진적 작업 분해(Progressive Task Decomposition): 복잡한 목표를 검증 가능한 제출 단위로 나누는 연속적인 커밋과 서브 쿼리(sub-queries)를 통해 달성됩니다.
2. 장기적 일관성(Long-Term Consistency): 체인 전반에 걸친 통일된 기능적 목표를 통해 강제되며, 이는 에이전트가 코드베이스가 진화함에 따라 상태 일관성을 유지하도록 요구합니다.
3. 검증 가능한 정교화(Verifiable Refinement): 실제 버그 수정 이력과 피드백 루프로부터 도출되며, 에이전트가 이전 상태를 바탕으로 오류를 수정하는 법을 학습하게 합니다.

2.2 데이터 큐레이션 파이프라인

본 프레임워크는 엄격한 파이프라인을 통해 작동합니다:

• 데이터 소싱(Data Sourcing): 규모(>7,000개의 PR), 커뮤니티 상호작용성, 언어적 다양성을 기준으로 선정된 9개의 대표적이고 성숙한 GitHub 저장소(예: Scipy, Django)가 선택되었습니다.
• PR 체인 구축(PR Chain Construction): GitHub API 메타데이터를 사용하여, 의미론적 참조(예: "fixes #15")에 의해 PR들이 연결된 의존성 토폴로지를 구축합니다.
• 쿼리 생성(Query Formulation): 각 체인의 PR에 대해 서브 쿼리를 합성합니다. 결정적으로, 에이전트가 코드를 탐색하고 로컬라이즈하도록 유도하기 위해 구현 세부 사항은 숨기되, 거시적 이해를 보장하기 위해 전체 체인에 대한 글로벌 개요는 제공합니다.
• 롤아웃 및 거절 샘플링(Rollout & Rejection Sampling): 에이전트(롤아웃 모델로 GLM-4.6 사용)는 PR 체인을 따라 순차적으로 작업을 실행합니다. 상태 전이 메커니즘을 통해 이전 단계의 코드 변경 사항이 다음 단계로 전파되도록 보장합니다. 엄격한 거절 샘플링 프로세스(임계값 $s \ge 0.8$을 가진 평가자 사용)를 통해 궤적을 필터링하여, 정답 패치와 의미론적 충실도가 높은 궤적만을 유지합니다.

3. 주요 기여

1. 확장 가능한 데이터 패러다임: 값비싼 인간 어노테이션이나 단일 기능 합성에 의존하지 않고, 실제 PR 진화를 활용하여 검증 가능한 장기적 학습 데이터를 구축하는 daVinci-Agency를 도입했습니다.
2. 데이터 효율성: 단 239개의 샘样例로 미세 조정을 수행함으로써, 이보다 수십 배 더 큰 데이터셋(예: 66k 샘플)으로 학습된 베이스라인보다 뛰어난 광범위한 성능 향상을 달성함을 입증했습니다.
3. 메타 스킬 습득: 본 패러다임이 작업 분해(task decomposition), 장기적 일관성(long-term consistency), **반복적 정교화(iterative refinement)**라는 세 가지 핵심 메타 스킬을 효과적으로 가르친다는 증거를 제시했습니다.
4. 스케일링 법칙(Scaling Laws): 훈련 호라이즌(체인 길이)과 추론 시간 상호작용 예산을 확장하는 것이 에이전트 성능을 유의미하게 향상시킨다는 것을 보여줌으로써, 장기적 과업을 위한 구체적인 데이터 스케일링 법칙을 밝혀냈습니다.

4. 실험 결과

저자들은 SWE-bench, Toolathlon, DS-1000, $\tau^2$-Bench를 포함한 다양한 벤치마크에서 미세 조정된 모델(특히 GLM-4.6, Qwen3 시리즈)을 평가했습니다.

• 성능 향상: 단 239개의 daVinci-Agency 샘플로 GLM-4.6을 미세 조정했을 때, Toolathlon에서 47%의 상대적 이득을 얻었으며, 구조화되지 않은 더 큰 데이터셋으로 학습된 모델에 비해 장기적 성능이 148% 개선되었습니다.
• 베이스라인과의 비교: 본 모델은 SWE-Smith(66k 샘플) 및 CC-Bench(260개 샘플)로 학습된 베이스라인보다 특히 교차 단계 진화가 필요한 작업에서 우수한 성능을 보였습니다.
• 절제 연구(Ablation Studies):
  • 교차 단계 진화를 제거한 경우(SinglePR 변형) 성능이 감소하여, 다중 PR 체인의 필요성을 확인했습니다.
  • 의미론적 연결 없이 시간 순서로만 구성된 체인(TemporalChain)은 제한적인 이점만을 보여, 단순한 시퀀스 길이보다 내재된 진화 논리가 더 중요하다는 점을 강조했습니다.
• 효율성: daVinci-Agency로 학습된 모델은 토큰 소비량(예: SWE-bench에서 GLM-4.6의 경우 113.6K 토큰 감소)과 도구 사용량이 유의미하게 줄어들었으며, 이는 토큰당 정보 밀도가 높고 컨텍스트 관리가 더 뛰어나다는 것을 나타냅니다.
• 스케일링 분석: 훈련 궤적을 약 59k에서 약 85k 토큰으로 확장(더 긴 PR 체인을 완성함으로써)했을 때 추가적인 성능 향상이 나타났으며, 이는 장기적 순차 구조의 스케일링 잠재력을 입증합니다.

5. 의의 및 주장

본 논문은 daVinci-Agency가 에이전트의 내재된 장기적 잠재력을 끌어올리기 위한 원칙적인 경로를 구축한다고 주장합니다. 그 의의는 다음과 같습니다:

• 데이터 희소성 극복: 실제 진화 궤적을 모델링하는 것이 합성 데이터나 수동 어노테이션 데이터의 확장 가능한 대안이 될 수 있음을 보여줍니다.
• 행동의 내재화: 에이전트가 표면적인 패턴뿐만 아니라 고품질의 구조적 데이터에 노출될 때, 복잡하고 지속적인 목표 지향적 행동(계획, 일관성, 오류 수정)을 내재화할 수 있음을 시사합니다.
• 자기 증류(Self-Distillation) 가능성: 훈련 궤적이 모델 자체(GLM-4.6)에 의해 생성되었으므로, 성능 향상은 우월한 "교사"로부터의 지식 증류가 아니라, 큐레이션된 환경 내에서의 모델의 자기 탐색 및 최적화 덕분입니다.

저자들은 현재 구현이 성공률 제약으로 인해 최대 5개의 PR 체인으로 제한되어 있지만, 관찰된 스케일링 법칙은 이러한 체인을 확장하는 것이 장기적 에이전트 시스템에 관한 미래 연구에서 유망하고 실행 가능한 방향임을 시사한다고 결론지었습니다.