🤖 AI

daVinci-Dev: Agent-native Mid-training for Software Engineering

이 논문은 분포 불일치를 극복하기 위해 문맥적 및 환경적 네이티브 궤적을 결합한 새로운 "에이전트 네이티브" 데이터 전략을 활용하여, 32B 및 72B 모델이 이전 방법들보다 훨씬 적은 학습 토큰으로도 SWE-Bench Verified에서 최첨단 성능을 달할 수 있도록 하는 에이전트 기반 중간 학습 프레임워크인 daVinci-Dev를 소개한다.

원저자: Ji Zeng, Dayuan Fu, Tiantian Mi, Yumin Zhuang, Yaxing Huang, Xuefeng Li, Lyumanshan Ye, Muhang Xie, Qishuo Hua, Zhen Huang, Mohan Jiang, Hanning Wang, Jifan Lin, Yang Xiao, Jie Sun, Yunze Wu, Pengfei

게시일 2026-01-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ji Zeng, Dayuan Fu, Tiantian Mi, Yumin Zhuang, Yaxing Huang, Xuefeng Li, Lyumanshan Ye, Muhang Xie, Qishuo Hua, Zhen Huang, Mohan Jiang, Hanning Wang, Jifan Lin, Yang Xiao, Jie Sun, Yunze Wu, Pengfei Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 로봇에게 진짜 프로그래머가 되는 법을 가르치기

당신이 로봇에게 고장 난 자동차를 수리하는 법을 가르치고 싶다고 상상해 보세요.

기존 방식 (사후 학습 - Post-Training):
현재 대부분의 AI 모델은 도서관에 있는 모든 자동차 정비 매뉴얼을 읽었지만(사전 학습), 정작 렌치를 한 번도 잡아본 적 없는 학생과 같습니다. 이들에게 자동차를 고치는 법을 가르치기 위해, 연구자들은 전문가가 자동차를 고치는 몇 개의 영상을 보여주고(지도 미세 조정), 그 후 차고에서 연습하게 하며 실수를 할 때만 바로잡아 줍니다(강화 학습).

문제점: 이 "차고"는 구축하기에 너무 작고 비용이 많이 듭니다. 오직 몇 대의 자동차로만 연습할 수 있습니다. 또한, 학생은 완성된 결과물인 '수리된 자동차'만 볼 뿐, 시도하고, 실패하고, 엔진을 점검하고, 다시 시도하는 그 지저난한 '과정'은 보지 못합니다.

새로운 방식 (daVinci-Dev / 에이전트 네이티브 중간 학습 - Agent-Native Mid-Training):
이 논문의 저자들은 이렇게 말합니다. "로봇을 차고로 보내기 전에 미리 가르칩시다." 그들은 **중간 학습(Mid-Training)**이라는 중간 단계를 도입했습니다.

단순히 로로봇에게 완성된 자동차를 보여주는 대신, 수백만 명의 실제 정비사들이 남긴 방대한 양의 **실제 수리 기록(repair logs)**을 입력합니다. 그들은 단순히 최종 결과만을 보여주는 것이 아니라, 다음과 같은 전체 이야기를 보여줍니다:

정비사가 고장 난 차를 살펴보는 모습.
정비사가 보닛을 열고 매뉴얼을 읽는 모습.
정비사가 수리를 시도했다가 이상한 소리를 듣고, 이것이 작동하지 않는다는 것을 깨닫는 과정.
정비사가 작동할 때까지 다른 수리 방법을 계속 시도하는 과정.

그들은 이를 "에이전트 네이티브(Agent-Native)" 데이터라고 부릅니다. 이는 단순히 정적인 사실을 암기하는 것이 아니라, 실제 세상에서 일꾼(에이전트)으로서 겪는 실제적인 '경험'을 모방하기 때문입니다.

두 가지 특별한 재료

이 학습 라이브러리를 만들기 위해, 팀은 GitHub(프로그래머들이 코드를 공유하는 거대한 웹사이트)에서 두 가지 유형의 "이야기"(데이터)를 만들어냈습니다.

1. "컨텍스트 네이티브" 이야기 (광범한 라이브러리)

정체: 이들은 수백만 개의 풀 리퀘스트(Pull Requests, 코드 변경 요청)를 가져와 전체 이야기를 재구성했습니다.
비유: 탐정의 사건 파일을 상상해 보세요. 이 파일은 해결된 범죄 장면만 보여주는 것이 아니라, 탐정이 용의자의 일기를 읽고, 적절한 파일을 찾고, 추측을 했다가, 새로운 단서에 따라 생각을 바꾸는 과정까지 보여줍니다.
도움이 되는 이유: 이는 AI에게 업무의 **흐름(flow)**을 가르칩니다. 코드를 수정하기 전에 먼저 파일을 찾아 읽어야 한다는 것을 배우게 됩니다. 이는 매우 다양한 언어와 상황을 포괄합니다 (686억 개의 단어 데이터).

2. "환경 네이티브" 이야기 (라이브 시뮬레이션)

정체: 이들은 단순히 로그를 읽기만 한 것이 아니라, 실제로 코드를 실행했습니다. AI 에이전트를 실제 작동하는 컴퓨터 환경(Docker 컨테이너) 안에 넣고 버그를 고치도록 했습니다.
비유: 이것은 학생을 실제 엔진이 있는 진짜 차고에 넣는 것과 같습니다. 학생이 볼트를 돌리려고 하면, 엔진에서 "쾅" 하는 소리(에러)가 납니다. 학생은 그 소리를 듣고 멈춘 뒤, 다른 도구를 사용해 봅니다.
도움이 되는 이유: 이는 AI가 실제 피드백에 어떻게 반응해야 하는지를 가르칩니다. "내가 이 명령어를 입력하면, 컴퓨터가 에러 메시지를 내뱉으며 비명을 지를 것이다"라는 것을 배웁니다. 이는 정적인 책으로는 가르칠 수 없는 부분입니다. 이 부분은 규모는 더 작지만(31억 개의 단어), "실제"이기 때문에 품질이 매우 높습니다.

결과: 얼마나 효과적이었나?

팀은 자신들의 새로운 "학생"(daVinci-Dev 모델)을 소프트웨어 엔지니어의 최종 운전 면허 시험과 같은 SWE-Bench Verified라는 유명한 시험으로 테스트했습니다.

점수: 720억 개의 파라미터를 가진 이 모델은 **58.5%**의 성공률을 기록했습니다.
비교: 이는 이전의 최고 오픈 소스 방식인 Kimi-Dev(약 48.6% 기록)를 앞질렀습니다.
효율성: 이들은 이전 기록 보유자가 사용했던 양보다 절반도 안 되는 양의 학습 데이터(토큰)를 사용하여 이 성과를 냈습니다. 이는 마치 공부할 내용이 훨씬 더 좋았기 때문에, 100시간 대신 50시간만 공부하고도 시험에서 A+를 받은 것과 같습니다.
놀라운 점: 이들은 처음부터 코딩 전문 모델이 아닌 "일반" 베이스 모델(Qwen2.5-Base)에서 시작했음에도 불구하고, 새로운 학습법을 통해 코딩 전문 모델들보다 더 뛰어난 성능을 보여주었습니다.

왜 이것이 중요한가 (논문에 따르면)

이 논문은 AI에게 코딩을 가르칠 때 가장 큰 실수는 AI를 단순히 교과서만 읽는 학생처럼 취급해 온 것이라고 주장합니다. 실제 소프트웨어 엔지니어링은 하나의 루프입니다: 문제 발견 → 코드 읽기 → 수정 시도 → 작동 여부 확인 → 다시 수정.

AI에게 이 루프(업무의 과정과 컴퓨터의 실시간 피드백 모두)를 보존하는 데이터를 제공함으로써, 훨씬 더 강력한 기초를 구축했습니다.

요약하자면: 그들은 단순히 AI에게 코드가 어떻게 생겼는지를 가르친 것이 아니라, 실제 소프트웨어 개발의 지저분한 시행착오 과정을 시뮬레이션함으로써, 프로그래머처럼 생각하는 법을 가르쳤습니다.

기술 요약: daVinci-Dev: 소프트웨어 엔지니어링을 위한 에이전트 네이티브 미드 트레이닝(Mid-training)

1. 문제 정의

대규모 언어 모델(LLM)의 소프트웨어 엔지니어링 역량의 최전선은 단일 턴 코드 생성에서, 모델이 복잡한 저장소를 자율적으로 탐색, 편집 및 테스트할 수 있는 **에이전트적 소프트웨어 엔지니어링(agentic software engineering)**으로 이동했습니다. 그러나 현재의 최첨단 접근 방식은 사후 학습(post-training)(지도 미세 조정(SFT) 및 강화 학습(RL))에 의존하고 있으며, 이 패러다임은 다음과 같은 결정적인 한계에 직면해 있습니다:

데이터 희소성 및 불일치: 사후 학습은 베이스 모델의 내재적 능력과 고품질의 실행 가능한 궤적(trajectory)의 제한된 양에 의해 제약을 받습니다. 대부분의 훈련 데이터는 정적인 완성된 결과물(예: 병합된 커밋)로 구성되어 있어, 실제 개발 과정에 내재된 순차적인 **액션-관찰 루프(action-observation loops)**가 결여되어 있습니다.
분포 불일치: 전통적인 훈련 데이터는 무엇이 생성되었는지는 보여주지만, 개발자나 에이전트가 어떻게 파일을 발견하고, 컨텍스트를 검토하며, 테스트 피드백을 바탕으로 솔루션을 반복적으로 개선했는지에 대한 방법은 숨겨져 있습니다. 이는 정적인 훈련 분포와 실제 배포 환경의 동적이고 피드백이 풍부한 환경 사이에 간극을 만듭니다.
미개척된 미드 트레이닝(Mid-Training): 미드 트레이닝이 수학 및 코드 도메인에서 변혁적인 역할을 한다는 것이 입증되었음에도 불구하고, 소프트웨어 엔지니어링을 위한 기존의 노력은 원자적 작업(예: 로컬라이제이션 또는 편집)을 위해 격리된 샘플을 합성하는 **분절적 접근 방식(factorized approach)**을 채택하여, 에이전트가 경험하는 절차적 컨텍스트와 상호작용 역학을 보존하지 못하는 경우가 많습니다.

2. 방법론: 에이전트 네이티브 미드 트레이닝

본 논문은 사후 학습 이전에 기초적인 에이전트 행동을 주입하는 체계적인 에이전트적 미드 트레이닝 접근 방식인 daVinci-Dev를 제안합니다. 핵심 혁신은 실제 소프트웨어 엔지니어링의 완전한 정보 흐름과 환경 역학을 보존하는 감독(supervision)으로 정의되는 **에이전트 네이티브 데이터(Agent-Native Data)**의 구축입니다.

이 방법론은 두 가지 상호 보완적인 궤적 유형에 의존합니다:

A. 컨텍스트 네이티브 궤적 ( $D_{ctx}$ )

목표: 전체 개발 컨텍스트를 보존함으로써 광범위한 커버리지와 다양성을 제공하는 것입니다.
출처: **GitHub Pull Request (PR)**로부터 구축되었습니다.
합성: PR을 격리된 작업으로 분절하는 대신, 저자들은 완전한 워크플로우를 재구성합니다. 각 PR에 대해 다음 항목들을 묶습니다:
- 이슈 설명(Issue Description): 문제 명세.
- 관련 파일(Relevant Files): 베이스 커밋 시점의 완전한 파일 내용 (읽기 단계 시뮬레이션).
- 시계열 편집(Temporal Edits): 정제된 커밋 메시지와 코드 디프(diff)가 포함된 커밋 시퀀스 (편집 단계 시뮬레이션).
- 컨텍스트 추론(Contextual Reasoning): 이슈와 편집 사이를 연결하는 LLM 생성 요약.
규모: 다양한 언어(General subset) 및 Python 중심 저장소(Python subset)에서 추출한 68.6B 토큰.

B. 환경 네이티브 궤적 ( $D_{env}$ )

목표: 상호작용의 진정성을 제공하고 반복적인 피드백 루프(편집 $\to$ 테스트 $\to$ 수정)를 포착하는 것입니다.
출처: GitHub PR에서 파생된 실제 실행 가능한 환경.
합성: SWE-AGENT 프레임워크와 GLM-4.6을 사용하여, 실제 단위 테스트가 포함된 Docker 환경에서 에이전트 롤아웃(rollout)을 생성합니다.
- 에이전트는 환경과 상호작용하며 실제 관찰값(도구 출력, 테스트 실패, 런타임 에러)을 전달받습니다.
- 궤적은 성공 여부에 따라 필터링되지 않습니다. 디버깅과 에러 핸들링을 가르치기 위해 통과한 궤적과 실패한 궤적이 모두 포함됩니다.
규모: 약 74k 궤적으로 구성된 3.1B 토큰 (통과( $D_{env}^{pass}$ ) 및 실패( $D_{env}^{fail}$ ) 세트로 분할).

C. 훈련 파이프라인

모델(Qwen2.5-Base 기반)은 두 단계 과정을 거칩니다:

미드 트레이닝 (MT): 대규모의 라벨 없는 에이전트 네이티브 코퍼스( $D_{ctx}$ 및/또는 $D_{env}$ )로 훈련합니다. 이는 모델의 능력 분포를 보다 "에이전트 준비 상태(agent-ready)"로 이동시킵니다.
사후 학습 (Post-Training): 고품질의 에이전트 궤적(예: $D_{env}^{pass}$ 또는 SWE-smith와 같은 공개 데이터셋)에 대한 지도 미세 조정(SFT)을 통해 모델을 특정 스캐폴드(scaffold)에 정렬시킵니다.

3. 주요 기여

에이전트 네이티브 미드 트레이닝의 공식화: 본 논문은 에이전트적 행동을 제1순위 목표로 취급하여, 분절된 하위 작업 훈련을 넘어 홀리스틱하고 컨텍스트를 보존하는 감독으로 나아가는 미드 트레이닝 패러다임을 정의하고 구현합니다.
대규모 데이터 구축: 저자들은 두 가지 상호 보완적인 데이터셋을 구축하는 실용적인 레시피를 공개합니다:
- 전체 PR 워크플로우를 보존하는 68.6B 토큰 규모의 컨텍스트 네이티브 코퍼스 ( $D_{ctx}$ ).
- 실제 실행 피드백 루프를 포착하는 3.1B 토큰 규모의 환경 네이티브 코퍼스 ( $D_{env}$ ).
최첨단 성능: 결과 모델인 daVinci-Dev-32B 및 daVinci-Dev-72B는 코더가 아닌 베이스 모델에서 시작했음에도 불구하고, 에이전트 스캐폴드를 사용하는 공개 훈련 레시피 중 SWE-Bench Verified에서 새로운 SOTA(최고 성능)를 달성했습니다.
자원 효율성: 이 접근 방식은 이전 공개 레시피(KIMI-DEV, 약 150B 토큰)와 비교했을 때 절반 미만의 미드 트레이닝 토큰(73.1B)을 사용하여 더 우수한 성능을 달성함으로써, 더 높은 정보 밀도와 토큰 효율성을 입증했습니다.

4. 실험 결과

SWE-AGENT 스캐폴드를 사용하여 SWE-Bench Verified에서 평가되었습니다:

성능 향상:
- daVinci-Dev-72B: **58.5%**의 해결률을 달성하여, 이전의 공개 SOTA(SFT+RL을 사용한 KIMI-Dev의 48.6%)를 능가하고 강력한 SFT만을 사용한 베이스라인들을 압도했습니다.
- daVinci-Dev-32B: 코더가 아닌 베이스 모델(Qwen2.5-32B-Base)에서 시작했음에도 불구하고, 에이전트 스캐폴드를 사용하는 32B 모델 중 새로운 SOTA인 **56.1%**의 해결률을 기록했습니다.
강건성(Robustness): 미드 트레이닝 레시피는 서로 다른 사후 학습 체제(약한 SFT vs 강한 SFT)와 모델 규모(32B vs 72B) 전반에서 일관된 이득을 제공합니다.
일반화: 모델은 일반적인 코드 생성 벤치마크(HumanEval, EvalPlus)와 과학적 추론 작업(GPQA, SciBench)에서 상당한 개선을 보여주며, 이는 에이전트적 미드 트레이닝이 전이 가능한 추론 능력을 배양함을 시사합니다.
스케일링 법칙(Scaling Laws): 논문은 훈련 단계와 성능 사이에 강한 로그 선형 관계( $R^2 \approx 0.90$ )가 있음을 관찰하였으며, 이는 이 패러다임이 아직 포화되지 않았고 추가적인 스케일링으로부터 이득을 얻을 수 있음을 나타냅니다.

5. 의의 및 주장

본 논문은 에이전트 네이티브 데이터가 소프트웨어 엔지니어링 에이전트를 확장하기 위한 결정적인 누락된 고리라고 주장합니다. 정적 훈련 데이터와 동적 배포 환경 사이의 분포 불일치를 메꿈으로써, 저자들은 다음을 입증했습니다:

기초적 행동: 에이전트적 능력(로컬라이제이션, 반복적 편집, 테스트 기반 정제)은 미드 트레이닝 중에 주입될 수 있으며, 이는 후속 사후 학습을 위한 더 강력한 토대를 만듭니다.
데이터 유형의 시너지: 컨텍스트 네이티브 데이터(폭과 코드 다양성을 위해)와 환경 네이티브 데이터(깊이와 피드백 진정성을 위해)의 결합이 필수적입니다. 컨텍스트 네이티브 데이터만으로도 성능이 향상되지만, 환경 네이티브 궤적을 추가하면 모델이 실행 역학을 내재화할 수 있습니다.
확장성: 이 접근 방식은 공공 저장소의 방대한 가용성과 자동화된 환경 검증을 활용하여 현재의 언어 및 작업 제한을 넘어 확장할 수 있는, 미래 에이전트 개발을 위한 확장 가능한 경로를 제공합니다.

저자들은 자신들의 연구가 이 미개척된 패러다임에 대한 추가 연구를 촉진하기 위해 "상당한 계산적 투자"(데이터셋, 레시피, 체크포인트)를 커뮤니티에 제공한다고 결론짓습니다.