Learning to Commit: Generating Organic Pull Requests via Online Repository Memory

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반 코딩 에이전트는 SWE-bench 과 같은 통제된 벤치마크에서 뛰어난 성능을 보이지만, 실제 소프트웨어 유지보수 환경에서는 현업 유지보수자 (Maintainer) 에게 거절당하는 경우가 빈번합니다.

• 근본 원인: 코드의 기능적 정확성 (Functional Correctness) 부족이 아니라 '유기성 (Organicity)'의 부재입니다.
• 구체적 증상:
  • 프로젝트 특유의 코딩 컨벤션을 무시함.
  • 이미 내부 API 로 구현된 기능을 중복 구현 (Redundant Reimplementation).
  • 수년간 축적된 암묵적인 아키텍처 제약 조건을 위반함.
• 기존 접근법의 한계: 단순히 최신 코드 스냅샷을 에이전트에 제공하는 것은 부족합니다. 스냅샷은 최종 상태만 보여줄 뿐, 그 상태에 도달하기까지의 프로젝트 고유의 변경 패턴 (Change Patterns) 과 진화 과정을 보여주지 않기 때문입니다. 또한, 기존 벤치마크는 시간 순서를 무시하거나 데이터 누출 (Data Leakage) 문제가 있어 에이전트가 실제 프로젝트에 적응하는 과정을 평가하지 못합니다.

2. 방법론 (Methodology)

저자들은 **"Learning to Commit"**이라는 프레임워크를 제안하며, 이를 통해 에이전트가 프로젝트의 진화 역사에서 학습하여 '유기적인' PR 을 생성하도록 합니다. 핵심은 **온라인 리포지토리 메모리 (Online Repository Memory)**입니다.

2.1 전체 프로세스 (그림 1 참조)

1. 데이터 분할: 리포지토리의 커밋 이력을 엄격한 시간 순서 (Chronological Split) 로 나눕니다.
   • 학습용 (History, $C^-$): 과거 커밋들.
   • 평가용 (Future, $C^+$): 학습 시점 이후의 미래 커밋들 (데이터 누출 방지).
2. Step 1: 리포지토리 온보딩 (Contrastive Reflection)
   • 에이전트는 과거의 각 커밋에 대해 맹목적으로 (Blindly) 문제를 해결하려 시도합니다.
   • 그 후, 인간 전문가가 작성한 오라클 (Oracle) Diff와 자신의 예측을 비교합니다.
   • 두 결과 간의 차이 (Gap) 를 분석하여 **지식 (Skills)**을 추출하고, 이를 구조화된 **스킬 문서 (Skill Document, $M$)**에 지속적으로 업데이트합니다.
   • 이 과정은 **지도 대조적 반성 (Supervised Contrastive Reflection)**을 통해 이루어지며, 에이전트의 실수를 교정하고 프로젝트 특유의 패턴 (스타일, 내부 API 사용법, 아키텍처 제약) 을 학습합니다.
3. Step 2: 스킬 기반 해결 (Skill-Conditioned Resolution)
   • 새로운 PR 요청이 들어오면, 에이전트는 학습된 스킬 문서 $M$을 참조하여 해당 프로젝트의 컨벤션에 맞는 패치를 생성합니다.

2.2 핵심 기술 요소

• 지도 대조적 반성 (Supervised Contrastive Reflection): 에이전트의 실수 ($\hat{\Delta}_t$) 와 정답 ($\Delta_t$) 을 비교하여, 에이전트가 자주 저지르는 실수 (예: 잘못된 파일 위치, 불필요한 코드) 를 구체적으로 학습합니다.
• 동적 스킬 추출: 정적인 RAG(검색 증강 생성) 와 달리, 에이전트의 능력 격차에 맞춰 패턴을 정제하고 업데이트하는 온-폴리시 (On-policy) 학습 루프를 사용합니다.
• 데이터 누출 방지: 학습 데이터와 평가 데이터를 시간적으로 엄격히 분리하여, 미래의 정보가 학습에 유입되는 것을 원천 차단합니다.

3. 주요 기여 (Key Contributions)

1. 리포지토리 맞춤형 온라인 적응 프레임워크: 'Learning to Commit'을 통해 에이전트가 진화하는 코드베이스에 유기적으로 적응하는 온라인 학습 메커니즘과 엄격한 평가 패러다임을 정립했습니다.
2. 학습 없는 온라인 스킬 추출 방법: 오라클 Diff 와 에이전트의 시도를 비교하는 지도 대조적 반성을 통해 프로젝트 특유의 관례를 추상화하고 재사용 가능한 개발 스킬로 추출하는 방법을 제안했습니다.
3. 엄격한 시간 분할 벤치마크 및 다차원 평가: 데이터 누출이 없는 시간 분할 벤치마크를 구축하고, 기능적 정확도뿐만 아니라 코드 스타일 일관성, 내부 API 재사용률, 수정 영역의 타당성 등을 포함한 다차원 '유기성 (Organicity)' 지표를 도입했습니다.

4. 실험 결과 (Results)

전문가들이 유지보수하는 내부 리포지토리 (RL 훈련 관련) 를 대상으로 실험을 수행했습니다.

• 실험 설정: 24 개의 학습 커밋과 7 개의 미래 테스트 태스크를 사용했습니다. (Sequential/Parallel 학습 모드 및 Category 기반/전체 학습 커리큘럼 조합 비교)
• 정량적 지표 (Deterministic Metrics):
  • 파일 IoU (위치 정확도): 스킬을 활용한 에이전트가 베이스라인 대비 **80% 대 61%**로 크게 향상되었습니다. (특히 seq-all 조건에서 +19%p 개선)
  • 트래젝토리 단계 (효율성): 도구 호출 횟수가 21% 감소하여 코드베이스 탐색 효율이 높아졌습니다.
  • 라인 편차 비율 (Patch Bloat): 스킬 에이전트가 오라클과 유사한 크기의 패치를 생성하여 불필요한 코드 팽창을 줄였습니다.
• LLM 저지 평가 (Multi-dimensional Judge):
  • 두 개의 독립적인 LLM 저지 (Claude, Gemini) 가 평가한 결과, 스킬 에이전트가 **논리 유사성 (Logic Similarity)**과 중복성 감소 (Redundancy Reduction) 분야에서 베이스라인을 압도적으로 이겼습니다.
  • 특히 **Q3(중복성 및 환각)**에서 스킬 에이전트의 승률이 39~69% 로 나타났으며, 이는 에이전트가 프로젝트의 기존 유틸리티를 올바르게 재사용했음을 의미합니다.
• 사례 연구: 공유 RNG(난수 생성기) 동시성 버그 수정 작업에서 스킬 에이전트는 정확한 파일 위치 (IoU 100%) 를 찾아냈으나, 베이스라인은 관련 없는 파일을 수정했습니다 (IoU 0%).

5. 의의 및 결론 (Significance)

• 패러다임 전환: 코딩 에이전트의 성공 기준을 단순한 '테스트 통과'에서 **'프로젝트 유지보수자의 기대에 부응하는 유기적 기여'**로 전환했습니다.
• 실용적 가치: 실제 산업 환경에서 AI 가 생성한 코드가 거절당하는 주된 원인인 '낯선 코드 (Alien Code)' 문제를 해결할 수 있는 가능성을 제시했습니다.
• 미래 연구 방향:
  • 다양한 오픈소스 GitHub 리포지토리로 확장성 검증 필요.
  • LLM 저지의 편향을 보완할 더 견고한 평가 지표 개발.
  • 학습된 리포지토리 특화 스킬이 다른 프로젝트로 전이 (Transfer) 가능한지 탐구.

이 논문은 에이전트가 단순히 코드를 작성하는 것을 넘어, 프로젝트의 역사와 문화를 학습하여 장기적인 기여자 (Seasoned Contributor) 로 성장할 수 있는 새로운 방향을 제시한다는 점에서 의미가 큽니다.