기술 요약: 패치에서 궤적으로 (P2T)

문제 정의

오픈 소스 엔지니어링 (SWE) 에이전트에 조사 및 추론 능력을 부여하는 주류 방법은 강력한 교사 모델이 생성한 긴 궤적에 대한 지도 미세 조정 (SFT) 입니다. 그러나 표준 SFT 는 유지된 모든 응답을 모방 대상으로 취급합니다. 그 결과, 학생 에이전트는 성공적인 결과뿐만 아니라 근거 없는 도약, 불필요한 루프, 추측성 탐색과 같은 중간 단계의 결함까지도 물려받게 됩니다.

현재 데이터 구축 파이프라인은 결과 기반 필터링 거부 샘플링에 의존합니다. 즉, 최종 패치가 테스트 스위트 통과 여부를 확인한 궤적만 유지합니다. 이 접근 방식은 세 가지 치명적인 한계를 겪습니다:

1. 과정 감독의 부재: 최종 결과만 제공하며 중간 추론 단계에 대한 피드백을 제공하지 않습니다.
2. 비효율성: 유지된 궤적에는 종종 불필요한 파일 뷰, 정보 가치가 없는 도구 호출, 루프가 포함되어 추론 비용을 증가시킵니다.
3. 데이터 낭비: 교사가 통과하는 패치를 생성하지 못한 경우라도, 교사의 조사가 가치 있는 중간 사실을 밝혀냈다면 해당 인스턴스를 폐기합니다.
4. 유출 위험: 참조 패치 ($p^\star$) 를 단순히 생성을 안내하는 데 사용할 경우, 에이전트가 필요한 증거를 수집하기 전에 편집이나 주장을 하는 "해법 유출"이 발생할 위험이 있습니다. 이는 정당화되지 않은 도약으로 이어지며, 학생은 이를 모방하게 됩니다.

핵심 과제는 참조 패치를 학생 에이전트에 노출시키지 않으면서도, 각 단계가 근거 있는 추론을 통해 올바른 수정 사항에 대한 인식 격차를 좁히는 효과적이고, 각 단계가 정보를 담고 있어 중복을 피하는 효율적인 훈련 데이터를 구축하는 것입니다.

방법론: P2T (패치 -to-궤적)

저자들은 P2T를 제안합니다. 이는 데이터 큐레이션 과정에서 개발자가 작성한 참조 패치 ($p^\star$) 를 특권 정보로 취급하는 프레임워크입니다. 학생은 $p^\star$를 절대 보지 못하며, 대신 큐레이션 과정이 $p^\star$를 잠재적 구조로 정제하여 궤적 구축을 안내합니다.

P2T 는 두 단계로 운영됩니다:

1 단계: 과정 그래프 정제 (역방향 단계)

참조 패치 $p^\star$를 잠재적 과정 그래프 $G^\star_i = (V_i, E_i)$로 변환합니다.

• 노드 ($V_i$): 수정 사항이 유도되기 전에 유능한 개발자가 확립해야 하는 중간 맥락적 사실 (예: 파일 위치, 런타임 동작) 과 해결 마일스톤 (예: 재현 스크립트, 수정 계획, 편집) 을 나타냅니다.
• 간선 ($E_i$): 전제 조건 관계를 인코딩하여, 노드가 전제 조건이 확립된 후에만 발견될 수 있는 위상적 순서를 보장합니다.
• 구축: LLM 에이전트를 사용하는 반복적인 제안자 - 비평가 루프:
  • 제안자: $p^\star$를 유도하는 데 필요한 누락된 사실이나 마일스톤을 식별합니다.
  • 비평가: 비유출을 강제하여, $p^\star$ 자체에 대한 지식을 전제하는 "잠금 해제자" (발견에 필요한 행동) 를 가진 노드는 모두 가지치기합니다.
• 결과: 수정 사항 자체를 드러내지 않고 수정에 필요한 전제 조건을 인코딩한 그래프 $G^\star$.

2 단계: 후퇴형-시야 양목적 궤적 실현 (전방향 단계)

궤적은 교사 모델에서 블라인드 연속을 샘플링하고 이를 $G^\star$에 대해 큐레이션하여 구축됩니다.

• 후보 생성: 각 슬라이딩 윈도우에서 시스템은 교사로부터 $K$개의 "블라인드 시드"를 샘플링합니다. 그런 다음 시드 단계에 최대 하나의 국소적 편집을 적용하여 $G^\star$의 사용 가능한 노드로 리디렉션함으로써 "변이 변형"을 생성합니다.
• 양목적 선택: 시스템은 다음 두 가지 기준에 따라 세그먼트를 선택합니다:
  1. 효과성: $G^\star$에서 새로 확립된 노드를 세고 조기 주장을 패널티하는 진행 점수 ($Prog_t$) 로 측정합니다. 근거성 게이트는 아직 가시적 기록으로 지원되지 않는 개체를 참조하거나 주장을 하는 단계를 방지합니다.
  2. 효율성: 궤적 길이 (토큰 수 또는 단계 수) 로 측정합니다.
• 커밋 규칙: 시스템은 "최소 효과성 임계값 이상 중 최단" 규칙을 적용합니다. 즉, 최소 효과성 임계값을 충족하는 세그먼트 중 가장 짧은 것을 커밋합니다. 이는 궤적이 엄격한 근거를 유지하면서도 간결하도록 보장합니다.
• 종료: 패치가 생성될 때까지 이 과정이 반복됩니다. 최종 패치가 테스트 스위트에 통과한 궤적만 SFT 데이터셋에 허용됩니다.

주요 기여

1. 문제 정의: 저자들은 SWE 에이전트 SFT 데이터 구축을 단계별 효과성과 궤적 길이에 대한 양목적 최적화 문제로 규정하며, 표준 결과 기반 필터링 거부 샘플링이 어느 축에서도 신호를 제공하지 못함을 입증합니다.
2. P2T 프레임워크: $p^\star$를 특권 정보로 활용하는 새로운 큐레이션 프레임워크입니다. 이는 $p^\star$를 비유출 과정 그래프 $G^\star$로 정제하고, 패치를 학생에게 노출시키지 않으면서 $G^\star$에 의해 안내되는 짧고 근거 있는 궤적을 실현합니다.
3. 실증적 검증: SWE-Gym 에서 큐레이션된 1.8k 인스턴스만을 사용하여 P2T 는 결과 기반 필터링 베이스라인 대비 효과성과 효율성을 동시에 개선했습니다.

실험 결과

저자들은 두 가지 학생 모델 (Qwen2.5-Coder-14B/32B) 과 두 가지 교사 큐레이터 (Qwen3-Coder-480B, GLM-5-FP8) 를 사용하여 SWE-bench Verified와 SWE-bench Lite에서 P2T 를 평가했습니다.

• 성능 향상: SWE-bench Verified 에서 P2T 는 테스트 통과 거부 샘플링 베이스라인 대비 Pass@1 을 최대 +10.8 포인트 향상시켰습니다 (예: 32B 학생의 경우 39.6% 에서 50.4% 로).
• 효율성 향상: P2T 는 인스턴스당 추론 비용을 약 15% 감소시켰습니다 (예: $0.92 에서$0.78 로), 큐레이션된 궤적이 훨씬 더 짧고 중복이 적음을 입증했습니다.
• 품질 분석:
  • 큐레이션된 궤적은 거부된 롤아웃보다 9.3% 더 짧고 (파일 보기 행동 기준) 31.0% 덜 중복되었습니다.
  • 이러한 구조적 개선은 훈련된 학생들에게 전이되어, 베이스라인 훈련 학생들보다 10.3% 더 짧고 19.5% 덜 중복된 롤아웃을 생성했습니다.
• 절차 연구 (Ablation Studies):
  • 근거성 확인을 제거하면 Pass@1 이 약 7.2 포인트 하락하여 근거 없는 도약을 방지하는 필요성을 확인했습니다.
  • 최소 임계값 이상 최단 규칙을 제거하면 궤적 길이와 토큰 수가 증가하여 Pass@1 이 감소했는데, 이는 더 짧은 궤적이 모방 노이즈를 덜 포함함을 나타냅니다.
  • 정보 가치 연구는 성장이 단순히 큐레이션 메커니즘이나 데이터 규모가 아니라 $G^\star$에 인코딩된 정보에 의해 주도됨을 확인했습니다.

중요성과 주장

이 논문은 유능한 에이전트를 위한 올바른 감독 단위는 궤적이나 종단 산물 그 자체가 아니라, 이들을 연결하는 구조라고 주장합니다.

• 특권 정보 분해: P2T 는 종종 단순한 정답으로 폐기되는 참조 패치를, 학생의 진정한 조사 기술 학습 능력을 훼손하지 않으면서 고품질 훈련 데이터를 형성하는 특권 신호로 활용할 수 있음을 입증합니다.
• 동시 최적화: 이 연구는 탐험 (효과성) 과 효율성 사이의 트레이드오프에 도전합니다. 과정 그래프를 사용하여 진전을 고정함으로써 P2T 는 더 높은 해결률과 더 낮은 추론 비용을 동시에 달성하며, "신중하고 근거 있는 탐험"이 반드시 지지되지 않는 단축을 유도하는 "공격적인 단축"을 필요로 하지 않음을 증명합니다.
• 규모보다 데이터 품질: 결과는 원칙적인 과정 감독에서 파생된 궤적당 품질이 단순히 결과 기반 필터링 데이터의 양을 확장하는 것보다 에이전트 성능에 더 강력한 동인임을 시사합니다.

저자들은 실행 가능한 테스트 스위트와 참조 패치에 대한 의존성, 그리고 LLM 매개 근거성 확인의 실증적 (형식적이지 않은) 성격과 같은 한계를 인정하며 겸손한 입장을 유지합니다. 그들은 P2T 를 소프트웨어 엔지니어링 에이전트의 과정 감독에 대한 더 구조화된 접근을 향한 한 걸음으로 위치시킵니다.