기술 요약: 스스로를 분절하는 궤적 (Trajectories That Segment Themselves)

1. 문제 정의

장기 호흡의 코딩 에이전트 궤적은 표준 학습 단위와 근본적인 불일치를 보입니다. 현재의 접근 방식들은 세 가지 결함이 있는 신용 할당(credit assignment) 메커니즘에 의존하고 있습니다:

• 행위별 신용 (Per-action credit): 개별 행위(예: grep, pytest)는 그 자체로 내재적 가치를 갖지 못하며, 그 효용은 전적으로 그것이 뒷받침하는 인과적 가설에 달려 있습니다.
• 종단 에피소드 레이블 (Terminal episode labels): 단일 성공/실패 비트는 생산적인 탐색과 포기된 방향을 혼재시키며, 근거가 확실한 단계와 실패한 몰입을 하나로 묶어버립니다.
• 고정 윈도우 (Fixed windows): 임의의 타임스텝 경계(예: $K$-turn 윈도우)는 일관된 조사를 분절하거나, 한 원인의 포기와 다른 원인의 채택을 병합해 버리는 경우가 많습니다.

이러한 경계들은 에이전트의 진화하는 인식 상태(epistemic state)가 아니라 로깅 메커니즘에서 파생된 것이며, 결과적으로 인과적 추론보다 표면적 형태에 보상을 주는 노이즈 섞인 타겟을 생성합니다.

2. 방법론

2.1 에이전트 선언형 의미론적 자기 분절 (Agent-Declared Semantic Self-Segmentation)

본 논문은 실행 중인 에이전트가 **선언적 계약(declarative contract)**을 통해 스스로 경계를 노출하는 수집 시점 프로토콜을 도입합니다.

• 메커니즘: 도구 사용 롤아웃 중에, 실행 중인 에이전트는 검증 가능한 인과적 가설($h_k$)을 채택하고 이를 선언합니다. 이후 에이전트는 이 가설 하에서 증거를 수집하거나, 코드를 수정하거나, 체크를 수행합니다. 이 단계는 에이전트가 새로운 가설($h_{k+1}$)을 채택하거나 궤적이 종료될 때 끝납니다.
• 비용: 이는 골드 패치(gold patches), 환경 특화 어휘, 재현 가능한 환경 또는 사후 분절기(post-hoc segmenters)를 요구하는 대안들과 비교했을 때 최소한의 오버헤드(선언당 평균 52 토큰, 에이전트 출력의 약 9.8%)만을 추가합니다.
• 수집 프로토콜: 에이전트가 작업을 시도합니다. 만약 숨겨진 테스트에 실패하면, 리뷰어 모델이 개입합니다. 리뷰어는 참조 수정 사항(reference fix)을 보지만, 이를 명명하는 것은 금지됩니다. 대신, 리뷰어는 다음을 제공해야 합니다: (1) 현재의 잘못된 접근 방식에 대한 부정(negation)과 (2) 다음에 조사할 가장 작은 긍정적 방향. 이는 에이전트가 반박된 가설을 포기하고 새로운 가설을 채택하도록 강제하여, 명확한 "잘못된 원인 후 교정(wrong-cause-then-correction)" 전환을 만들어냅니다.

2.2 하나의 수집으로부터 얻는 네 가지 지도 학습 타겟

단일 롤아웃은 정보의 비대칭성을 활용하여 네 가지 별도의 학습 뷰를 생성합니다:

1. 감사 (Audit, 2,721행): 감사자는 완료된 단계를 보고, 해당 방향이 타당했는지 판단하고 누락된 증거를 식별하기 위해 증거를 결합합니다. 이는 에피소드 레이블이 폐기할 법한 구간으로부터 교훈을 회복합니다.
2. 제안 (Propose, 1,405행): 모델은 경계 지점에서의 상태만을 보고(마스킹됨), 검증 가능한 다음 가설을 도출하거나 누락된 증거를 찾아내야 합니다.
3. 수정 (Fix, 553행): 모델은 결과가 확인된 원인과 소스를 보고 국지적 진단을 패치로 전환합니다.
4. 선호 쌍 (Preference Pairs, 2,551행): 모델은 마스킹된 경계 상태를 보고, 정체되거나 반박된 것이 아닌 전진하는 개방(opening)을 선호하도록 학습합니다.

2.3 Phase-DPO

본 논문은 선호 쌍에 대해 표준 직접 선호 최적화(Direct Preference Optimization, DPO)를 구현합니다. 목적은 주어진 마스킹된 상태 $x$에 대해 $\pi_\theta(y^+ | x) > \pi_\theta(y^- | x)$를 만족하는 정책 $\pi_\theta$를 학습하는 것입니다. 여기서 $y^+$는 선호되는 개방 가설이고 $y^-$는 거부된 가설입니다. 이 단계(phase)는 신용 단위 역할을 하며, 컨텍스트가 어디서 잘리고 어떤 텍스트가 타겟이 될지를 결정합니다.

3. 주요 기여

1. 의존성 없는 경계: 분절은 외부의 골드 패치, 마일스톤 어휘 또는 사후 분절기 없이, 실행 정책 자체에 의해 공급되는 선언적 계약에 의해 이루어집니다. 경계는 궤적을 생성하는 것과 동일한 롤아웃 내에서 도착합니다.
2. 주소 지정 가능한 단위: 위치로 정의되는 윈도우와 달리, 선언된 가설은 주소 지정 가능한 핸들입니다. 이를 통해 더 세밀한 신용 할당, 단계별 주석 없는 프로세스 감독, 그리고 이름에 의한 가이드(전체 궤적이 아닌 특정 추측을 부정하는 방식)가 가능해집니다.
3. 의미론적 일관성: 경계는 로깅 아티팩트가 아니라 에이전트의 추론을 추적합니다.
   • 속성 (Attribution): 선언문이 삭제된 후에도 행동 블록을 지배하는 가설에 귀속시키는 독립 모델의 성능은 2.18배 높았습니다 (paired sign test $p=0.0002$). 이는 동일 길이 윈도우보다 우수한 성능입니다.
   • 비도출성 (Non-Derivability): 코드-블라인드 인간 주석가는 40개 경계 중 24개를 맞추었습니다 (우연한 확률인 11.5보다 높음). 반면, 기계적 테스트-이벤트 규칙은 엄격하거나 완화된 임계값 모두에서 우연의 확률을 넘지 못했습니다.
4. 구성 인터페이스: 이 프로토콜은 기록된 작업에서는 보기 드문 "잘못된 원인 후 교정" 전환을 제조하여, 표준 에피소드 레이블이 폐기하는 실패한 탐색 영역으로부터 감사 감독(audit supervision)을 추출해 냅니다.

4. 결과

4.1 단위 유효성

• 속성: 행동 블록은 선언 텍스트를 제거한 후에도 해당 지배 가설에 여전히 귀속되며, 이는 경계가 어휘적인 것이 아니라 의미론적임을 확인시켜 줍니다.
• 회복 가능성: 코드-블라인드 독자는 무작위보다 유의미하게 더 잘 경계를 복구하지만, 과잉 분절(1.55배)하는 경향을 보입니다. 이는 경계가 단순한 휴리스틱에 의해 쉽게 재현될 수 있는 것이 아님을 나타냅니다.

4.2 다운스트림 최적화 (Phase-DPO)

• 방향성 민감도: 2,721개의 쌍으로 27B SFT 정책을 학습시킨 결과, 레이블이 반전된 팔(arm)은 분리를 재현하지 못했습니다. 이는 신호가 옵티마이저 쉘의 아티팩트가 아님을 확인시켜 줍니다.
• 일반화 한계:
  • 적대적으로 구축된 홀드아웃 아이템 (87개 사례)에서, 학습된 어댑터는 0/91의 결정을 변경했습니다.
  • 동일한 생성 패밀리에서 가져온 매칭 구성 아이템 (60개 사례)에서, 어댑터는 4/60의 결정(모두 잘못된 것을 맞게 바꿈)을 변경한 반면, 대조군은 변경하지 못했습니다.
  • 결론: 적합된 선호도는 실재하지만 구성(construction)에 종속적입니다. 즉, 일반적인 능력이 아니라 학습 쌍이 작성된 방식을 학습합니다.

4.3 롤아웃 파일럿

SWE-bench Verified에 대한 20개 작업 파일럿 결과는 다음과 같습니다:

• 해결률 (Resolve Rate): Base (13/20), SFT (14/20), Phase-DPO (14/20). 해결률에서 통계적으로 유의미한 향상은 없었습니다.
• 효율성: Phase-DPO는 메시지 수를 줄이는 경향(Base 대비 14.0% 감소)을 보였으나, 신뢰 구간에 0이 포함되었습니다.
• 사례 연구: 특정 사례에서 DPO는 더 나은 로컬 선택(예: 내부 기본값 보존)을 하거나 더 나쁜 선택(예: 너무 일찍 잘못된 위치에 몰입)을 하는 등, 더 나은 단계 선택이 반드시 글로벌 성공을 보장하지는 않음을 보여주었습니다.

5. 의의 및 주장

본 논문은 수집 시점의 분절 프로토콜과 데이터 인터페이스를 주요 기여로 겸손하게 주장합니다.

• 확립된 사항: 의미론적 경계는 외부 의존성 없이 저렴하게 얻을 수 있습니다. 이 경계는 행동을 지배 가설에 귀속시킬 수 있는 일관된 단위를 생성하며, 이를 통해 실패한 탐색 방향으로부터 교훈(감사 감독)을 추출하고 선호 쌍을 구축할 수 있습니다.
• 확립되지 않은 사항: 본 논문은 이러한 단위에 대한 학습이 더 우수한 엔드 투 엔드 코딩 능력이나 더 높은 해결률을 가진 정책을 만든다고 주장하지 않습니다. 최적화 신호는 방향성에는 민데이지만, 현재는 학습 쌍의 구성에 묶여 있습니다.
• 향-후 방향: 본 논문은 다음으로 변화시켜야 할 변수가 경계의 정의 자체가 아니라 쌍 코퍼스(pair corpus)의 다양성이라고 상정합니다. 경계는 단위를 위한 필요조건이지만, 그 단위의 효용은 그것이 구조화하는 데이터의 품질과 다양성에 달려 있습니다.

이 연구는 "신용 단위(credit unit)" 문제를 재정의합니다: 에이전트가 자신의 인과적 몰입을 스스로 선언하게 함으로써, 시스템은 단순히 결과(outcomes)가 아닌 *탐색 방향(search directions)*을 구분하는 학습 데이터를 제조하며, 이는 더욱 세밀하고 해석 가능한 에이전트 학습을 위한 경로를 제시합니다.