기술 요약: 약한 피드백 에이전트 코드 수리를 위한 GRPO 신호 재구성

문제 제기

본 논문은 약한 피드백 환경에서 그룹 상대적 정책 최적화 (GRPO) 를 사용하여 코드 에이전트를 훈련하는 과제를 다룹니다. 에이전트 코드 수리 (특히 "컴파일 - 수정" 작업) 에서 온라인 실행 피드백 (예: 컴파일 성공 여부) 은 신뢰할 수 있지만 의미론적으로 불완전합니다. 패치가 컴파일에 성공하더라도 의도된 의미론적 오류를 수정하지 못하거나 (필요한 코드를 삭제하거나 안전하지 않은 스텁을 추가하는 경우), 정책 실패가 아닌 환경적 잡음으로 인해 컴파일에 실패할 수 있습니다.

표준 GRPO 는 동일한 프롬프트에서 생성된 여러 롤아웃을 비교하여 이점 (advantages) 을 생성하는 데 의존합니다. 그러나 약한 피드백 설정에서는 세 가지 중요한 신호 왜곡이 그룹 내 비교를 무의미하게 만듭니다:

1. 결과 - 의미론 실패: 이진 보상 (컴파일 성공/실패) 은 문법적 단축키와 진정한 수리를 혼동하여 에이전트가 의미론적 정확성보다는 표면적 성공을 최적화하게 만듭니다.
2. 분산된 과정 신용: 장기 궤적은 단일 스칼라 보상을 받기 때문에 효과적인 수리 단계를 무정보적 반복이나 중복과 구별할 수 없습니다.
3. 파괴된 그룹 내 비교 가능성: 인프라 문제 (예: 컨테이너 타임아웃, 컴파일 큐 경쟁) 와 정책 퇴화 (예: 치명적 반복) 가 영구 보상 (zero-reward) 버킷에서 진정한 수리 실패와 섞여 롤아웃의 상대적 순위를 왜곡시킵니다.

저자들은 해결책이 RL 목적 함수를 다시 작성하는 것이 아니라, 기존 GRPO 프레임워크에 입력되는 훈련 신호를 재구성하여 그룹 내 비교의 유효성을 회복하는 것이라고 주장합니다.

방법론

제안된 접근법인 신호 재구성 (Signal Reshaping) 은 GRPO 의 그룹 정규화 이점 계산 메커니즘을 변경하지 않고 입력 신호를 수정하는 세 가지 최소 개입을 도입합니다.

1. 계층적 결과 보상 (의미론적 순위 회복)

컴파일에만 기반한 이진 {0, 1} 보상 대신, 저자들은 3 단계 보상 구조를 제안합니다:

• $R=0$: 컴파일 실패.
• $R=0.5$: 컴파일 성공이지만 패치가 진리값 (GT) 최소 충분 수리와 의미론적으로 불일치함.
• $R=1$: 컴파일 성공이며 GT 수리와 의미론적으로 일치함.
  의미론적 일관성은 정제된 GT 패치와 에이전트의 패치를 비교하는 강력한 LLM 판정자 (Kimi-K2.5) 에 의해 결정됩니다. 이 중간 단계 ($R=0.5$) 는 완전히 정확한 의미론적 수리가 희소할 때 훈련 중 순위 신호가 붕괴되는 것을 방지하여 순위 신호를 유지합니다.

2. 단계별 과정 점수 (신용 국소화)

긴 궤적에서의 신용 분산을 해결하기 위해, 이 방법은 단계별 과정 점수 ($s_i \in [0, 1]$) 를 도입합니다.

• 이 점수는 성공적으로 컴파일된 궤적 내의 개별 도구 호출 단계에 판정자에 의해 할당됩니다.
• 중요하게도, 이러한 점수는 GRPO 스칼라 보상 정규화에 참여하지 않습니다. 대신 토큰 수준 손실 가중치로 작용합니다.
• 고득점 단계 (예: 성공적인 편집, 검증) 는 더 높은 기울기 가중치를 받고, 저득점 단계 (예: 중복 파일 검사) 는 가중치가 낮아집니다. 이는 서로 다른 궤적 간의 상대적 이점을 변경하지 않으면서 궤적 내 업데이트 강도를 재분배합니다.

3. 실패 원인 인식 롤아웃 거버넌스 (비교 가능성 보장)

동일 그룹 내 롤아웃이 실행 가능하게 비교되도록 보장하기 위해, 시스템은 실패 원인에 기반한 라우팅 메커니즘을 구현합니다:

• 전체 궤적 마스킹: 학습 가능한 환경 예외가 아닌 (예: 컨테이너 초기화 실패, 컨텍스트 오버플로우, 시스템 타임아웃) 샘플은 손실 목적에서 완전히 마스킹됩니다. 이들은 정규화를 위한 그룹 평균/분산에는 기여하지만 기울기는 생성하지 않습니다.
• 마지막 단계 유지: 정책 퇴화 (예: 치명적 반복, 과도한 도구 호출) 를 보이는 샘플은 마지막 단계까지 마스킹되며, 마지막 단계만 페널티 샘플로 유지하여 부정적 피드백을 실패 지점과 정렬합니다.
• 정상 종료: 유효한 궤적은 의미론적 판정으로 진행됩니다.
  또한, 시스템은 GPU 추론, 샌드박스 I/O, 컴파일의 동시성을 분리하여 리소스 경쟁이 샘플링 분포에 편향을 주지 않도록 합니다.

경계 비교: 토큰 수준 증류

본 논문은 훈련 중에는 사용 가능하지만 테스트 시에는 사용할 수 없는 힌트를 사용하는 토큰 수준 특권 증류가 단계별 과정 신용을 대체할 수 있는지 조사합니다. $\pi$-Distill (순방향 KL) 과 OPSD (역방향 KL) 두 가지 방법이 테스트되었습니다. 결과는 긴 궤적에서 토큰 수준 정렬이 비임계 토큰에 의해 신호가 희석되고 궤적 수준 최적화 역학을 방해하여 결과 정확도를 향상시키지 못함을 보여줍니다.

주요 결과

내부 CI 로그에서 파생된 최소 충분 수리 데이터셋을 사용하여 Qwen3-Coder-30B 모델을 활용한 컴파일 - 수정 작업에서 실험이 수행되었습니다.

• 종단 간 향상: 전체 신호 재구성 GRPO 는 기본 모델의 제로샷 성능인 0.385의 엄격한 컴파일 및 의미론 정확도를 0.535로 향상시켰습니다 (+15.0 백분율 포인트 향상).
• 계층적 보상의 역할: 이진 보상 (컴파일 전용) 과 계층적 보상을 비교한 결과, 이진 보상은 컴파일률을 초기에 급증시켰다가 저하시켜 의미론적 정확도 향상에 실패했습니다. 계층적 보상 ($R=0.5$ 단계) 은 안정적인 훈련과 궤적 제어에 필수적이었습니다.
• 과정 점수의 역할: 계층적 보상 기준선에 단계별 과정 점수를 추가하면 정확도가 0.48에서 0.53으로 추가로 향상되었고, 평균 평가 단계 수가 23.50에서 17.02로 감소했습니다. 이는 과정 신용이 성공을 위한 탐색과 거래하는 것이 아니라 효율성과 정확성을 동시에 향상시킴을 보여줍니다.
• 증류 실패: 토큰 수준 증류 방법 ($\pi$-Distill 및 OPSD) 은 GRPO 기준선보다 낮은 성능을 보였습니다. $\pi$-Distill 은 조기 종료 (조기 제출 학습) 로 이어졌고, OPSD 는 낮은 엔트로피와 저하된 도구 기술로 이어졌습니다. 이는 이 설정에서 로컬 토큰 정렬이 결과 의미론이나 과정 신용을 대체할 수 없음을 확인시켜 줍니다.

중요성과 주장

본 논문은 약한 피드백 에이전트 작업에서 신호 재구성이 RL 목적 함수를 수정하거나 불일치하는 감독을 추가하는 것보다 더 효과적인 전략이라고 주장합니다.

1. 문제 재정의: 저자들은 약한 피드백 설정에서 GRPO 의 실패는 알고리즘 자체 때문이 아니라 불완전한 신호로 인한 그룹 내 비교의 무효성 때문이라고 가정합니다.
2. 최소 개입: 제안된 방법은 GRPO 의 핵심 이점 계산을 변경하지 않습니다. 단순히 입력 (보상, 과정 가중치, 샘플 선택) 이 의미 있는 상대적 최적화를 위한 전제 조건을 충족하도록 보장할 뿐입니다.
3. 세분성 불일치: 토큰 수준 증류에 대한 부정적 결과는 근본적인 불일치를 강조합니다: 긴 시간 에이전트 작업에서 성공은 몇 가지 중요한 결정 지점 (도구 호출, 종료) 에 의해 결정되는 반면, 토큰 수준 감독은 비임계 토큰에 의해 희석됩니다. 따라서 단계별 과정 신용과 결과 의미론이 필요하며 밀집된 토큰 수준 정렬로 대체될 수 없습니다.

이 연구는 미래 에이전트 RL 에 대한 설계 원칙을 제시합니다: 목표는 올바르지만 피드백이 불완전한 경우, 부수적 감독을 추가하는 것보다 신호를 재구성하여 의미론적 순서, 국소화된 신용, 샘플 비교 가능성을 회복하는 것이 더 효과적입니다.