🤖 AI

Steer, Don't Solve: Training Small Critic Models for Large Code Agents

이 논문은 대규모 코드 에이전트를 위해 궤적 내 조향(intra-trajectory steering)을 제공하는 소규모 지도 미세 조정된 비평가 모델을 학습시킬 것을 제안하며, 이 접근 방식이 엔드 투 엔드 학습이나 사후 점수 산정 방식에 비해 SWE-bench Verified와 같은 벤치마크에서의 성능을 유의미하게 향상시키는 동시에 계산 비용과 궤적 길이를 모두 줄인다는 것을 입증한다.

원저자: Shubham Gandhi, Yiqing Xie, Atharva Naik, Ruichen Zhu, Carolyn Rose

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shubham Gandhi, Yiqing Xie, Atharva Naik, Ruichen Zhu, Carolyn Rose

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 내비게이션(GPS) vs 운전자

당신이 뉴욕에서 로스앤젤레스로 차를 몰고 가려고 한다고 상상해 보세요. 당신에게는 핸들을 돌리고, 가속 페달을 밟고, 기어를 변속하는 법을 완벽하게 아는 매우 숙련된 운전자(코드 에이전트)가 있습니다. 하지만 이 운전자는 가끔 전체적인 그림에 대해 혼란을 느낄 때가 있습니다. 그들은 길을 잘못 읽어서 뱅글뱅글 돌거나, 벽을 문이라고 생각해서 계속 벽을 뚫고 지나가려고 시도할 수도 있습니다.

보통 이를 해결하기 위해 사람들은 운전자를 처음부터 다시 훈련시키려 합니다. 하지만 이는 비용이 많이 들고 시간이 오래 걸리며, 운전자는 여전히 똑같이 헷답한 길에서 헤맬 수 있습니다.

이 논문은 다른 해결책을 제안합니다. 운전자를 다시 훈련시키는 대신, 우리는 **작고 똑똑한 GPS 내비게이터(비평가 모델/Critic Model)**를 고용하는 것입니다.

운전자 (에이전트): 실제 모든 작업(코드 작성, 명령 실행)을 수행합니다. 이들은 정확히 그대로 유지되며, 우리는 이들의 뇌를 바꾸지 않습니다.
GPS (비평가): 핸들을 잡지 않습니다. 대신 몇 분마다 운전자를 관찰합니다. 만약 운전자가 뱅글뱅글 돌거나 절벽을 향해 가기 시작하면, GPS는 이렇게 말합니다. "이봐요, 계속 루프를 돌고 있잖아요! 지금 잘못된 파일을 수정하려고 하고 있어요. 멈춰서 전략을 다시 생각하세요."

이 논문은 이 작은 GPS를 고용하는 것이 매우 똑똑한 인간 내비게이터를 고용하는 것보다 훨씬 저렴하며, 운전자가 목적지에 더 빠르고 더 자주 도착하도록 돕는다는 것을 보여줍니다.

문제점: 왜 단순히 "훈련"하는 것만으로는 부족한가?

저자들은 대규모 AI 코딩 에이전트가 소프트웨어 버그를 해결하도록 훈련할 때, 그들이 메커니즘(코드 타이핑, 도구 실행)에는 매우 능숙해지지만, 전략(올바른 계획 세우기)에는 자주 실패한다는 점을 발견했습니다.

이것은 학생에게 에세이 쓰는 법을 가르치는 것과 같습니다. 문법과 철자(메커니즘)는 완벽하게 가르칠 수 있지만, 만약 학생이 자신의 생각을 정리하거나 주제를 유지하는 법(전략)을 모른다면, 그 에세이는 여전히 엉망일 것입니다.

AI가 이 두 가지를 동시에 하도록 훈련하려고 하면 "한계"에 부딪힙니다. AI는 정체됩니다. 저자들은 **실패 원인의 약 65%**가 AI가 코드를 잘못 작성했기 때문이 아니라, 추론 과정에 결함이 있었기 때문이라는 것을 발견했습니다.

해결책: "작은 비평가 (Small Critic)"

팀은 작은 AI 모델(비평가)이 큰 코딩 에이전트 옆에 앉아 있는 시스템을 구축했습니다.

설정: 큰 에이전트가 문제를 해결하려고 시도합니다. 5단계 또는 10단계마다 에이전트는 잠시 멈춥니다.
체크인: 작은 비평가가 지금까지 에이전트가 수행한 작업을 살펴봅니다.
조언: 비평가는 짧고 수준 높은 팁을 제공합니다.
- 나쁜 조언: "42번 라인을 삭제하고 여기에 루프를 작성하세요." (이것은 "뒷좌석에서 참견하기"이며, 논문에서는 작은 모델이 큰 모델보다 코드를 더 잘 알 리가 없기 때문에 이것이 나쁘다고 말합니다.)
- 좋은 조언: "똑같은 명령을 세 번이나 반복하고 있네요. 루프에 빠졌습니다. 다른 접근 방식을 시도해 보세요." (이것은 "조종하기/Steering"입니다.)
재개: 큰 에이전트는 조언을 읽고 작업을 계속합니다.

그들은 GPS를 어떻게 훈련시켰는가

작은 비평가가 좋은 조언을 하는 법을 가르치기 위해, 그들은 단순히 추측하지 않았습니다. 그들은 먼저 "선생님"(Claude-Opus-4.6이라는 거대하고 매우 비싼 AI)을 사용하여 조언을 생성했습니다.

선생님: 비싼 AI가 에이전트의 작업을 지켜보고 완벽하고 수준 높은 조언을 작성했습니다.
학생: 작고 저렴한 AI(Qwen3-8B)가 이 노트들을 공부했습니다. 이 모델은 (특정 코드 라인이 아닌) 전략에 집중하는 조언의 스타일을 모방하는 법을 배웠으며, 선생님만큼 똑똑해질 필요는 없었습니다.

결정적인 발견: 논문은 조언의 유형이 가장 중요하다는 것을 발견했습니다.

만약 선생님이 구체적인 코드 명령을 주었다면, 작은 학생 모델은 그것을 잘 배울 수 없었습니다.
만약 선생님이 높은 수준의 전략(예: "막혔습니다", "가정을 다시 확인하세요")을 주었다면, 작은 학생은 그것을 완벽하게 학습했습니다.

결과: 더 빠르고, 더 저렴하며, 더 똑똑하게

팀은 이 시스템을 500개의 실제 소프트웨어 버그가 포함된 유명한 벤치마크인 SWE-bench로 테스트했습니다.

다양한 운전자에게도 작동합니다: 그들은 한 종류의 코딩 에이전트(CWM-32B)를 사용하여 비평가를 훈련시켰습니다. 그런 다음, 그 동일한 비평가를 한 번도 본 적 없는 두 가지의 다른 코딩 에이전트(Qwen 모델들)를 돕는 데 사용했습니다.
- 결과: 새로운 에이전트들은 비평가의 말을 듣는 것만으로도 버그 해결 능력이 크게 향상되었습니다.
비용을 절감합니다: "선생님"(Claude-Opus)을 실행하는 것은 매우 비쌉니다. 반면 "학생"(Qwen3-8B)은 아주 작고 저렴합니다.
- 결과: 작은 비평가를 사용하는 시스템은 비싼 선생님을 사용하는 것보다 30배에서 92배 더 저렴했습니다.
실제로 시간을 절약합니다: 큰 에이전트 중 하나를 대상으로 테스트했을 때, 비평가는 에이전트를 더 똑똑하게 만들었을 뿐만 아니라, 에이전트가 시간을 낭비하는 것을 막아주었습니다. 에이전트는 작업을 더 빨리 완료하여 더 많은 비용을 아꼈습니다. 실제로 전체 시스템(에이전트 + 비평가)은 에이전트가 혼자 일할 때보다 더 저렴했습니다.

"비법 (Secret Sauce)"

논문은 이 방식이 성공한 두 가지 주요 이유를 강조합니다.

관심사의 분리: 에이전트는 수행하는 것(코딩)에 집중하고, 비평가는 생각하는 것(전략)에 집중합니다. 그들은 누가 주도권을 잡을지를 두고 싸우지 않습니다.
뒷좌석에서 참견하지 않기: 비평가는 엄격하게 "이 특정 코드를 작성하라"고 말하는 것이 금지되어 있습니다. 비평가는 오직 "당신은 잘못된 방향으로 가고 있다"라고만 말합니다. 이는 작은 모델이 큰 모델을 혼란스럽게 만드는 잘못된 구체적 지시를 내리는 것을 방지합니다.

요약

이 논문을 하나의 '슈퍼 히어로'를 만드는 것이 아니라 **'팀'**을 구축하는 설계도로 생각하십시오. 모든 것을 다 할 수 있는 하나의 거대하고 완벽한 AI를 만드는 대신(이는 어렵고 비용이 많이 듭니다), 그들은 강력한 작업자를 안내하는 작고 전문화된 코치를 구축했습니다.

코치는 직접 일을 하지 않지만, 적절한 수준 높은 자극을 줌으로써 작업자가 혼자서는 해결할 수 없었던 문제를 해결하도록 돕고, 팀 전체가 더 빠르고 더 적은 비용으로 업무를 마칠 수 있게 합니다.

기술 요약: 해결하지 말고, 조종하라 (Steer, Don't Solve)

문제 정의

코드 에이전트의 엔드 투 엔드(end-to-end) 학습은 자원 집약적이며, 복잡한 코드 문제를 해결하는 데 필요한 전략적 수준의 추론(strategy-level reasoning) 측면에서 종종 정체기에 도달합니다. 경험적 증거에 따르면, 에이전트는 실행 능력(도구 호출 실행, 코드 편집 등)과 같은 저수준의 구현 기술은 학습할 수 있지만, 고수준의 추론(트러블슈팅, 계획 수립, 탐색)은 실행과 함께 공동 최적화될 때 여전히 미발달 상태로 남는 경향이 있습니다. 코드 에이전트 실패의 약 65%는 잘못된 행동이 아니라 결함이 있는 추론에서 기인합니다. 현재의 사후 학습(post-training) 방식은 전략적 추론과 구현 동작을 결합하려 하지만, 이는 빠르게 포화 상태에 도달하여 에이전트가 패턴을 효과적으로 일반화하지 못하게 만듭니다. 또한, 기존의 비평(critic) 모델들은 대개 실행 중 실수를 방지하기 위해 경로 내부에서 가이드를 제공하기보다는, 완료된 궤적(trajectory)에 점수를 매기는 사후적(post-hoc) 방식에 머물러 있습니다.

방법론

저자들은 "해결하지 말고, 조종하라"는 패러다임을 제안합니다. 즉, 코드 에이전트를 동결(freezing)시킨 채, 별도의 작은 **비평 모델(critic model)**을 훈련시켜 에이전트의 실행 중에 고수준의 전략적 피드백을 제공하는 방식입니다.

핵심 아키텍처

동결된 에이전트 ( $\pi_A$ ): 코드 에이전트(예: CWM-32B, Qwen3 변형 모델)는 전체 과정 동안 동결된 상태를 유지합니다. 이 모델은 모든 구체적인 행동, 도구 호출, 코드 편집을 담당합니다.
비평 개입 (Critic Intervention): 매 $k$ 단계마다 (예: $k=5$ 또는 $10 $), 비평 모델$ C $가 부분 궤적$ \tau_{1:t}$와 에이전트의 히스토리를 검토합니다.
피드백 루프: 비평가는 짧은 텍스트 형태의 비평 $f_t$ 를 생성하여, 에이전트의 다음 단계 직전에 에이전트의 컨텍스트에 추가합니다. 비평가는 환경과 직접 상호작용하지 않습니다.

비평가 설계 및 훈련

교사 증류 (Teacher Distillation): 프런티어 모델(Claude-Opus-4.6)이 교사 비평가( $C_T$ )로서 훈련 데이터를 생성합니다. 학생 비평가( $C_\theta$ )는 이러한 비평을 바탕으로 지도 미세 조정(SFT)을 거친 더 작은 모델(Qwen3-8B)입니다.
간결한 vs 상세한 프롬프트: 논문은 피드백 형식에 관한 중요한 설계 선택 사항을 식별했습니다.
- 상세한 프롬프트 (Detailed Prompt): 교사가 구체적인 행동 수준의 지침(예: "이 명령어를 실행하라", "이 파일을 수정하라")을 제공할 수 있게 합니다. 이는 강력한 교사에게는 효과적이지만, 에이전트가 스스로 추론하는 대신 교사의 솔루션을 단순히 복사하게 만드는 "뒷좌석 운전(backseat driving)" 현상을 초래합니다.
- 간결한 프롬프트 (Concise Prompt): 교사가 고수준의 피드백만 제공하도록 제한합니다. 이는 구체적인 코드 변경이나 기술적 접근 방식을 금지하고, 대신 오류 분류(예: "단계 반복", "작업 탈선") 및 전략적 재지향에 집중합니다. 훈련된 학생 비평가는 조종(steering)을 배울 뿐 지시(dictating)하지 않도록 이 간결한 프롬프트로부터 증류됩니다.
예산 인식 (Budget Awareness): 추론 시, 에이전트가 단계 제한(예: 150단계 중 100번째 단계)에 도달하면 예산 인지 지침이 비평가의 입력에 추가되어, 에이전트가 막혀 있거나 해결책을 찾았을 경우 제출을 권장하도록 우선순위를 지정합니다.
훈련 데이터: 궤적은 교사 비평가가 개입하는 방식으로 동결된 에이전트를 실행하여 수집됩니다. 훈련 코퍼스는 "간결한" 감독 신호를 사용합니다. 전이 가능성을 보장하기 위해, 저자들은 한 에이전트(CWM-32B)에서 데이터를 수집하여 다른 에이전트에서 테스트하거나, 대상 에이전트의 궤적을 코퍼스에 혼합합니다.

평가 설정

벤치마크: SWE-bench Verified (500개의 인간 검증된 GitHub 이슈).
테스트된 에이전트: CWM-32B (dense), Qwen3-32B (dense), Qwen3-Next-80B-A3B (MoE).
지표: 해결률 (Resolve Rate, 숨겨진 테스트 통과 여부), 국소화율 (Localized Rate), 비공백률 (Non-Empty Rate), 비용 (인스턴스당 USD).
폴백 메커니즘 (Fallback Mechanism): 만약 비평가 가이드 실행이 예산 내에 제출에 실패할 경우, 공정한 비용 비교를 위해 기본 실행(비평가 없음)을 수행합니다.

주요 결과

성능 향상: 훈련된 비평가는 동결된 에이전트의 해결률을 유의미하게 개선합니다.
- CWM-32B의 경우, CWM-32B 궤적만으로 훈련된 비평가가 해결률을 +3.8 포인트 (29.2% $\to$ 33.0%) 향상시켰습니다.
- Qwen3-32B의 경우, 동일한 비평가(CWM-32B 데이터로만 훈련됨)가 해결률을 +3.4 포인트 (9.6% $\to$ 13.0%) 향상시켰습니다.
- Qwen3-Next-80B-A3B의 경우, +3.0 포인트 (20.8% $\to$ 23.8%)의 이득을 얻었습니다.
- 훈련 코퍼스에 대상 에이전트의 궤적을 추가하면 이득이 더욱 증가하여, Qwen3-32B에서는 +5.2 포인트, Qwen3-Next-80B-A3B에서는 +4.4 포인트에 도달했습니다.
전이 가능성: 단일 에이전트의 궤적으로 훈련된 비평가는 서로 다른 아키텍처(dense vs MoE)와 크기를 가진 미학습 에이전트에게도 효과적으로 전이되며, 이는 학습된 조종 신호가 에이전트 불가지론적(agent-agnostic)임을 시사합니다.
비용 효율성:
- 훈련된 8B 비평가는 Claude-Opus-4.6 교사보다 30~92배 적은 비용이 듭니다.
- 결정적으로, Qwen3-Next-80B-A3B 에이전트의 경우, 비평가 가이드 시스템은 가이드가 없는 에이전트( $0.11)보다 엔드 투 엔드 비용이 더 저렴합니다($ 0.04). 이는 비평가가 에이전트의 궤적을 단축시켜(에이전트 연산량 감소) 비평가 호출 비용을 상쇄하기 때문입니다.
절제 연구(Ablation) 결과:
- 훈련은 필수적임: 훈련되지 않은(off-the-shelf) 8B 비평가는 베이스라인 대비 성능 향상이 없었습니다.
- 프롬프트 형식이 중요함: 교사는 상세한 프롬프트에서 더 높은 성능을 보였지만, 훈련된 학생은 간결한 프롬프트에서 더 나은 성능을 보였습니다. 상세한 프롬프트는 교사가 "뒷좌석 운전"을 하게 만들었고, 이는 8B 학생이 충실히 재현하거나 일반화할 수 없는 행동이었기에, 이를 통해 증류했을 때 오히려 성능이 낮아졌습니다.

의의 및 주장

본 논문은 에이전트 자체를 확장하는 대안으로서, 코드 에이전트를 위해 특별히 훈련된 비평 모델을 연구한 최초의 사례라고 주장합니다.

실용적 보완재: 결과는 작고 잘 훈련된 비평가가 에이전트 훈련을 확장하는 것의 실용적이고 비용 효율적인 보완책임을 입증합니다. 이는 엔드 투 엔드 훈련이 충분히 발달시키지 못한 전략적 수준의 추론 능력을 회복시켜 줍니다.
관심사의 분리 (Separation of Concerns): 전략(비평가)과 실행(에이전트)을 분리함으로써, 시스템은 더 단순하고 일반화 가능한 패턴을 학습합니다. 비평가는 고수준의 진단과 재지향을 담당하고, 에이전트는 구현을 담당합니다.
효율성: 이 접근 방식은 가이드가 없는 에이전트나 값비싼 프런티어 모델을 비평가로 사용하는 시스템에 비해 더 높은 정확도와 더 낮은 비용을 제공하며 파레토 최적(Pareto-optimal)의 개선을 달성합니다.

저자들은 비평가 모델을 훈련하는 것이 에이전트를 다시 훈련시키는 막대한 비용을 들이거나 추론 시점에 값비싼 블랙박스 교사에 의존하지 않고도 코드 에이전트를 개선할 수 있는 유망한 경로라고 결론짓습니다.