🤖 machine learning

Probe-and-Refine Tuning of Repository Guidance for Coding Agents

이 논문은 패치당 정밀도를 높이기보다 평가 가능한 패치의 범위를 확장함으로써 SWE-bench Verified에서 코딩 에이전트의 성능을 크게 향상시키기 위해, 합성 버그 수정 프로브(synthetic bug-fix probes)를 사용하여 저장소 가이드 파일(AGENTS.md)을 반복적으로 최적화하는 방법인 "프로브 앤 리파인 튜닝(probe-and-refine tuning)"을 소개한다.

원저자: Asa Shepard, Jeannie Albrecht

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Asa Shepard, Jeannie Albrecht

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 오래된 도서관(코드 저장소)을 고치기 위해 똑똑하지만 경험이 부족한 견습생을 고용했다고 상상해 보세요. 이 견습생은 책을 읽고 찢어진 페이지를 고칠 만큼 똑똑하지만, 이 도서관의 비밀 규칙들은 알지 못합니다. 어느 선반에 희귀한 지도가 있는지, 잠든 고양이들을 깨우지 않고 사서에게 도움을 요청하는 방법은 무엇인지, 혹은 어떤 사다리가 안전하게 올라갈 수 있는 것인지 같은 것들 말이죠.

이러한 "로컬 지식(local knowledge)"이 없다면, 견습생은 정처 없이 헤매거나, 잘못된 사다리를 오르거나, 엉뚱한 구역에서 책을 고치려다 오히려 일을 그르치게 될 것입니다.

이 논문은 이 문제를 해결하기 위한 **"프로브 앤 리파인 튜닝(Probe-and-Refine Tuning, 탐색 및 정교화 튜닝)"**이라는 방법을 소개합니다. 쉬운 비유를 통해 이 방식이 어떻게 작동하는지 설명하겠습니다.

문제점: "일률적인" 매뉴얼

엔지니어들은 종-종 AI 코딩 에이전트를 위한 "치트 시트"(예: AGENTS.md 파일)를 작성합니다.

기존 방식 (정적 지식): 그들은 똑똑한 AI에게 일반적인 매뉴얼을 쓰라고 요청합니다. "수정하기 전에 항상 인덱스를 확인하라"라거나 "주요 진입점을 찾아라"와 같은 식이죠. 이것은 마치 견습생에게 전 세계 모든 도서관의 지도를 주는 것과 같습니다. 도움이 되긴 하겠지만, 이 특정한 도서관의 비밀 창고가 어디에 숨겨져 있는지는 알려주지 못합니다.
결과: 견습생은 어느 정도 해내기는 하지만, 여전히 자주 길을 잃습니다.

해결책: "시행착오" 코치

저자들은 **프로브 앤 리파인(Probe-and-Refine)**이라는 새로운 프로세스를 만들었습니다. 매뉴얼을 한 번 쓰고 끝내는 것이 아니라, 실수를 통해 학습되는 살아있는 문서로 취급하는 것입니다.

이것은 마치 코치가 신입 선수를 훈련시키는 것과 같습니다:

프로브 (훈련 - The Drills): 코치는 이 도서관에 특화된 10개의 가짜 문제(프로브)를 생성합니다.
시도 (The Attempt): 견습생은 현재의 매뉴얼을 사용하여 이 가짜 문제들을 해결하려고 시도합니다.
진단 (The Diagnosis): 코치는 그 시도를 관찰합니다. "아, 너는 주방의 배관을 고치려 했지만, 실제 배관은 지하실에 있구나. 그리고 먼저 설계도를 확인하는 것을 잊었어."
정교화 (The Refinement): 코치는 즉시 매뉴얼을 업데이트하여 구체적인 규칙을 추가합니다: "이 도서관의 경우, 배관은 지하실에 있으며 항상 설계도를 먼저 확인해야 한다."
반복 (Repeat): 이 과정을 3~5회 반복합니다. 매뉴얼은 일반적인 가이드에서 초정밀 "내부자용" 가이드로 진화합니다.

결정적으로, 이 모든 훈련 과정은 에이전트가 실제로 버그를 고치지 않고 수행됩니다. 이는 AI가 매뉴얼을 작성하고, 가짜 문제로 테스트하며, 실패를 바탕으로 매뉴얼을 수정하는 시뮬레이션 루프입니다.

연구 결과

연구진은 이를 유명한 코딩 벤치마크(SWE-bench)에서 네 차례 실행하여 테스트했습니다. 결과는 다음과 같습니다:

가이드 없음: 견습생은 문제의 **25.5%**를 해결했습니다.
일반적인 가이드: 견습생은 **28.3%**를 해결했습니다.
프로브 앤 리파인 가이드: 견습생은 **33.0%**를 해결했습니다.

핵심 비결: 더 잘 고치는 것이 아니라, '올바른 문'을 찾는 것
여러분은 개선된 매뉴얼 덕분에 견습생이 더 똑똑해졌거나 무언가를 더 잘 고치게 되었다고 생각할 수도 있습니다. 하지만 그렇지 않습니다.

견습생이 실제로 무언가를 고냈을 때, 어떤 매뉴얼을 사용했든 상관없이 수정의 품질(성공률 약 59%)은 동일했습니다.
진정한 마법은 "커버리지(Coverage, 범위)"에 있었습니다. 개선된 매뉴얼은 견습생이 훨씬 더 자주 수정해야 할 올바른 파일을 찾도록 도와주었습니다.
- 비유: 일반적인 매뉴얼은 견습생이 100개의 문을 두드리게 했지만 그중 맞는 문은 40개뿐이었습니다. 반면 정교화된 매뉴얼은 100개의 문을 두드리게 했을 때 56개가 맞는 문이 되도록 했습니다. 일단 올바른 문을 찾고 나면, 자물쇠를 고치는 능력은 동일했습니다.

"스텝 예산(Step Budget)"의 함정

연구진은 가이드가 효과를 발휘하려면 견습생에게 충분한 시간을 주어야 한다는 사실도 발견했습니다.

만약 문제를 해결하는 데 25단계(steps)만 주어진다면, 화려한 매뉴얼은 도움이 되지 않습니다. 복잡한 지침을 따를 시간이 부족하기 때문입니다.
만약 200단계를 준다면, 화려한 매뉴얼은 빛을 발합니다. 매뉴얼은 시간이 걸리더라도 확실히 작동하는 워크플로우(재현 -> 추적 -> 수정)를 알려줍니다. 매뉴얼이 없다면, 그들은 서두르다가 결국 실패할 것입니다.
비유: 누군가에게 "교통 체증을 피하기 위해 경치 좋은 길로 가세요"라고 말하면서, 정작 직장에 도착할 시간은 5분밖에 주지 않는다면, 그 사람은 그냥 길을 잃게 될 것입니다. 경치 좋은 길을 실제로 갈 수 있는 충분한 시간을 주어야 합니다.

"모델 불일치(Model Mismatch)" 경고

가장 놀라운 발견은 이 가이드가 보편적이지 않다는 점이었습니다.

연구진은 한 AI 모델(Qwen)로 훈련된 가이드를 다른 약간 더 약한 AI 모델(Nemotron)에 적용해 보았습니다.
결과: 두 번째 모델은 완전히 무너졌습니다. 특정 지침들이 너무 복면하여 모델이 아예 작동을 멈춰버린 것입니다.
비유: 마치 고속 레이싱 매뉴얼을 느릿한 구형 세단을 운전하는 운전자에게 주는 것과 같습니다. 지침이 자동차에 비해 너무 복잡해서 운전자가 얼어붙어 버리는 것입니다. 가이드는 그것을 읽을 뇌(모델)에 맞춰 특별히 "튜닝"되어야 합니다.

요약

이 논문은 지침을 단순히 가지고 있는 것보다, 어떻게 작성하느냐가 더 중요하다는 것을 증명합니다.
"가짜 문제를 만들고, 그것을 해결해 보고, 실패를 바탕으로 지침을 수정한다"는 단순한 루프를 통해, 여러분은 일반적인 가이드를 전문적인 전문가용 매뉴얼로 바꿀 수 있습니다. 이것은 AI를 더 똑똑하게 만드는 것이 아니라, 엉뚱한 곳을 뒤지는 것을 막아줌으로써 AI가 가진 잠재력을 최대한 발휘하여 더 많은 문제를 해결할 수 있게 해줍니다.

기술 요약: 코딩 에이전트를 위한 저장소 가이드라인의 프로브 앤 리파인(Probe-and-Refine) 튜닝

문제 정의

LLM 기반 코딩 에이전트가 소프트웨어 엔지니어링 과제를 해결하지 못하는 이유는 추론 능력의 부족 때문이 아니라, 특정 코드 저장소에 대한 고수준의 운영 지식이 부족하기 때문이다. 서브시스템 경계, 테스트 실행 워크플로우, 과거 디버깅 패턴과 같은 이러한 암묵적 지식은 코드 자체에 문서화되어 있는 경우가 드물다. 엔지니어들은 이러한 정보를 제공하기 위해 컨텍스트 파일(예: AGENTS.md)을 유지 관리하지만, 최근 문헌에서는 이들의 효용성에 대해 상충하는 증거를 제시하고 있다. 일부 연구는 효율성을 높인다고 제안하는 반면, 다른 연구들은 가이드라인이 일반적이거나 역효과를 낼 경우 해결률을 낮출 수 있다고 지적한다. 핵심 문제는 실패의 원인이 가이드라인이라는 개념 자체에 있는지, 아니면 그러한 가이드라인이 어떻게 생성되는지에 있는지 불분전하다는 점이다. 현재의 방법론은 대개 단일 패스(single-pass) LLM 생성에 의존하며, 이는 에이전트에게 필요한 구체적이고 실패 사례로부터 학습된 운영 전략보다는 일반적인 조언만을 생성한다.

방법론

본 논문은 합성 버그 수정 프로브(synthetic bug-fix probes)를 사용하여 저장소의 가이드라인 파일을 반복적으로 진단하고 패치하도록 설계된 경량 절차인 **프로브 앤 리파인 튜닝(Probe-and-Refine Tuning)**을 소개한다. 이 절차는 표준 에이전트 루프와는 구별되는데, 튜닝 단계 동안 도구 사용이나 강화 학습 없이 전적으로 단일 샷(single-shot) LLM 호출에 의존한다는 점이 특징이다.

튜닝 루프

이 과정은 정적이고 일반적인 지식 베이스를 3~5회의 반복을 통해 특화된 운영 가이드라인으로 변환한다:

프로브 생성: 시스템은 저장소의 코드베이스로부터 다양한 서브시스템을 타겟팅하는 10개의 합성 버그 수정 과제 배치를 생성한다.
수정 시도: 각 프로브에 대해, 단일 샷 LLM 호출이 현재의 가이드라인 아티팩트를 사용하여 패치를 생성하려고 시도한다.
시도 판정: 별도의 단일 샷 호출이 시도된 솔루션을 기대되는 동작(예: 강력함, 부분적임 또는 누락됨)과 비교하여 평가하고, 결함이 식별된 부분에 대해 가이드라인에 대한 구체적인 편집 사항을 제안한다.
집계 및 적용: 최종 호출은 모든 프로브로부터의 진단 내용을 집계하여 통합된 편집 세트를 제안한다. 이 편집 사항들은 기계적으로 적용되며(섹션 삽ian, 수정 또는 강화), 최대 3,000자로 제한된다.

가이드라인이 안정화되면(연속된 반복 간에 변화가 없을 경우) 루프는 조기에 종료된다. 결과물은 이후 SWE-bench Verified 평가 단계에서 표준 ReAct 스타일 코딩 에이전트를 가이드하는 데 사용된다.

실험 설정

저자들은 Qwen3.5-35B-A3B 모델을 사용하여 500개의 SWE-bench Verified 인스턴스에 대해 4번의 독립적인 트라이얼을 거쳐 세 가지 조건을 평가하였다:

컨텍스트 없음 (No Context): 에이전트가 저장소별 가이드라인 없이 작동한다.
정적 지식 베이스 (Static KB): 에이전트가 트리-시터(tree-sitter)로 파싱된 구조적 데이터와 일반적인 저장소 불가지론적 모범 사례를 포함하는 2계층 지식 베이스를 사용한다.
프로브 앤 리파인 (Probe-and-Refine): 에이전트가 위에서 설명한 반복적 튜닝 절차를 통해 생성된 가이드라인을 사용한다.

이차 실험에서는 모델 간 일반화 성능을 테스트하기 위해 모델을 NVIDIA-Nemotron-3-Nano-30B-A3B로 교체하였으며, 가이드라인과 에이전트 예산(step budget) 사이의 상호작용을 분석하기 위해 스텝 예산 스윕(25, 50, 100, 200 스텝)을 수행하였다.

주요 결과

성능 향상

4번의 트라이얼 전체에서 프로브 앤 리파인은 평균 **33.0%**의 해결률을 달성하여, 정적 KB(28.3%)와 컨텍스트 없음 베이스라인(25.5%)을 유의미하게 앞질렀다. 이 개선은 두 대조군 모두에 대해 통계적으로 유의미했다( $p < 0.001$ ). 또한 이 절차는 다른 조건에서는 해결할 수 없었던 31개의 일관된 고유 해결 사례(4번의 트라이얼 중 $\ge$ 3회에서 해결됨)를 만들어냈다.

메커니즘: 커버리지 vs 정밀도

논문은 가이드라인이 어떻게 도움이 되는지 결정하기 위해 성능 향상을 분해한다:

커버리지 (Coverage): 개선의 주요 동력은 평가 커버리지이다. 프로브 앤 리파인 가이드라인은 에이전트가 가이드 없는 베이스라인(41.7%)에 비해 **56.2%**의 인스턴스에서 잘 형성되고 평가 가능한 패치를 생성할 수 있게 했다(14.5 퍼센트 포인트 차이).
정밀도 (Precision): 평가 가능함을 전제로 했을 때, 패치의 정확도는 모든 조건에서 통계적으로 일정하게 유지되었다( $\sim$ 59%, $p = 0.119$ ).
결론: 가이드라인은 에이전트가 만드는 코드 변경의 품질을 개선하는 것이 아니라, 에이전트가 올바른 파일에 도달하고 평가 하네스(harness)가 수용할 수 있는 패치를 생성하도록 돕는다. 가이드라인은 잘못 형성된 패치나 어설션(assertion)이 확인되기 전에 테스트 스위트를 충돌시키는 패치의 발생률을 효과적으로 줄여준다.

스텝 예산 및 워크플로우

연구 결과, 가이드라인은 스텝 예산 효용성의 조절 변수로 작作用함을 발견했다.

가이드 없는 에이전트는 빠르게 포화 상태에 도달한다. 스텝 예산을 25에서 200으로 늘려도 해결률이 개선되지 않았는데, 이는 그들이 추가 스텝을 더 나은 패치로 전환할 구조화된 계획이 부족하기 때문이다.
프로브 앤 리파인 에이전트는 더 큰 예산을 생산적으로 활용한다. 규정된 "재현-추적-패치(reproduce-trace-patch)" 워크플로우는 완료하는 데 더 많은 스텝을 요구한다. 결과적으로 프로브 앤 리파인 조건은 단순한 가이드(Static KB)가 정체되는 높은 예산(100 및 200 스텝) 구간에서 유의미한 이득을 보였다.

모델 간 일반화

Nemotron 모델에 적용했을 때, 결과는 결정적인 **모델 적합성 의존성(model-fit dependency)**을 드러냈다:

튜닝 실패: 튜닝 루프가 Nemotron에서 저하되었는데, 이는 해당 모델이 "판사(Judge)" 단계에서 충분히 진단적인 출력을 생성하지 못해 루프가 정체되었기 때문이다.
부정적 전이 (Negative Transfer): Qwen에서 튜닝된 가이드라인을 Nemotron에 적용했을 때, 에이전트 성능이 활발히 붕괴되었다(Nemotron 자체 베이스라인인 27.0% 대비 13.2%의 해결률). 상세하고 규정적인 가이드라인은 Nemotron이 명령을 실행하는 대신 "분석에 의한 준수(compliance by analysis)"(자신이 무엇을 할 것인지에 대해 산문을 쓰는 행위)에 몰두하게 하여, 연쇄적인 폴백(fallback) 실패를 유발했다.
정밀도 불변성: 모델 간 붕괴 상황에서도 생성된 소수의 패치에 대한 정밀도는 일정하게 유지되었으며, 이는 실패가 완전히 커버리지 문제(에이전트가 패치를 생성하지 못함)이지 패치 자체의 품질 문제가 아님을 재확인시켜 주었다.

의의 및 주장

본 논문은 지침의 품질(instruction quality)이 모델 능력이나 스텝 예산 선택과 맞먹는 수준의 1차 변수라고 주장한다.

운영 지식은 학습 가능하다: 저자들은 합성된 실패로부터 압축된 텍스트 아티팩트로 운영 지식(어떤 파일이 어떤 서브시스템을 보유하는지, 테스트를 어떻게 실행하는지 등)을 복잡한 에이전트 루프나 도구 사용 없이도 추출할 수 있음을 입증했다.
병목은 추론이 아닌 가이드라인이다: 결과는 많은 "어려운" 인스턴스들에 대해, 에이전트의 실패가 추론 능력의 부족이 아니라 문제를 올바른 파일로 국지화(localize)하는 데 실패했기 때문임을 시사한다. 가이드라인은 국지화 보조 도구로서 에이전트가 저장소 구조를 효과적으로 탐색할 수 있게 한다.
모델 특화 캘리브레이션: 가이드라인은 전이 가능한 저장소 지식이 아니라, 모델 특화된 행동 캘리브레이션이다. 특정 모델의 실패 모드에 맞춰 튜닝된 가이드라인은 다른 행동 프로필을 가진 다른 모델에게는 오히려 해가 될 수 있다.
기존 논쟁의 화해: 본 논문은 AGENTS.md 파일의 효용성에 대한 상충하는 문헌들을, 가이드라인이 어떻게 생성되는지(반복적 정제 vs 단일 패스 생성)와 스텝 예산이 얼마인지에 따라 달라짐을 보여줌으로써 화해시킨다. 정적이고 일반적인 가이드라인은 중립적이거나 해로울 수 있지만, 반복적으로 정제된 워크플로우 특화 가이드라인은 예산이 워크플로우를 완료할 수 있을 만큼 충분하다면 유익하다.

저자들은 결론적으로, 이슈 발생량이 많은 저장소의 경우, 가이드라인을 소비할 특정 모델에 맞춰 튜닝하고 지정된 워크플로우를 수용할 수 있는 충분한 스텝 예산을 확보한다면, 반복적으로 정제된 가이드라인에 투자하는 것이 가치 있다고 제언한다.