💬 NLP

Online Monitoring and Corrective Steering of Programming Agents

이 논문은 결정론적 모니터를 사용하여 실시간으로 행동 드리프트를 감지하고 표적화된 수정을 위해 LLM 어드바이저를 선택적으로 활용함으로써, 최소한의 오버헤드로 해결율의 상당한 개선을 달착하는, 복잡한 GitHub 이슈에 대한 프로그래밍 에이전트의 성능을 향상시키는 비용 효율적인 프레임워크인 LivePlan을 소개한다.

원저자: Shuyang Liu, Saman Dehghan, Ji Young Kim, Jatin Ganhotra, Martin Hirzel, Reyhaneh Jabbarvand

게시일 2026-08-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shuyang Liu, Saman Dehghan, Ji Young Kim, Jatin Ganhotra, Martin Hirzel, Reyhaneh Jabbarvand

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 스스로 소프트웨어를 작성하고, 버그를 수정하며, 새로운 기능을 스스로 구축할 수 있는 세상을 상상해 보십시오. 이것은 바로 'AI 에이전트'의 영역입니다. 이들은 챗봇 뒤에 숨겨진 똑똑한 두뇌와 같은 거대 언어 모델(LLM)을 사용하여 코드를 읽고, 무엇이 잘못되었는지 파악하며, 이를 해결하려고 시도하는 디지털 노동자들입니다. 하지만 여기에는 함정이 있습니다. 이 디지털 노동자들은 완벽하지 않습니다. 때때로 이들은 주의가 산만해지거나, 경로를 벗어나거나, 똑같은 실수를 반복하거나, 일이 끝나기도 전에 포기해 버리곤 합니다. 이는 마치 매우 똑똑하지만 쉽게 혼란에 빠지는 로봇을 특정 책을 찾기 위해 거대한 도서관으로 보내는 것과 같습니다. 로봇은 엉뚱한 구역을 읽기 시작하거나, 잠긴 문을 열려고 시도하며 루프에 빠지거나, 책을 찾기도 전에 떠나기로 결정할 수도 있습니다. 연구자들이 이 문제에 깊은 관심을 갖는 이유는, 만약 우리가 AI가 거대한 소프트웨어 프로젝트를 수정하는 것과 같은 복잡하고 실제적인 업무를 처리하기를 원한다면, 이 에이전트들이 목표에서 벗어나거나 막다른 길에서 시간과 비용을 낭비하지 않도록 반드시 보장해야 하기 때문입니다.

여기에 이 코딩 로봇들을 위한 빈틈없는 실시간 코치 역할을 하도록 설계된 새로운 시스템인 LIVEPLAN이 등장했습니다. 연구자인 류수양(Shuyang Liu)과 그의 팀은 이러한 방황하는 에이전트들을 바로잡으려는 이전의 시도들이 중대한 결함을 가지고 있다는 점을 발견했습니다. 기존 방식들은 단일한 AI 두뇌를 사용하여 로봇의 작업을 '판단'하는 것과 '조언을 주는 것'을 동시에 수행하려 했다는 점입니다. 이는 마치 한 명의 심판에게 반칙을 잡아내기 위해 휘슬을 부는 동시에, 선수에게 경기를 어떻게 운영해야 하는지 즉각적으로 가르쳐 달라고 요구하는 것과 같습니다. 문제는 무엇일까요? 심판은 혼란에 빠져 일어나지도 않은 반칙을 지어낼 수 있고, 선수가 상황을 더 악화시키게 만드는 잘못된 지침을 줄 수도 있다는 것입니다.

LIVEPLAN은 이 작업을 두 개의 별개 역할로 분리함으로써 이 문제를 해결합니다. 먼저, **결정론적 모니터(deterministic monitor)**를 사용하는데, 이는 엄격하고 규칙을 준수하는 교통 경찰과 같습니다. 이 경찰은 추측하거나 환각을 일으키지 않습니다. 그저 로봇이 연속해서 같은 단계를 밟거나, 중요한 안전 점검을 건너뛰거나, 너무 오랫동안 같은 벽을 응시하는 것과 같이 명확하고 구체적인 문제의 징후를 포착하는 역할만을 수행합니다. 만약 교통 경찰이 문제를 발견하면, 그제야 스마트 어드바이저(smart advisor)(강력한 AI)를 호출하여 궤도에 다시 진입할 수 있도록 돕는 빠르고 수준 높은 팁을 제공합니다. 핵심은 어드바이저가 로봇에게 끊임없이 원치 않는 조언을 하며 방해하는 것이 아니라, 교통 경찰이 "이봐, 여기에 문제가 생겼어"라고 말할 때만 입을 연다는 점입니다.

연구팀은 이 시스템을 거대한 소프트웨어 프로젝트의 버그를 수정하기 위한 할 일 목록과 같은 실제 GitHub 이슈들에 적용하여 테스트했습니다. 그 결과 LIVEPLAN이 게임 체인저라는 사실을 발견했습니다. 아무런 코치 없이 그냥 실행되는 표준적인 "바닐라(vanilla)" 에이전트들과 비교했을 때, LIVEPLAN은 훨씬 더 많은 문제를 해결하는 데 도움을 주었습니다. 가장 어려운 과제에서는 성공률을 최대 **15.2%**까지 높였으며, 평균 **9.9%**의 개선을 보여주었습니다. 더욱 인상적인 것은, 이 모든 성과를 수정 건당 약 0.08달러라는 아주 적은 비용만 추가하여 달성했다는 점입니다.

또한 이 논문은 이러한 세심한 접근 방식을 사용하지 않을 때 어떤 일이 벌어지는지도 보여줍니다. 연구팀은 로봇의 여정 전체를 처음부터 다시 계획(re-planning)하려고 시도하거나 너무 자주 확인하는 다른 방법들을 테스트했습니다. 이러한 방법들은 종종 역효과를 냈습니다. "재계획" 코치들은 존재하지 않는 문제를 만들어내어 로봇을 헛된 추적(wild goose chases)으로 몰아넣었고, "빈번한 체크인" 방식은 조언이 유용해지기엔 너무 늦게 개입하는 경우가 많았습니다. 명확한 신호가 올 때까지 기다렸다가 개입하는 LIVEPLAN의 방식이 바로 최적의 지점(sweet spot)임을 입증했습니다. 이 방식은 에이전트들이 보통 어려움을 겪는 까다로운 중간 단계와 어려운 문제들을 성공적으로 통과하도록 안내하면서도, 이미 잘 수행하고 있는 작업들을 망치지 않았습니다. 요컨대, 단순한 규칙 검사기가 문을 지키게 하고 꼭 필요할 때만 거대한 두뇌를 호출하게 함으로써, 연구자들은 이 디지털 노동자들이 집중력을 유지하고 효율적으로 움직이며, 업무를 완수할 가능성을 훨씬 더 높이는 방법을 찾아낸 것입니다.

기술 요약: LIVEPLAN – 프로그래밍 에이전트의 온라인 모니터링 및 교정적 스티어링(Steering)

문제 정의

대규모 소프트웨어 프로젝트에서 GitHub 이슈를 해결하는 것은 장기적인 과업이며, 종종 에이전트가 복잡한 궤적(trajectory)을 통과해야 하는 과정을 요구합니다. 현재의 LLM 기반 에이전트들은 **행동 드리프트(behavioral drift)**와 비효효율성으로 인해 어려움을 겪는 경우가 많습니다. 예를 들어, 중요한 단계(예: 검증 단계)를 건너뛰거나, 실패한 행동을 반복하거나, 진전 없이 생각 사이를 오가는 현상 등이 있습니다. 이러한 문제는 에이전트가 결국 성공하더라도 작업 실패를 초래하거나 비용을 부풀리는 원인이 됩니다.

이러한 드리프트를 교정하려는 기존 방식들은 세 가지 주요 한계점을 가집니다:

판단(Judging)과 조언(Advising)의 결합: 기존 방법들은 종종 단일 LLM을 사용하여 궤적의 문제를 진단하고 동시에 교정책을 권고하도록 합니다. 이는 "조언자"가 문제를 찾아내도록 유도되는 이해 상충(sycophantic bias, 아첨 편향)을 일으켜, 실제로는 정상 궤도에 있는 궤적을 탈선시키는 잘못된 조언을 생성할 위험이 있습니다.
비효율적인 트리거링: 주기적인 LLM 평가(예: 매 $N$ 단계마다)나 사후 분석(post-hoc analysis)에 의존하는 방식은 에이전트가 회복하기에는 너무 늦게 피드백을 제공하거나, 전체 궤적을 다시 실행함으로써 과도한 비용을 발생시킵니다.
LLM 판사(Judge)의 신뢰성: LLM을 판사로 사용하는 것은 불확ability를 도입합니다. LLM은 환각(hallucination)으로 인해 실제 문제를 놓치거나 가짜 문제를 지적할 수 있으며, 견고한 개입에 필요한 결정론적(deterministic) 특성이 부족합니다.

방법론: LIVEPLAN

본 논문은 판단과 조언을 분리하는 온라인 모니터링 및 개입 프레임워크인 LIVEPLAN을 제안합니다. 이는 SWE-agent 프레임워크 상단에 구현되었으며, 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 모니터 (결정론적 판사)

LIVEPLAN은 LLM 대신 결정론적인 규칙 기반 모니터를 사용하여 에이전트의 궤적을 실시간으로 평가합니다.

궤적 표현: 모니터는 두 가지 추상적 표현을 활용합니다:
- GRAPHECTORY: 노드는 서로 다른 에이전트 행동을, 엣지는 연대순 실행을 나타내는 확장된 그래프입니다. 이는 행동 루프와 자기 루프(self-loops)를 추적합니다.
- LANGUTORY: 저수준 행동들을 문제 해결 단계(예: 탐색, 재현, 패칭, 검증)의 시퀀스로 추상화한 것입니다.
신호 탐지: 모니터는 이러한 표현들을 구성 가능한 신호 데이터베이스와 대조하여 행동 드리프트를 탐지합니다. 여기에는 다음이 포함됩니다:
- 차단형 드리프트(Blocking Drifts): 단계 건너뛰기(예: 패칭 없이 제출), 조기 패칭, 또는 진전 없는 반복적인 추론/행동(oscillation)과 같은 치명적인 위반 사항입니다. 이는 즉각적인 개입을 트리거합니다.
- 비차단형 드리프트(Non-Blocking Drifts): 단일 단계에서의 장기 정체나 반복된 행동과 같은 비효율성입니다. 이는 스티어링 조언을 추가하지만 실행을 차단하지는 않습니다.
개입 프로세서(Intervention Processor): 드리프트가 감지되면, 프로세서는 현재 행동을 차단할지(차단형 드리프트의 경우) 또는 이력에 조언을 추가할지(비차단형 드리프트의 경우) 결정하며, 정체를 방지하기 위해 설정된 제한치까지 수행합니다.

2. 어드바이저 (LLM 기반 교정)

LLM 기반의 어드바이저는 모니터가 드리프트를 감지했을 때만 호출됩니다.

입력: 이슈 설명, 최근 궤적의 슬라이스(마지막 조언 이후의 구간), 최신 조언(있는 경우), 그리고 감지된 드리프트에 해당하는 사전 정의된 조언을 받습니다.
출력: 전역적인 재계획(global re-plan) 대신 **고수준의 다음 단계 교정책(next-step correction)**을 생성합니다. 이를 통해 개입을 집중시키고 실행자를 과도하게 제약하는 것을 방지합니다.
쿨다운 메커니즘: 비용과 지연 시간을 관리하기 위해, 어드바이저는 "쿨다운" 기간( $\theta_c$ )의 적용을 받습니다. 이를 통해 드리프트가 빈번하더라도 매 단계마다 호출되지 않도록 보장합니다.

3. 워크플로우

시스템은 루프로 작동합니다: 에이전트가 단계를 제안함 $\rightarrow$ 모니터가 궤적 표현을 잠정적으로 업데이트함 $\rightarrow$ 규칙을 체크함. 드리프트가 발견되지 않으면 단계가 실행됩니다. 만약 드리프트가 발견되면, (쿨다운 허용 시) 어드바이저를 호출하고, 결과물인 조언을 에이전트의 컨텍스트에 주입하여 다음 단계를 유도(steer)합니다.

주요 기여

기술적 측면: 행동 드리프트의 결정론적 탐지와 LLM 기반의 교정 조언 생성을 분리하는 LIVEPLAN을 도입했습니다. 이 구조는 단일 LLM을 두 작업 모두에 사용할 때 발생하는 환각과 편향 문제를 해결합니다.
실증적 평가: 다섯 가지 다양한 LLM(실행 모델 3개, 조언 모델 2개)을 사용하여 두 가지 벤치마크(SWE-bench Verified 및 SWE-bench Pro)에서 대규모 평가를 수행했습니다. 이 연구를 통해 7,752개의 궤적 데이터셋을 생성하여 향후 연구를 위한 토대를 마련했습니다.
프로세스 중심 분석: 해결률을 넘어, 본 논문은 궤적 준수 여부, 드리프트 빈도, 전략적 발산 등을 분석하여 개입이 에이전트 성능을 어떻게 개선하는지에 대한 통찰을 제공합니다.

실험 결과

LIVEPLAN을 vanilla SWE-agent, SAGE(재계획 베이스라인), 그리고 절제된 변형 모델들(Periodic Advisor, Predefined Advice)과 비교 평가했습니다.

해결률: LIVEPLAN은 모든 베이스라인보다 일관되게 우수한 성능을 보였습니다.
- SWE-bench Pro에서 vanilla 에이전트 대비 최대 15.2%(평균 9.9%)의 이득을 달랐습니다.
- SWE-bench Verified에서 최대 **11.2%**의 이득을 달성했습니다.
- 개선 효과는 중급(medium) 및 상급(hard) 난이도의 인스턴스에서 가장 두드러졌습니다.
비용 효율성: 인스턴스당 추가 비용은 평균 $0.08로 매우 미미했습니다. 일부 사례(예: MiniMax-M2.25)에서는 비효율적인 궤적을 단축함으로써 오히려 전체 비용을 줄이기도 했습니다.
SAGE와의 비교: LIVEPLAN은 SAGE를 유의미하게 압도했습니다. SAGE는 전역 재계획이 사실 관계에서 틀린 경우(파일 경로 혹은 메서드 환각) 에이전트가 즉시 실패하게 만드는 문제가 있었습니다. 반면 LIVEPLAN의 타겟팅된 다음 단계 조언은 더 견고했습니다.
Periodic Advisor와의 비교: 주기적 어드바이저는 자주 트리거되지만 종종 잘못된 조언을 제공합니다. LIVEPLAN은 어드바이저를 더 적게 호출하면서도 더 높은 정밀도로 호출하여 더 나은 해결률을 기록했습니다.
강건성: 결정론적 결과가 나오는 하위 집합에 대해 재평가를 실시하여, 얻은 이득이 실행 시의 비결정성(non-determinism)에 의한 것이 아님을 확인했습니다.

의의 및 주장

본 논문은 LIVEPLAN이 LLM을 판사로 사용하는 데 따르는 근본적인 불안정성을 해결함으로써, 프로그래밍 에이전트의 온라인 스티어링 분야에서 중요한 진전을 이루었다고 주장합니다. 이 시스템은 다음과 같은 성과를 달성했습니다:

높은 신뢰성: 성공적인 궤적을 포기하게 만드는 "오도된 재계획(misleading re-planning)"을 방지합니다.
확장성: 에이전트를 재실행하거나 매 단계마다 LLM을 호출하는 방식에 비해 계산 오버헤드가 매우 적습니다.
일반화 가능성: 모델에 구애받지 않는(model-agnostic) 접근 방식으로, 다양한 LLM 아키텍처와 벤치마크 난이도에서 작동합니다.

저자들은 추론 시점의 개입(inference-time intervention)이 효과적이지만, 향후 연구는 에이전트가 LIVEPLAN과 같은 시스템이 제공하는 교정 조언을 안정적으로 실행할 수 있도록 하는 **개입 인지형 사후 학습(intervention-aware post-training)**에 집중해야 한다고 결론지었습니다.