From Plan to Action: How Well Do Agents Follow the Plan?

논문 요약: 프로그래밍 에이전트의 계획 준수 분석 (From Plan to Action: How Well Do Agents Follow the Plan?)

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반 에이전트는 소프트웨어 엔지니어링 작업 (코드 생성, 버그 수정 등) 을 자동화하는 유망한 패러다임으로 부상했습니다. 이러한 에이전트들은 일반적으로 시스템 프롬프트에 포함된 **구조화된 계획 (Plan)**을 따르도록 지시받습니다 (예: 탐색 $\rightarrow$ 재현 $\rightarrow$ 패치 $\rightarrow$ 검증).

하지만 실제 실행 과정에서 에이전트가 이 지시된 계획을 얼마나 충실히 따르는지는 명확히 규명되지 않았습니다.

• 핵심 문제: 에이전트가 계획을 따르지 않거나, 데이터 오염 (Data Contamination) 이나 벤치마크 과적합 (Overfitting) 으로 인해 우연히 성공한 것인지, 아니면 올바른 전략적 추론을 통해 해결한 것인지 구분할 수 없습니다.
• 현황: 계획은 단지 '권고 (Advisory)'일 뿐이며, 실행 엔진이 이를 강제하지 않습니다. 에이전트는 국소적 문맥 (Context) 에 기반하여 행동하므로, 긴 실행 궤적 (Trajectory) 이 길어질수록 초기 계획의 영향력이 감소할 수 있습니다.

2. 연구 방법론 (Methodology)

이 논문은 프로그래밍 에이전트의 계획 준수 (Plan Compliance) 를 대규모로 체계적으로 분석하기 위해 다음과 같은 실험 설계를 수행했습니다.

• 데이터셋 및 모델:
  • 벤치마크: SWE-bench Verified (500 건) 및 SWE-bench Pro (266 건, Python 인스턴스).
  • 모델: GPT-5 mini, DeepSeek-V3, DeepSeek-R1, Devstral-small 등 4 가지 LLM.
  • 에이전트: SWE-agent 스캐폴드를 사용.
  • 총 실행 횟수: 16,991 개의 궤적 (Trajectories) 분석.
• 계획 설정 (Plan Settings): 8 가지 다른 계획 변형을 적용하여 테스트했습니다.
  1. 표준 계획 (Standard): 탐색 (N) $\rightarrow$ 재현 (R) $\rightarrow$ 패치 (P) $\rightarrow$ 검증 (V).
  2. 계획 없음 (No Plan): 시스템 프롬프트에서 계획 제거.
  3. 축소된 계획 (Reduction): 재현 단계 제거, 검증 단계 제거.
  4. 확장된 계획 (Augmentation): 회귀 테스트 실행 단계 추가, 변경 사항 요약 단계 추가.
  5. 재배열 (Reordering): 패치 후 재현 테스트 생성 순서 변경.
  6. 주기적 리마인더 (Reminded): 5 단계마다 계획을 다시 주입.
• 새로운 평가 지표 (Plan Compliance Metrics):
  에이전트의 행동을 언어적 추상화 (Langutory) 로 변환하여 다음 3 가지 차원의 지표를 정의했습니다.
  1. Plan Phase Compliance (PPC): 계획에 명시된 모든 단계가 궤적에 포함되었는지.
  2. Plan Order Compliance (POC): 단계들이 올바른 순서로 나타났는지 (최장 증가 부분 수열 기반).
  3. Plan Phase Fidelity (PPF): 계획에 없는 불필요한 단계가 포함되지 않았는지.
  • 최종 점수 (PC): 위 3 가지 지표의 기하평균으로 계산.

3. 주요 기여 (Key Contributions)

1. 대규모 체계적 분석: 프로그래밍 에이전트의 계획 준수에 대한 최초의 대규모 자동화 분석 수행.
2. 새로운 메트릭 도입: 계획 준수도를 정량화하는 새로운 과정 중심 (Process-centric) 지표 (PPC, POC, PPF, PC) 개발.
3. 계획 위반의 근본 원인 규명: 미세 조정 (Fine-tuning) 패러다임, 컨텍스트 창 압력, 데이터 오염, 단기 보상 최적화 등이 계획 준수에 미치는 영향을 규명.
4. 계획과 성공의 상관관계 분석: 계획 준수가 작업 성공률에 미치는 영향을 실증적으로 증명.

4. 주요 결과 및 발견 (Results & Findings)

• RQ1: 표준 계획 준수율:

  • 에이전트는 모델을 따라 계획의 순서와 단계를 다르게 준수합니다. Devstral-small 은 순서를 잘 따르지만 불필요한 단계를 많이 추가하고, DeepSeek-R1 은 준수율이 가장 낮았습니다.
  • 성공과 준수의 관계: 일반적으로 계획 준수가 높은 경우 해결률이 높았으나, GPT-5 mini 의 경우 문제 난이도에 따라 전략을 적응적으로 변경하여 계획 준수가 낮아도 성공하는 경우가 있었습니다.

• RQ2: 계획 부재 시 행동:

  • 명시적 계획이 없어도 에이전트는 훈련 과정에서 내면화된 문제 해결 전략 (내부 워크플로우) 을 따릅니다.
  • 성능 저하: 표준 계획이 없으면 모든 모델의 성공률이 감소합니다. 특히 DeepSeek 모델은 계획이 없을 때 성능이 급격히 떨어졌는데, 이는 계획이 국소적 추론을 집중시키는 역할을 하기 때문입니다.

• RQ3-RQ5: 계획 변형의 영향:

  • 불완전한 계획의 위험: 표준 계획에서 특정 단계 (예: 재현 또는 검증) 를 제거하면, 해당 단계를 내면화하지 않은 모델의 성능이 오히려 '계획이 전혀 없는 경우'보다 더 크게 저하되었습니다. 이는 잘못된 계획이 에이전트를 혼란스럽게 만든다는 것을 의미합니다.
  • 불필요한 추가 단계: 모델의 내부 전략과 맞지 않는 새로운 단계 (예: 초기 회귀 테스트) 를 추가하면 성능이 저하됩니다.
  • 순서 변경: 에이전트는 비효율적인 순서보다는 효과적인 워크플로우를 우선시하여 지시된 순서를 무시하는 경향이 있습니다.
  • 주기적 리마인더: 실행 중 주기적으로 계획을 다시 주입하면 계획 위반이 줄어들고 성공률이 향상되었습니다.

• RQ6: 일반화 (SWE-bench Pro):

  • 덜 오염되고 더 어려운 SWE-bench Pro 데이터셋에서는 계획 준수율이 평균 13% 감소했습니다. 에이전트는 검증 (Validation) 단계에 도달하지 못하고 탐색과 패치 단계에서 반복하는 경향을 보였습니다.

• RQ7: 비결정성 (Nondeterminism):

  • LLM 의 비결정적 특성이 존재하지만, 이는 연구의 주요 결론에 영향을 미치지 않았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 연구의 의의: 이 연구는 에이전트가 단순히 벤치마크 데이터를 암기하거나 과적합된 패턴을 따르는 것이 아니라, 실제로 지시된 계획을 얼마나 잘 추론하고 따르는지 분석할 수 있는 체계를 마련했습니다.
• 실무적 시사점:
  • 단순히 복잡한 계획을 주입하는 것만으로는 성능이 보장되지 않으며, 오히려 모델의 내면화된 전략과 충돌할 경우 성능을 해칠 수 있습니다.
  • 미래 방향: 특정 작업별 계획을 모델에 인코딩 (Encoding) 하는 방식보다는, 모델이 주어진 계획을 적응적으로 따르고 추론할 수 있도록 미세 조정 (Fine-tuning) 하는 패러다임으로 연구가 전환되어야 함을 강조합니다.
  • 주기적인 계획 리마인더와 모델의 내부 전략에 부합하는 계획 설계가 에이전트 성능 향상의 핵심 열쇠임을 시사합니다.

이 논문은 에이전트 개발자가 계획 (Planning) 을 설계할 때, 모델의 특성과 작업의 복잡성을 고려하여 유연하고 적응적인 접근이 필요함을 강력하게 주장합니다.