Beyond Resolution Rates: Behavioral Drivers of Coding Agent Success and Failure

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 의 추론 능력과 도구 활용 (Tool-augmented) 상호작용 루프를 결합한 코딩 에이전트 (Coding Agents) 는 자동화 소프트웨어 공학의 새로운 패러다임으로 부상했습니다. (예: SWE-agent, OpenHands 등)
• 문제점:
  • 최상위 LLM 기반 에이전트조차 벤치마크 (SWE-bench Verified) 문제의 20% 이상에서 실패합니다.
  • 기존 연구는 주로 '해결률 (Resolution Rate)'과 같은 결과 지표에 집중하거나, 수동 검사를 통해 실패 원인을 분류하는 데 그쳤습니다.
  • 핵심 공백: 에이전트가 왜 (Why) 실패하는지 (과제 특성, LLM 한계, 프레임워크 제약), 그리고 어떻게 (How) 행동적 과정 (트래젝토리) 을 통해 실패가 발생하는지에 대한 체계적인 이해가 부족합니다. 특히 과제 난이도를 통제하지 않은 채 행동 패턴을 분석한 기존 연구들은 혼란 변수 (Confound) 로 인해 잘못된 결론을 내릴 수 있습니다.

2. 연구 방법론 (Methodology)

이 연구는 대규모 실증 분석을 통해 위 공백을 메우기 위해 설계되었습니다.

• 데이터셋:
  • 500 개 과제: SWE-bench Verified 의 500 개 실제 Python 버그 수정 과제.
  • 19 개 에이전트: 8 개의 코딩 에이전트 프레임워크 (SWE-agent, OpenHands 등) 와 14 개의 다양한 LLM (Claude, GPT, Kimi, Qwen 등) 조합.
  • 9,374 개 트래젝토리: 모든 에이전트가 모든 과제를 시도하여 생성된 행동 기록 (Action sequences).
• 트래젝토리 인코딩 (Trajectory Encoding):
  • 에이전트의 행동과 환경의 응답을 결합하여 13 가지 하위 단계 심볼로 인코딩 (예: P=클린 패치, Ps=구문 오류 발생 패치, Vp=테스트 통과, Vf=테스트 실패 등).
• 분석 설계 (3 가지 연구 질문 - RQ):
  • RQ1 (과제 난이도): 왜 에이전트는 특정 '쉬운' 과제도 실패하는가? (패치 복잡도 vs. 실패 원인)
  • RQ2 (행동 패턴): 성공과 실패를 구분하는 행동적 패턴은 무엇인가? (트래젝토리 길이, 구조적 특징)
  • RQ3 (구동 요인): 에이전트 성공의 주된 원인은 LLM 능력인가, 프레임워크 설계인가?

3. 주요 연구 결과 (Key Results)

RQ1: 왜 에이전트는 실패하는가? (과제 난이도의 재정의)

• 패치 복잡도의 한계: 인간이 '쉬움'으로 분류하고 패치 크기가 작음 (단일 파일, 10 줄 이하 변경) 에도 불구하고, 12 개의 과제는 19 개 에이전트 모두에 의해 해결되지 않았습니다.
• 아키텍처 추론 격차 (Architectural Reasoning Gap):
  • 에이전트는 버그가 발생한 파일을 정확히 찾지만, 근본 원인 (Root Cause) 이 아닌 증상 (Symptom) 을 수정하려는 경향이 있습니다.
  • 예시 (matplotlib-23476): 에이전트는 디스플레이 백엔드 코드를 수정하려 했으나, 실제 버그는 직렬화 (Serialization) 단계의 데이터 처리에 있었습니다.
  • 결론: 단순한 코드 편집 능력이 아닌, 시스템 아키텍처의 계층 구조와 인과 관계를 이해하는 추론 능력이 핵심 장벽입니다.

RQ2: 성공과 실패를 구분하는 행동 패턴은?

• 트래젝토리 길이의 역설 (Reversal):
  • 기존 연구는 "실패한 트래젝토리가 더 길다"고 주장했으나, 이는 과제 난이도와 에이전트 능력의 혼란 변수 때문입니다.
  • 과제 내 비교 (Task-controlled): 동일한 과제에서 성공한 에이전트가 실패한 에이전트보다 평균적으로 더 많은 단계 (약 10% 더 길음) 를 수행했습니다. 즉, 더 많은 시도와 검증이 성공에 필수적입니다.
• 구조적 행동 지표 (Structure Discriminators):
  • 컨텍스트 수집 (Context Gathering): 첫 번째 편집 (Patch) 전에 코드를 충분히 탐색하고 이해하는 에이전트가 성공률이 높습니다.
  • 검증 노력 (Validation Effort): 트래젝토리 중 테스트 실행 및 검증 단계에 할애하는 비율이 높을수록 성공합니다.
  • 전략의 고정성: 에이전트들은 과제의 복잡도에 따라 전략을 조정하지 않고, 고정된 행동 패턴을 따릅니다. (예: 어떤 에이전트는 항상 즉시 패치하고, 어떤 에이전트는 항상 먼저 탐색함)

RQ3: LLM 능력 vs 프레임워크 설계

• LLM 의 지배적 영향력:
  • 동일 LLM, 다른 프레임워크: 같은 LLM 을 사용하는 에이전트들은 프레임워크가 달라도 85~93% 의 과제에서 동일한 결과 (성공/실패) 를 냅니다.
  • 동일 프레임워크, 다른 LLM: 같은 프레임워크라도 LLM 이 다르면 결과 일치율이 47~88% 로 크게 떨어집니다.
  • 수렴 현상: LLM 이 발전할수록 (Claude 3.5 → 4 → Opus), 프레임워크 간 성능 격차는 19.4%p 에서 0.9%p 로 급격히 줄어듭니다.
• 프롬프트의 영향:
  • 프레임워크의 시스템 프롬프트 (지시사항) 는 에이전트가 사용하는 도구 유형에는 영향을 미치지만, 전체적인 노력량이나 성공률에는 LLM 능력에 비해 영향이 적습니다.
  • 강력한 LLM 일수록 상세한 프롬프트에 덜 의존하며, 오히려 간결한 프롬프트에서도 우수한 성능을 발휘합니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 행동적 통찰의 제공: 단순한 해결률 지표를 넘어, 에이전트 실패의 구체적인 행동적 메커니즘 (아키텍처 추론 부재, 검증 부족, 전략 고정성) 을 규명했습니다.
2. 혼란 변수 통제: 과제 난이도와 에이전트 능력을 분리하여 분석함으로써, 기존 연구의 오류 (트래젝토리 길이와 실패의 인과 관계 왜곡) 를 바로잡았습니다.
3. 실무적 시사점:
   • 모니터링: 에이전트 실행 초기 단계에서 '탐색 없이 즉시 패치'하는 행동을 감지하면 실패 확률이 높음을 예측할 수 있습니다.
   • 개발 방향: 에이전트 성능 향상을 위해 프레임워크 공학 (Orchestration) 보다 LLM 의 추론 능력 향상에 집중해야 함을 시사합니다. 또한, 에이전트가 과제의 난이도에 맞춰 전략을 동적으로 조정할 수 있는 메커니즘이 필요합니다.
4. 벤치마크 설계 개선: 패치 크기나 인간 평가 시간만으로는 난이도를 판단할 수 없으며, 아키텍처적 복잡도와 도메인 지식 요구도를 포함한 새로운 지표가 필요함을 강조합니다.

5. 결론

이 논문은 코딩 에이전트의 실패가 단순히 "코드를 못 고치는 것"이 아니라, 시스템의 구조적 이해 부족과 적응적 전략의 부재에서 비롯됨을 증명했습니다. 또한, 에이전트 성능의 핵심 동인은 프레임워크가 아닌 LLM 의 추론 능력이며, 모델이 발전함에 따라 프레임워크의 차이는 사라진다는 점을 밝혔습니다. 이는 향후 더 신뢰할 수 있는 에이전트 시스템을 구축하기 위해 모델의 추론 능력 강화와 행동적 적응성 확보에 초점을 맞춰야 함을 시사합니다.