논문 요약: Inside the Scaffold: A Source-Code Taxonomy of Coding Agent Architectures

이 논문은 대규모 언어 모델 (LLM) 기반 코딩 에이전트의 성능을 결정하는 핵심 요소인 **스캐폴딩 코드 (Scaffold Code)**의 아키텍처를 체계적으로 분석하고 분류한 연구입니다. 기존 연구들이 에이전트의 추상적인 능력 (도구 사용, 계획 수립, 반성 등) 에 초점을 맞춘 반면, 본 논문은 실제 소스 코드 수준에서 에이전트 제어 루프, 도구 정의, 상태 관리, 컨텍스트 전략이 어떻게 구현되어 있는지를 분석하여 새로운 분류 체계를 제시합니다.

1. 연구 배경 및 문제 제기 (Problem)

• 현황: LLM 기반 코딩 에이전트 (Aider, SWE-agent, OpenHands 등) 는 버그를 식별하고 패치를 생성하며 테스트를 실행하는 등 인간 감독 없이 소프트웨어 엔지니어링 작업을 수행할 수 있게 되었습니다.
• 문제점:
  • 기존 연구들은 에이전트를 '도구 사용', '기억', '계획'과 같은 추상적 능력으로 분류하지만, 이는 아키텍처적으로 완전히 다른 시스템들을 구별하지 못합니다. (예: 단순 while 루프를 사용하는 에이전트와 몬테카를로 트리 탐색 (MCTS) 을 사용하는 에이전트는 모두 '계획형'으로 분류됨)
  • 실행 궤적 (Trajectory) 분석 연구는 에이전트가 '무엇을' 했는지는 관찰하지만, 소스 코드를 분석하여 '왜' 그렇게 행동했는지에 대한 구조적 원인을 규명하지 못합니다.
  • 스캐폴딩 코드 (제어 루프, 도구 인터페이스, 상태 관리 등) 가 에이전트의 행동, 실수, 토큰 비용에 결정적인 영향을 미치지만, 이에 대한 체계적인 비교 연구가 부재합니다.

2. 방법론 (Methodology)

• 대상: 2023 년 6 월부터 2025 년 3 월까지 출시된 13 개의 오픈소스 코딩 에이전트 (Aider, SWE-agent, OpenHands, Cline, Codex CLI 등) 를 선정했습니다.
• 분석 기준: 각 에이전트의 특정 커밋 해시 (Pinned Commit Hash) 를 기준으로 분석하여 재현성을 보장했습니다.
• 분석 차원: 소스 코드를 정성적 사례 연구 (Qualitative Case Study) 방식으로 분석하여 3 개의 레이어, 12 개의 차원으로 구성된 분류 체계 (Taxonomy) 를 도출했습니다.
  • 제어 아키텍처 (Control Architecture): 에이전트가 다음 행동을 어떻게 결정하는가?
  • 도구 및 환경 인터페이스 (Tool & Environment Interface): 코드 및 실행 환경과 어떻게 상호작용하는가?
  • 리소스 관리 (Resource Management): 컨텍스트, 상태, 모델을 어떻게 관리하는가?
• 데이터 기반: 모든 분류 주장은 구체적인 파일 경로와 줄 번호 (Line Numbers) 에 근거하여 검증되었습니다.

3. 주요 기여 (Key Contributions)

1. 소스 코드 기반 아키텍처 분류 체계: 13 개의 오픈소스 에이전트를 분석하여 3 레이어 12 차원으로 구성된 최초의 비교 아키텍처 연구입니다.
2. 이산적 유형이 아닌 연속적 스펙트럼의 발견: 에이전트 아키텍처가 고정된 카테고리가 아니라, 제어 전략, 도구 수, 컨텍스트 압축 방식 등에서 연속적인 스펙트럼 (Spectra) 위에 위치함을 실증했습니다.
3. 루프 원시 (Loop Primitives) 의 조합적 특성 규명: ReAct, Generate-Test-Repair, Plan-Execute, Tree Search 등의 루프 원시들이 서로 배타적인 유형이 아니라, 에이전트가 다양한 조합으로 중첩하여 사용하는 조립식 빌딩 블록임을 밝혔습니다.
4. 재사용 가능한 증거 기반: 특정 커밋에 고정된 소스 코드 기반의 상세한 증거를 제공하여, 연구자와 실무자가 에이전트 행동을 연구하거나 새로운 스캐폴딩을 설계할 때 참고할 수 있는 기준을 마련했습니다.

4. 주요 결과 (Results)

4.1. 제어 아키텍처 (Control Architecture)

• 제어 루프 전략: 고정된 파이프라인 (Agentless) 에서부터 완전한 몬테카를로 트리 탐색 (Moatless Tools) 까지 다양한 전략이 존재합니다. 13 개 에이전트 중 7 개는 순차적 ReAct 루프를 주된 구조로 사용합니다.
• 루프 구동자 (Loop Driver): 사용자 주도 (Aider), 스캐폴드 주도 (AutoCodeRover), LLM 주도 (OpenHands, SWE-agent) 로 나뉘며, 이는 버그 로컬라이제이션 문제 해결 방식에 직접적인 영향을 미칩니다.
• 구현 메커니즘: while 루프, 재귀, 그래프 기반 상태 머신 (LangGraph), 예외 기반 신호 전달 등 다양한 코드 수준 구현 방식이 관찰되었습니다.

4.2. 도구 및 환경 인터페이스 (Tool & Environment Interface)

• 도구 세트: 도구 수는 0 개 (Aider) 에서 37 개 (Moatless Tools) 까지 다양하지만, 핵심 기능 카테고리 (읽기, 검색, 편집, 실행) 는 모든 LLM 주도 에이전트에서 수렴합니다.
• 편집 형식: LLM 이 생성한 패치를 적용하는 방식에서 str replace (문자열 치환) 방식이 가장 신뢰할 수 있는 표준으로 수렴하는 경향이 있습니다.
• 컨텍스트 검색: LLM 이 직접 grep 등을 호출하는 방식부터, 스캐폴드가 AST 나 지식 그래프 (Neo4j) 를 미리 구축하여 제공하는 방식까지 다양합니다.
• 실행 격리: Docker 컨테이너, 샌드박스, Shadow Git, 메모리 내 실행 (Shadow Mode) 등 다양한 격리 전략이 사용되며, 보안을 위한 LLM 기반 평가 (Codex CLI) 도 등장했습니다.

4.3. 리소스 관리 (Resource Management)

• 상태 관리: 단순 메시지 리스트에서 이벤트 소싱 (Event Sourcing), 트리 구조, 그래프 범위 상태 관리까지 다양한 패턴이 존재합니다.
• 컨텍스트 압축: 토큰 한계를 극복하기 위해 구조적 제한 (Prevention) 과 LLM 기반 요약 (Cure) 두 가지 철학이 공존합니다.
• 다중 모델 라우팅: 비용 최적화를 위해 단순한 작업에는 작은 모델을, 복잡한 추론에는 큰 모델을 사용하는 전략이 널리 채택되고 있습니다.

4.4. 교차 주제 (Cross-Cutting Themes)

• 샘플링 vs 반복: 실패 시 독립적인 재시도 (샘플링) 를 하는지, 피드백을 통해 수정 (반복) 하는지에 따라 전략이 나뉩니다.
• 서브 에이전트 위임: 5 개 에이전트가 하위 에이전트 생성을 지원하며, 위임 결정 주체 (LLM vs 스캐폴드) 에 따라 구현 방식이 다릅니다.
• IDE 통합: Cline 과 같은 IDE 확장형 에이전트는 IDE 의 진단 (Diagnostics) 정보 등 CLI 에이전트가 접근할 수 없는 풍부한 컨텍스트를 활용합니다.

5. 의의 및 시사점 (Significance)

• 연구적 함의: 에이전트 성능 비교 시 모델 능력과 스캐폴딩 아키텍처의 효과를 분리할 수 있는 공통 어휘를 제공합니다. 기존 벤치마크 (SWE-bench) 가 모델과 아키텍처 효과를 혼동 (Confounding) 시키는 문제를 해결할 수 있는 실험 설계의 기초를 마련했습니다.
• 실무적 함의:
  • 수렴된 영역: 도구 기능 카테고리, 편집 형식, 실행 격리 등은 표준화될 가능성이 높습니다.
  • 분산된 영역: 컨텍스트 압축, 상태 관리, 다중 모델 라우팅 등은 아직 최적의 해결책이 정립되지 않은 연구 영역으로, 향후 연구 투자가 필요한 부분입니다.
  • 모듈형 설계: Moatless Tools 의 사례처럼 제어 로직과 오케스트레이션 전략을 분리하는 모듈형 설계가 향후 에이전트 개발의 중요한 방향임을 시사합니다.

결론적으로, 본 논문은 코딩 에이전트의 '블랙박스'를 열어 소스 코드 수준에서 아키텍처의 다양성과 진화 방향을 체계적으로 규명함으로써, 더 효율적이고 신뢰할 수 있는 차세대 코딩 에이전트 설계와 평가에 필수적인 기초를 제공합니다.