CODESTRUCT: 구조화된 행동 공간 기반 코드 에이전트 기술 요약

본 논문은 대규모 언어 모델 (LLM) 기반 코드 에이전트가 코드 저장소와 상호작용하는 방식을 근본적으로 재정의한 CODESTRUCT 프레임워크를 제안합니다. 기존 방식의 한계를 극복하고, 추상 구문 트리 (AST) 기반의 구조화된 행동 공간을 도입하여 코드 에이전트의 정확성과 효율성을 동시에 향상시켰습니다.

1. 문제 정의 (Problem)

기존 LLM 기반 코드 에이전트 (예: SWE-Agent) 는 코드를 **비구조화된 텍스트 (Unstructured Text)**로 취급합니다. 이 방식은 다음과 같은 심각한 한계를 가집니다.

• 문맥 불일치 (Abstraction Mismatch): 에이전트가 코드를 문자 시퀀스나 줄 번호로만 인식하여, 코드가 가진 본질적인 구문 (Syntax) 및 의미 (Semantic) 구조를 무시합니다.
• 취약한 편집 (Brittle Edits): 코드 수정 시 문자열 매칭이나 줄 번호를 사용하므로, 포맷팅 변화나 패턴 중복 시 "찾을 수 없음 (no occurrence)" 또는 "여러 개 발견 (multiple occurrence)" 오류가 빈번하게 발생합니다.
• 비효율적인 읽기: 필요한 함수나 클래스를 찾기 위해 전체 파일을 읽거나 불필요한 문맥을 포함하게 되어 토큰 소비가 증가하고 추론 능력이 저하됩니다.
• 실패의 반복: 이러한 취약성으로 인해 에이전트는 비용이 많이 드는 시행착오 (Trial-and-error) 사이클에 갇히게 됩니다.

2. 방법론 (Methodology)

CODESTRUCT 는 코드 저장소를 **구조화된 행동 공간 (Structured Action Space)**으로 재정의하여, 에이전트가 텍스트가 아닌 **명명된 AST 엔티티 (Named AST Entities)**를 기반으로 작동하도록 합니다.

2.1 구조화된 AST 행동 공간

• 핵심 아이디어: 소스 코드는 이미 함수, 클래스, 메서드 등 이름이 부여된 프로그램 엔티티로 구성되어 있습니다. CODESTRUCT 는 이를 에이전트의 주요 상호작용 단위로 노출합니다.
• 추상화: 파일, 클래스, 함수 등을 줄 번호가 아닌 file.py::ClassName::method와 같은 AST 노드 경로로 식별합니다.

2.2 구조 인식 도구 (Structure-Aware Primitives)

에이전트는 두 가지 핵심 도구를 통해 코드와 상호작용합니다.

1. readCode (구조 인식 코드 검색):

   • 동작: 디렉토리 탐색, 파일 요약 (시그니처 목록 제공), 또는 특정 선택자 (Selector) 를 통한 엔티티 전체 구현체 추출.
   • 장점: 불필요한 문맥을 제거하고, 함수나 클래스 전체를 끊어짐 없이 (Truncation 없이) 반환합니다.
   • 예시: readCode(filePath="auth.py", selector="authenticate")는 해당 함수의 전체 소스 코드를 반환합니다.

2. editCode (구조 인식 코드 수정):

   • 동작: AST 레벨의 변환 (삽입, 교체, 제거) 을 수행합니다.
   • 특징:
     • 문법 유효성 보장: 변경 사항이 적용되기 전에 AST 를 재구축하고 문법 오류를 검증합니다. 오류가 발견되면 수정을 거부합니다.
     • 의도 분리: 에이전트는 "무엇을" 변경할지 (엔티티 선택자) 만 지정하고, "어떻게" 텍스트로 구현할지는 도구가 처리합니다.
     • 포맷팅 보존: 주어진 컨텍스트의 들여쓰기 (Indentation) 를 자동으로 유지합니다.

2.3 통합 방식

이러한 도구들은 **Model Context Protocol (MCP)**을 통해 표준화된 인터페이스로 제공되어, 기존 에이전트 프레임워크 (SWE-Agent, OpenHands 등) 를 수정 없이도 구조화된 행동 공간을 활용할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

1. 구조화된 행동 공간 인터페이스: AST 기반 프로그램 표현과 LLM 에이전트 간의 간극을 해소하고, 명명된 의미적 엔티티를 코드 상호작용의 기본 단위로 노출합니다.
2. 두 가지 구조 인식 원시 연산 (Primitives): readCode와 editCode를 설계하여 인간이 읽기 쉬운 선택자, 자동 범위 해결, 문법 검증된 편집을 지원하며 에이전트의 복구 능력을 강화합니다.
3. 광범위한 실증적 증거: SWE-Bench Verified 와 CodeAssistBench 에서 6 가지 LLM 을 대상으로 한 실험을 통해, 구조 인식 행동 공간이 에이전트의 효과성과 효율성을 동시에 향상시킨다는 것을 입증했습니다. 특히 텍스트 인터페이스의 취약성으로 실패하는 모델에서 가장 큰 개선을 보였습니다.

4. 실험 결과 (Results)

4.1 SWE-Bench Verified (저장소 수준 버그 수정)

• 정확도 향상: 6 가지 모델에서 Pass@1 정확도가 1.2%~5.0% 향상되었습니다.
  • 특히 GPT-5-nano는 정확도가 20.8%p 급증했습니다 (19.6% → 40.4%). 이는 빈 패치 (Empty-patch) 실패율이 46.6% 에서 7.2% 로 급감했기 때문입니다.
• 효율성 및 비용 절감: 대부분의 모델에서 토큰 소비가 12%~38% 감소했고, 추론 비용은 최대 33% 절감되었습니다.
  • GPT-5-mini 는 토큰 소비 31.9% 감소, 비용 32.6% 절감.
  • GPT-5-nano 는 정확도 향상을 위해 계산량이 증가했으나, 이는 구조화된 탐색을 통해 조기 종료 (Early termination) 를 방지하고 더 깊은 탐구를 가능하게 했기 때문입니다.

4.2 CodeAssistBench (대화형 코드 지원)

• 일관된 정확도 향상: 모든 평가 모델에서 0.8%~4.4% 의 정확도 향상을 보였습니다.
• 비용 효율성: GPT-5-mini 는 비용이 33.3% 감소하면서 정확도가 0.8%p 향상되었습니다.

4.3 오류 분석 및 애블레이션 연구

• 오류 감소: 고성능 모델 (GPT-5 등) 에서 도구 레벨 오류가 76~88% 감소했습니다.
• 애블레이션: readCode를 제거할 경우 정확도가 가장 크게 떨어졌으며 (탐색 비용 증가), editCode를 제거할 경우 비용이 급증했습니다 (문자열 기반 편집의 취약성으로 인한 검증 사이클 증가). 이는 탐색과 수정 모두 구조화된 접근이 필수적임을 시사합니다.

5. 의의 및 결론 (Significance)

CODESTRUCT 는 코드 에이전트 분야에서 다음과 같은 중요한 의의를 가집니다:

1. 패러다임 전환: 코드를 "평평한 텍스트"가 아닌 "구조화된 개체"로 취급하는 새로운 패러다임을 제시합니다. 이는 인간 개발자가 코드를 이해하고 수정하는 방식 (이름으로 참조) 과 더 잘 부합합니다.
2. 신뢰성 확보: 문법 오류를 사전에 차단하고, 포맷팅 변화에 영향을 받지 않는 안정적인 편집을 가능하게 하여 에이전트의 신뢰성을 크게 높였습니다.
3. 비용 대비 효과: 특히 추론 능력은 충분하지만 텍스트 인터페이스의 취약성으로 인해 실패하는 모델들에게 큰 성능 향상을 제공하여, LLM 코딩 에이전트의 실용성을 한 단계 끌어올렸습니다.

결론적으로, CODESTRUCT 는 코드 저장소를 구조화된 행동 공간으로 노출함으로써 에이전트의 정확성, 효율성, 신뢰성을 모두 개선하는 강력한 기반을 마련했습니다.