[기술 요약] RAT: 완전 자동화된 환경 구성을 통한 RunAnyThing

1. 문제 정의 (Problem Statement)

자율형 코드 에이전트(Autonomous Code Agents)가 단순한 코드 스니펫 생성을 넘어 저장소(Repository) 수준의 복잡한 소프트웨어 엔지니어링 작업을 수행하기 위해서는 실행 가능한 환경(Executable Environment) 구축이 필수적입니다. 그러나 다음과 같은 이유로 환경 구성은 여전히 큰 병목 현상으로 남아 있습니다.

• 수동 구성의 한계: 기존 방식은 사람이 직접 Dockerfile이나 CI/CD 설정을 작성해야 하므로 대규모 확장이 어렵습니다.
• 기존 자동화 도구의 제약: 기존의 자동화 시도들은 특정 프로그래밍 언어에 국한되거나, 이미 존재하는 Dockerfile, CI 로그 등 특정 아티팩트에 과도하게 의존하여 범용성이 떨어집니다.
• 정보의 희소성 및 복잡성: 실제 저장소는 복잡한 의존성, 다양한 언어 혼용, 불완전한 문서화 등으로 인해 환경 구축이 매우 까다롭습니다.

2. 제안 방법론 (Methodology: RAT Framework)

본 논문은 언어에 구애받지 않고(Language-agnostic) 임의의 저장소에 대해 환경 구성을 자동화하는 RAT(RunAnyThing) 프레임워크를 제안합니다. RAT는 다음과 같은 다단계 파이프라인으로 구성됩니다.

A. 주요 모듈 구성

1. Language-Agnostic Abstraction: 저장소의 구조를 분석하여 주요 프로그래밍 언어를 식별하고, 언어별 의존성 패턴, 패키지 매니저 프로토콜, 테스트 러너 등을 통합 인터페이스로 캡슐화합니다.
2. ImageRetriever (초기화 단계): LLM 기반의 의미론적 분석을 통해 저장소 문서와 설정 파일을 검토합니다. 최적의 베이스 이미지(예: python:3.10)를 추론하고, 필요시 Docker Hub에서 특화된 이미지(예: PyTorch 포함 이미지)를 검색 및 점수화하여 최적의 초기 환경을 선택합니다.
3. Dual-Mode Planning (계획 메커니즘):
   • Standard Plan Mode: 특정 언어에 맞춰 정해진 워크플로우에 따라 반복적으로 명령을 실행합니다.
   • Automated Plan Mode: 복잡한 저장소를 위해 에이전트가 스스로 plan.md라는 구조화된 계획 파일을 생성하고, 이를 외부 메모리로 활용하여 진행 상황을 추적하며 복잡한 빌드 상태를 관리합니다.
4. Specialized Agent Toolset (특화 도구 세트): 단순 터미널 명령을 넘어, 에이전트의 효율성을 높이기 위한 고수준 도구들을 제공합니다.
   • Read/Edit File: LLM 기반의 의미론적 파일 이해 및 정밀한 수정.
   • Issue Retrieval: 저장소의 과거 이슈를 검색하여 해결책 재사용.
   • Change Version: 작업 상태를 유지하며 컨테이너 내 언어 버전을 동적으로 전환.
   • Test Synthesis: 테스트가 없는 경우 스모크 테스트(Smoke Test)를 자동 생성하여 검증.
5. Robust Sandbox Generation: 템플릿 기반의 Docker 생성 메커니즘을 통해 격리된 환경을 구축하고, 네트워크 연결성 및 도구 세트를 주입합니다.

B. 학습 및 지식 축적

• Long-term Expertise Accumulation: 과거의 실행 궤적(Execution Trajectories)으로부터 지식을 합성하여 JSON 형태의 구조화된 데이터로 저장하고, 이를 통해 향후 구성의 정확도를 높입니다.

3. 주요 기여 (Key Contributions)

1. RAT 프레임워크 제안: 언어에 독립적이며, 계획 수립부터 실행, 오류 복구까지 아우르는 모듈형 자동화 프레임워크를 구축했습니다.
2. RATBench 벤치마크 구축: 실제 세계의 다양성을 반영하기 위해 2,000개 이상의 GitHub 저장소(Python, Java, Rust, JS/TS)를 포함하는 대규모 멀티링구얼 벤치마크를 제안했습니다. 이는 단순 정적 분석이 아닌 **실행 기반 검증(Execution-verified)**을 수행합니다.
3. 상태 집착적 에이전트 설계: ReAct 프레임워크를 활용하여 '생각(Thought)-행동(Action)-관찰(Observation)'의 루프를 통해 시스템 상태와 LLM의 인지를 동기화했습니다.

4. 실험 결과 (Results)

• 성능 우위: RAT는 모든 평가 언어에서 기존 베이스라인(SWE-agent, Repo2Run 등)을 압도했습니다. 특히 Python 저장소에서 환경 설정 성공률(ESSR)을 기존 강력한 베이스라인 대비 평균 29.6% 향상시켰습니다.
• 시나리오별 강점: 테스트 코드가 없는 환경(S3)에서도 스스로 진입점(Entry point)을 찾아내고 테스트를 합성하여 성공적으로 환경을 구축하는 능력을 보였습니다.
• 인간 전문가와의 비교: 시니어 엔지니어와 비교했을 때, RAT는 속도는 다소 느리지만(약 2.25배) 환경 설정 성공률(ESSR)은 오히려 2.36% 더 높게 나타나, 인간의 능력을 상회할 수 있음을 입증했습니다.
• 확장성(Scaling Law): 실행 단계(Steps)가 증가함에 따라 성공률이 지속적으로 향상되는 '스케일링 법칙'을 확인했습니다.

5. 의의 및 결론 (Significance)

본 연구는 자율형 코드 에이전트가 직면한 가장 큰 기술적 장벽 중 하나인 '환경 구성의 자동화' 문제를 해결할 수 있는 실질적인 경로를 제시했습니다.

• 데이터 합성의 확장성: 정적인 저장소를 실행 가능한 데이터셋으로 변환하여 LLM 학습을 위한 고품질 실행 트레이스(Execution Traces)를 대량으로 생성할 수 있습니다.
• 강화 학습의 기반: 실행 기반의 피드백 루프를 가능하게 하여, 에이전트가 단순한 코드 생성을 넘어 실제 동작하는 소프트웨어를 만드는 법을 배우는 강화 학습(RL) 환경을 제공합니다.
• 신뢰할 수 있는 자율 시스템: 코드 에이전트를 단순한 '코드 생성기'에서 실제 운영 환경에 배포 가능한 '신뢰할 수 있는 자율 시스템'으로 진화시키는 핵심 기술입니다.