🤖 machine learning

CORVUS: Context Optimization and Reduction Via Underlying Synchronization for LLM Coding Agents

CORVUS는 현재 파일 내용에 대한 동기화된 레지스트리를 유지함으로써 파일 읽기 동작과 그 관찰을 분리하여, 성능을 유지하면서도 토큰 사용량과 추론 사이클을 획기적으로 줄이기 위해 오래된 스냅샷과 불필요한 재읽기를 제거하는 LLM 코딩 에이전트를 위한 새로운 궤적 아키텍처를 도입합니다.

원저자: Mingwei Zheng, David OBrien, Siwei Cui, Pardis Pashakhanloo, Rajdeep Mukherjee, Myeongsoo Kim, Sachit Kuhar

게시일 2026-07-28

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Mingwei Zheng, David OBrien, Siwei Cui, Pardis Pashakhanloo, Rajdeep Mukherjee, Myeongsoo Kim, Sachit Kuhar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 말만 하면 컴퓨터 코드를 작성하고, 버그를 수정하며, 전체 소프트웨어 프로그램을 구축할 수 있는 초지능형 로봇 비서가 있는 세상을 상상해 보십시오. 이것은 공상 과학 소설이 아닙니다. 바로 "LLM 코딩 에이전트"의 현실입니다. 이들은 문제를 고민하고, 파일을 살펴보고, 변경 사항을 적용하고, 자신의 작업을 검토하는 주니어 개발자처럼 행동하는 인공지능 모델입니다. 하지만 여기 함정이 있습니다. 이 로봇들에게는 매우 심각한 단기 기억 문제가 있다는 것입니다. 자신이 무엇을 했는지 기억하기 위해, 이들은 모든 생각, 행동, 결과를 기록하는 '실행 일지'를 계속 작성합니다. 작업이 복잡해질수록 이 일지는 점점 길어집니다. 결국 일지가 너무 방대해지면 로봇은 혼란에 빠지고, 가장 중요한 세부 사항을 잊어버리며, 불과 5분 전에 했던 일을 기억하려고 500페이지짜리 책을 읽어야 하는 상황 때문에 어처구니없는 실수를 저지르기 시작합니다. 너무 많은 정보가 오히려 AI를 멍청하게 만드는 이 현상을 "컨텍스트 부패(context rot)"라고 부릅니다.

이 메모리 문제를 해결하기 위해 설계된 영리하고 새로운 시스템인 CORVUS가 등장했습니다. CORVUS는 로봇의 일지가 낡고 쓸모없는 노트들로 통제 불능 상태로 커지도록 내버려 두는 대신, 마법 같고 살아있는 도서관 역할을 합니다. CORVUS는 코드 변경이 끊임없이 일어난다는 점을 이해합니다. 만약 로봇이 파일을 읽고, 편집하고, 다시 읽는다면, 일지에 적힌 이전의 노트는 쓸모없는 쓰레기가 됩니다. CORVUS는 로봇이 파일의 내용을 매번 기록하는 것을 막습니다. 대신, 로봇이 필요한 파일들의 "동기화된 목록(synced list)"을 유지합니다. 로봇이 새로운 결정을 내리기 전, CORVUS는 조용히 실제 컴퓨터 파일을 확인하여 가장 최신 버전을 가져온 뒤 이를 로봇에게 전달합니다. 이렇게 함으로써 로봇은 중복되고 오래된 페이지로 비대해진 일지 없이도 항상 가장 신선하고 깨끗한 정보를 가질 수 있습니다. 그 결과, 로봇은 더 빠르게 작동하고, 실행 비용은 줄어들며, 기억을 가볍고 집중력 있게 유지하면서도 실수를 덜 하게 됩니다.

문제점: "오래된 스냅샷"의 덫

CORVUS가 왜 중요한지 이해하려면, 먼저 이러한 코딩 에이전트들이 보통 어떻게 작동하는지 살펴봐야 합니다. 마치 당신이 눈을 가린 채로 수도꼭지 누수를 고치려고 하는데, 오직 이전에 찍어둔 사진들을 통해서만 방 안을 볼 수 있는 상황과 같습니다.

전통적인 방식에서는 에이전트(우리의 로봇)가 파일을 볼 때마다 해당 파일의 "스냅샷"을 찍어 자신의 이력 로그에 붙여넣습니다. 만약 나중에 파일이 변경된다면(로봇이 편집했거나, 인간 개발자가 수정했다면), 로그에 남은 그 오래된 스냅샷은 그대로 유지됩니다. 즉, 오래된(stale) 상태가 됩니다.

논문의 저자들은 이것이 두 가지 주요 골칫거리를 만든다는 것을 발견했습니다:

중복 읽기: 오래된 스냅샷이 긴 이력 속에 파묻혀 있기 때문에, 로봇은 자신이 이미 그 파일을 봤다는 사실을 자주 잊어버립니다. 그래서 파일을 다시 읽고, 또 다른 스냅샷을 찍어 로그에 붙여넣습니다. 이는 책의 페이지를 놓쳐서 같은 페이지를 다섯 번이나 다시 읽는 것과 같습니다. 테스트 결과, 로봇이 이미 본 파일을 다시 읽는 경우가 **26%**에 달했습니다.
오래된 컨텍스트 오류: 더 심각하게는, 로봇이 오래된 스냅샷을 바탕으로 파일을 편집하려고 시도할 수 있습니다. 예를 들어, 로봇이 "10행: 불을 켭니다"라는 코드를 보고 있는데, 실제 세상에서는 5분 전에 그 줄이 삭제되었다고 가정해 봅시다. 로봇은 "10행"을 편집하려다 실패하고, 혼란에 빠지며, 무엇이 잘못되었는지 파악하기 위해 추가적인 시간과 에너지를 낭비하게 됩니다.

이 문제를 해결하는 기존 방식은 "사후 대응적(reactive)"이었습니다. 그것은 마치 배낭에 돌이 너무 많이 차서 들어 올릴 수 없게 된 직후에야 돌을 던져 버리려고 노력하는 것과 같습니다. 논문은 이것이 너무 늦다고 주장합니다. 진짜 해결책은 애초에 배낭에 돌을 넣지 않는 것입니다.

해결책: "리빙 싱크(Living Sync)"

저자들은 CORVUS(하부 동기화를 통한 컨텍스트 최적화 및 축소)를 제안합니다. CORVUS를 일지가 아니라 하나의 **라이브 피드(live feed)**라고 생각하십시오.

CORVUS는 파일의 내용을 이력 로그에 붙여넣는 대신, sync_file이라는 특수한 도구를 사용합니다. 로봇이 "나는 speech_recognition.py를 봐야 해"라고 말하면, CORVUS는 로그에 파일 내용을 복사하는 대신, *"Sync: speech_recognition.py"*라는 작고 가벼운 메모를 남깁니다.

배후에서는 CORVUS가 **동기화된 파일 세트(Synced File Set)**를 유지합니다. 이는 로봇이 현재 작업 중인 파일들의 특별한 목록입니다. 로봇이 어떠한 새로운 결정을 내리기 전에도(매 추론 사이클마다), CORVUS는 신속한 "컨텍스트 동기화(Context Sync)"를 수행합니다. CORVUS는 실제 컴퓨터로 가서 그 목록에 있는 모든 파일의 현재 최신 버전을 가져와 로봇의 프롬프트에 주입합니다.

이것은 모든 것을 바꿉니다:

중복 없음: 로봇은 동일한 파일의 두 버전을 보지 않습니다. 오직 하나, 현재의 버전만을 봅니다.
오래된 데이터 없음: 파일이 변경되면, 로봇이 다음 생각을 할 때 자동으로 새 버전을 받게 됩니다. 더 이상 존재하지 않는 코드를 편집하려고 애쓰지 않습니다.
가벼운 무게: 이력 로그에는 방대한 양의 파일 텍스트가 아닌, 로봇의 생각과 행동만이 담기므로 훨씬 가볍습니다.

연구 결과: 더 빠르고, 저렴하며, 똑똑하게

연구진은 CORVUS를 두 가지 까다로운 코딩 챌린지인 SWE-POLYBENCH_VERIFIED(Java, JavaScript, TypeScript 작업 포함)와 SWE-BENCH PRO(복잡한 엔터프라이즈급 문제 포함)에서 테스트했습니다. 이들은 CLAUDE SONNET 4와 QWEN3-CODER-480B를 포함한 네 가지 강력한 AI 모델을 사용하여 테스트를 진행했습니다.

결과는 인상적이었습니다. 컨텍스트를 신선하게 유지하는 것이 AI의 효율성을 크게 높인다는 것을 보여주었습니다:

낭비되는 읽기 감소: CORVUS는 중복 파일 읽기를 **22%에서 86%**까지 줄였습니다. 로봇은 이미 알고 있는 파일을 다시 읽으며 시간을 낭비하지 않게 되었습니다.
단계(Steps) 감소: 로봇이 오래된 데이터 때문에 혼란을 겪지 않았기 때문에 작업을 더 빨리 마쳤습니다. 추론 사이클(단계) 수가 15%에서 37% 감소했습니다. 예를 들어, 한 모델에서는 평균 45.03 단계였던 것이 28.22 단계로 줄었습니다.
짧아진 프롬프트: 최종 "프롬프트"(작업을 완료하기 위해 AI에 보내는 메시지)가 15%에서 32% 더 짧아졌습니다.
비용 절감: AI는 처리하는 텍스트 양에 따라 비용이 발생하므로, 이러한 절감 효과는 상당했습니다. 일부 작업에서는 비용이 최대 **50.28%**까지 떨어졌습니다. 예를 들어, $5.27**이 들던 작업이 **$ 2.62로 줄었습니다.
속도: 전체 프로세스는 총 시간 기준으로 최대 40% 더 빠르게 완료되었습니다.

결정적으로, 논문은 텍스트를 적게 읽는다고 해서 로봇이 더 멍청해지는 것은 아니라고 명시했습니다. 성공률(버그를 올바르게 고치는 빈도)은 기존 방식과 비슷한 수준을 유지하거나, 어떤 경우에는 오히려 약간 향상되었습니다.

거시적 관점

저자들은 또한 CORVers가 지저분한 이력을 정리하려는 다른 방법들과 함께 작동하는지도 확인했습니다. 그들은 CORVUS와 이러한 "사후 대응적" 정리 도구들이 서로 최고의 파트너라는 것을 발견했습니다. CORVUS는 문제의 근원(상류)에서부터 혼란이 발생하는 것을 막고, 다른 도구들은 남아있는 찌꺼기를 청소합니다. 이들을 함께 사용하면 토큰과 비용을 더욱 많이 절약할 수 있습니다.

요약하자면, CORVUS는 AI 코딩 에이전트가 진정으로 효율적이려면 단순히 과거를 잘 기억하는 것이 아니라, 현재와 연결되어 있는 능력이 필요하다는 것을 시사합니다. "파일 읽기"라는 동작을 "파일의 내용"과 분리하고, 대신 코드베이스와 라이브 동기화를 유지함으로써, 우리는 더 빠르고, 저렴하며, "컨텍스트 부패"로 인한 혼란에 빠지지 않는 에이전트를 구축할 수 있습니다. 이 논문은 이것이 AI의 모든 문제를 해결한다고 주장하는 것은 아니지만, 정적인 일기를 라이브 피드로 바꾸는 단순한 구조적 변화가 디지털 비서의 성능을 얼마나 크게 향상시킬 수 있는지 보여줍니다.

기술 요약: CORVUS

문제점: 컨텍스트 부패(Context Rot)와 추가 전용 궤적(Append-Only Trajectories)

대규모 언어 모델(LLM) 코딩 에이전트는 반복적인 '사고-행동-결과(Thought–Action–Result)' 루프를 통해 작동하며, 작업 기억으로서 "궤적(trajectory, 상호작용 이력)"을 유지합니다. 기존의 에이전트들은 **추가 전용 궤적 아키텍처(append-only trajectory architecture)**를 사용하는데, 여기서는 파일 읽기 동작이 그 관찰 결과(observation)와 밀접하게 결합되어 있습니다. 에이전트가 파일을 읽으면, 해당 시점의 파일 내용 스냅샷이 연대기적 이력에 영구적으로 추가됩니다.

이러한 아키텍처는 특히 장기적인 소프트웨어 엔지니어링 작업에서 두 가지 주요 비효율성을 초래합니다:

중복 파일 읽기: 궤적이 성장함에 따라 관련 파일 내용이 컨텍스트 내부에 파묻히게 됩니다("lost in the middle" 현상). 에이전트는 정보를 검색하기 위해 파일을 빈번하게 다시 읽으며, 이 과정에서 파일의 전체 스냅샷을 이력에 중복해서 추가합니다. 실증적 분석 결과, 베이스라인 에이전트의 파일 읽기 작업 중 26%가 중복된 것으로 나타났습니다.
오래된 컨텍스트 오류(Stale-Context Errors): 스냅샷은 불변(immutable)이므로, 에이전트가 수행한 이후의 수정 사항이나 동시적인 인간의 수정을 반영하지 못합니다. 에이전트는 오래된 줄 번호나 변수 이름을 바탕으로 코드를 수정하려고 시도할 수 있으며, 이는 편집 실패로 이어집니다. 복구를 위해서는 추가적인 진단 사이클과 파일 읽기가 필요하며, 이는 궤적의 팽창을 악화시킵니다.

이러한 문제들은 컨텍스트의 길이를 늘려 모델의 정확도와 추론 신뢰도를 저하시키는 동시에 토큰 비용과 추론 지연 시간을 증가시키는 **컨텍스트 부패(context rot)**를 유발합니다. 기존의 컨텍스트 관리 방법들은 컨텍스트가 축적된 후에 이를 압축하거나 제거하는 사후 대응적(reactive) 방식에 치중되어 있습니다. 이들은 불필요하거나 오래된 콘텐츠가 근본적인 원천(source)에서부터 유입되는 것을 방지하지 못합니다.

방법론: CORVX 아키텍처

본 논문은 파일 읽기 동작을 관찰 결과로부터 분리하는 선제적 궤적 아키텍처인 CORVUS(Context Optimization and Reduction Via Underlying Synchronization)를 제안합니다. CORVUS는 고정된 스냅샷을 저장하는 대신, 관련 파일들의 **동기화된 레지스트리(synchronized registry)**를 유지합니다.

핵심 메커즘

동기화된 파일 세트 ( $S_t$ ): CORVUS는 현재 작업과 관련된 파일들의 동적 레지스트리를 도입합니다. 에이전트가 파일과 상호작용해야 할 때, read_file(fj) 대신 새로운 도구인 sync_file(fj)를 호출합니다.
- sync_file 도구는 파일을 세트 $S_t$ 에 등록하지만, 궤적 이력에는 파일의 내용 대신 가벼운 마커(예: "sync: ./path/to/file")만을 추가하여 즉각적인 내용 포함을 피합니다.
컨텍스트 동기화 단계: 매 추론 사이클 이전에, 동기화 단계를 통해 컨텍스트를 갱신합니다. 시스템은 동기화된 세트에 포함된 모든 파일의 현재 내용을 저장소(repository)로부터 가져옵니다.
프롬프트 구성: 각 추론 단계를 위한 프롬프트는 다음과 같이 구성됩니다:
$P_t = M_{sys} \oplus T_{schema} \oplus H_{t-1} \oplus C_t$
여기서 $C_t$ 는 **동기화된 컨텍스트(Synced Context)**이며, 등록된 각 파일의 최신 버전 하나만을 포함합니다. 이를 통해 에이전트는 메시지 이력에 과거의 잠재적으로 오래된 파일 스냅샷을 남기지 않고도 최신 코드베이스 상태를 바탕으로 추론할 수 있습니다.

이러한 구조적 변화는 궤적이 실제 저장소 상태와 동기화되도록 보장하며, 중복된 복사본을 제거하고 에이전트가 오래된 정보로 추론하는 것을 방지합니다.

주요 기여

본 논문의 세 가지 주요 기여는 다음과 같습니다:

구조적 비효율성 식별: 저자들은 표준적인 추가 전용 궤적 아키텍처가 가변적인 파일 내용을 불변의 이력 항목으로 취급하게 만들어, 중복 및 오래된 스냅샷의 축적을 유발함을 실증적으로 확인했습니다.
선제적 아키텍처 (CORVUS): 인라인 파일 읽기를 sync_file 메커니즘과 사전 사이클 컨텍스트 갱신으로 대체하는 CORVUS를 제안합니다. 이는 프롬프트에 오직 현재 버전의 관련 파일들만 포함되도록 보장하여, 근본적인 원천에서부터 궤적 팽창을 방지합니다.
포괄적 평가: 이 시스템은 STRANDS AGENTS 프레임워크 상에서 구현되었으며, 네 가지 LLM(Proprietary 모델 3종: Claude Sonnet 3.7, 4, 4.5; Open-source 모델 1종: Qwen3-Coder-480B)을 대상으로 두 가지 벤치마크(SWE-POLYBENCH_VERIFIED 및 SWE-BENCH PRO)에서 평가되었습니다.

결과

573개의 인스턴스에 대한 평가 결과, CORVUS는 작업 성공률을 유지하면서도 궤적 효율성을 크게 향상시켰음을 입증했습니다:

중복 감소: 모든 모델에서 중복 파일 읽기가 22–86% 감소했습니다.
추론 사이클 감소: 작업을 완료하는 데 필요한 추론 사이클 수가 9–37% 감소했으며, 가장 큰 감소폭(37.33%)은 SWE-POLYBENCH_VERIFIED의 Claude Sonnet 4.5에서 관찰되었습니다.
짧아진 프롬프트: 최종 요청 프롬프트 길이가 15–32% 단축되어 최대 컨텍스트 창 사용량을 줄였습니다.
토큰 및 비용 절감: 작업당 평균 입력 토큰이 9–50% 감소했습니다. 총 토큰 비용은 최대 **51%**까지 절감되었습니다 (예: SWE-POLYBENCH_VERIFIED의 Claude Sonnet 4.5의 경우 인스턴스당 $5.27에서$ 2.62로 감소).
런타임 효율성: 엔드 투 엔드(end-to-end) 지연 시간이 최대 40% 감소했습니다. 동기화 오버헤드(로컬 파일 읽기)는 LLM 추론 사이클 절감 효과에 비해 무시할 수 있는 수준이었습니다.
작업 성공도: Pass@1 비율은 베이스라인 에이전트와 대등하거나, 네 가지 모델 중 세 곳에서 약간의 개선이 관찰되었습니다. 이는 효율성 향상이 정확성을 해치지 않았음을 나타냅니다.

호환성: 본 논문은 CORVUS가 사후 대응적 컨텍스트 관리 방법(예: 슬라이딩 윈도우, 요약)과 상호 보완적임을 보여줍니다. CORVUS를 사후 대응 전략과 결합하면 토큰과 비용을 더욱 줄일 수 있어, 하이브리드 접근 방식이 최적임을 시사합니다.

의의 및 주장

본 논문은 **선제적인 코드베이스-궤적 동기화(proactive codebase-trajectory synchronization)**가 장기적인 코딩 에이전트를 위한 결정적이지만 이전에 간과되었던 최적화 요소라고 주장합니다. 가변적인 파일 상태를 불변의 이력 항목과 결합하는 컨텍스트 부패의 근본 원인을 해결함으로써, CORVUS는 더 효율적이고 신뢰할 수 있는 에이전트 워크플로우를 가능하게 합니다.

저자들은 자신들의 방식이 사후적인 압축과는 구별된다는 점을 강조합니다. 즉, 나중에 정리하는 것이 아니라 데이터의 축적 자체를 방지하는 것입니다. 결과는 저장소에 대한 동기화된 뷰를 유지하는 것이 에이전트가 더 가벼운 궤적을 가지고 작동할 수 있게 하여, 복잡한 소프트웨어 엔지니어링 작업을 해결하는 능력을 보존하면서도 비용과 지연 시간을 줄일 수 있음을 보여줍니다. 본 논문은 이러한 아키텍처의 전환이 LLM 코딩 에이전트를 엔터프라이즈급의 다일(multi-day) 개발 워크플로우로 확장하는 데 필수적이라고 결론짓습니다.