기술 요약: 미니피케이션(Minification)을 이용한 상태-컨텍스트 기반 에이전트의 토큰 사용량 감소

문제 정의

대규모 언어 모델(LLM)은 특히 SWE-bench 벤치마크와 같은 저장소 수준의 작업을 수행하는 소프트웨어 엔지니어링(SE) 에이전트를 위한 추론 엔진으로서 점점 더 많이 활용되고 있습니다. 이러한 워크플로우에서 에이전트는 대규모 코드베이스를 검색하고 그에 대해 추론해야 하며, 이는 컨텍스트 크기의 급격한 증가와 높은 토큰 소비로 이어집니다. 토큰 사용량은 운영 비용과 직접적으로 연관될 뿐만 아니라 컨텍스트 제한으로 인한 성능 저하를 초래할 수 있으므로, 관련 정보를 유지하면서 컨텍스트 크기를 효과적으로 줄이는 것이 매우 중요합니다.

Jiang 등이 제안한 "상태-in-컨텍스트(state-in-context)" 에이전트는 도구 호출을 통해 상태를 점진적으로 재구성하는 대신, 압축된 전체 환경 상태를 단일 프롬프트에 전달함으로써 구조를 단순화합니다. 그러나 이러한 에이전트들을 분석한 결과, 토큰 소비의 대다수가 수정(repair) 단계에서 발생하며, 이 단계에서 소스 코드가 프롬프트를 지배한다는 사실이 밝혀졌습니다. 구체적으로, 수정 프롬프트 토큰의 90% 이상이 소스 코드에 의해 소비되는 반면, 자연어 지시문과 파일 순위(file ranking)는 10% 미만을 차지합니다. 본 논문은 성능 손실을 과도하게 초래하지 않으면서 이러한 토큰 소비를 줄이는 과제를 다룹니다.

방법론

복제 및 베이스라인

저자들은 먼저 DirectSolve 상태-in-컨텍스트 에이전트에 대한 독립적인 복제 및 확장을 수행했습니다. 공개된 아티팩트가 없었기 때문에, 원래의 사양을 바탕으로 클린룸 버전(clean-room version)을 구현했습니다. 워크플로우는 다음 세 단계로 구성됩니다:

1. 순위 지정(Ranking): LLM이 파일 경로만을 사용하여 이슈 설명에 대한 관련성을 기준으로 저장소 파일의 순위를 매깁니다.
2. 집계(Aggregation): 상위 순위의 파일들을 사전 정의된 토큰 예산(본 연구에서는 모델 간 공정한 비교를 위해 100,000 토큰으로 제한)까지 하나의 컨텍스트로 집계합니다.
3. 수정(Repair): LLM은 집계된 컨텍스트를 바탕으로 SEARCH/REPLACE 형식의 패치를 생성합니다.

저자들은 이 베이스라인을 GPT-5-mini를 사용하여 SWE-bench Verified 벤치마크에서 평가하였으며, Gemini-2.5-Pro를 사용했을 때의 원래 보고값인 50.8%와 일치하는 50.0%의 pass@1 비율을 달 achieved했습니다.

미니피케이션 전략

토큰 사용량을 줄이기 위해, 저자들은 소스 파일이 수정 작업을 위해 LLM에 전달되기 전에 일련의 코드 미니피케이션 기법을 적용했습니다. 이러한 변환은 프로그램의 의미론(semantics)을 보존하면서 필수적이지 않은 어휘적 요소를 제거하거나 단축하도록 설계되었습니다. 구체적인 기법은 다음과 같습니다:

• 라인/연산자 공백 제거: 빈 줄을 제거하고 연산자 주변의 공백을 제거합니다 (예: a + b가 a+b가 됨).
• 주석/독스트링(Docstring) 제거: 실행 시 무시되는 주석과 독스트링을 제거합니다.
• 디덴테이션(Dedentation): 들여쓰기 수준을 줄이되(예: 4칸에서 2칸으로), 블록 내의 일관성을 유지합니다. 입력 포맷과 관계없이 모델이 고정된 4칸 들여쓰기 스타일의 SEARCH/REPLACE 블록을 출력하도록 지시하여, 들여쓰기 불일치로 인한 잘못된 패치 생성을 방지합니다.
• 식별자 단축(Identifier Shortening): 변수, 함수, 클래스 이름을 더 짧은 별칭으로 교체합니다. 이는 두 가지 모드로 테스트되었습니다:
  • 비의미 보존형(Non-semantics preserving): 컨텍스트 없이 직접 교체합니다.
  • 의미 보존형(Semantics preserving): 식별자를 재명명하고 프롬프트에 매핑 테이블을 추가하여 LLM이 원래 이름을 재구성할 수 있도록 합니다.
• 임포트 조작(Import Manipulation): 모든 임포트를 하나의 합성 파일로 병합하거나 완전히 제거합니다.

이러러한 변환들은 수정 파이프라인에 통합되었습니다. 패치 생성 후, 식별자 매핑이 역전되었으며, 공백 및 주석 차이에 관대한 매칭 절차를 사용하여 원래의 저장소에 패치를 적용했습니다.

주요 기여

1. 독립적 복제: 단일 호출, 도구 없는 에이전트가 유능한 모델(GPT-5-mini)과 결합되었을 때 SWE-bench Verified에서 경쟁력 있는 성능(50% pass@1)을 달성할 수 있음을 보여주는 DirectSolve 상태-in-컨텍스트 에이전트의 클린룸 재구현.
2. 토큰 할당 분석: 수정 프롬프트 내의 소스 코드가 자연어 지시문이나 순위 프롬프트를 압도하며 토큰 사용의 지배적인 요인임을 밝히는 경험적 분석.
3. 미니피케이션 프레임워크: 상태-in-컨텍스트 수정 워크플로우 내의 Python 소스 코드에 맞춤화된 경량의 의미 보존형 코드 미니피케이션 변환 세트의 제안 및 통합.
4. 경험적 평가: 미니피케이션이 평균 입력 토큰 사용량을 약 42% 감소시키는 동시에 해결률(resolution rate)을 12%포인트 하락(50.0%에서 38.0%로)시킨다는 것을 보여주는 SWE-bench Verified에서의 체계적인 평가.
5. 절제 및 실패 분석: 개별 변환과 중첩된 조합을 분리하여 각각의 트레이드오프를 정량화하는 상세한 연구. 저자들은 대부분의 변환이 완만한 성능 손실을 보이는 반면, "디덴트(dedent)" 변환은 들여쓰기 오류로 인해 발생하는 구문 오류 때문에 해결률을 크게 떨어뜨린다는 것을 확인했습니다.

결과

• 효율성 vs. 효과성: 주요 발견은 명확한 트레이드오프입니다. 미니피케이션은 평균 입력 토큰을 ~90,535에서 ~52,776으로 줄입니다(42% 감소). 이는 12%의 절대적인 해결률 감소를 초래합니다.
• 비용 함의: 입력 토큰이 수정 단계 비용의 약 93%를 차지하므로, 토큰 감소는 직접적인 비용 절감으로 이어집니다.
• 변환별 세부 사항:
  • 독스트링과 주석을 제거하는 것은 상대적으로 작은 성능 페널티를 유지하면서(해결률이 40% 이상 유지됨) 가장 큰 토큰 감소를 제공했습니다.
  • "디덴트" 변환은 주요 예외 사항이었으며, 모델과 스태킹 구성에 따라 해결률을 27-36%까지 떨어뜨렸습니다. 실패 분석 결과, 이는 LLM이 출력 시 요구되는 4칸 들여쓰기를 복구하지 못해 생성된 코드에서 IndentationError가 발생했기 때문인 것으로 나타났습니다.
  • 디덴트를 제외한 여러 변환을 중첩(stacking)하는 것은 성능을 베이스라인에 가깝게 유지하면서 비용을 지속적으로 줄였습니다.
• 일반화 가능성: 이러한 경향은 서로 다른 저장소와 이슈 난이도 전반에서 안정적으로 관찰되었으며, 이는 이 접근 방식이 다양한 조건에서 잘 일반화될 수 있음을 시사합니다.

의의

본 논문은 경량 소스 코드 변환이 더 비용 효율적인 소프트웨어 엔지니어링 에이전트를 향한 유망한 경로를 제공한다고 주장합니다. 베이스라인 성능의 상당 부분을 유지하면서 거의 50%의 토큰 감소를 달으로 수 있다는 것을 입증함으로써, 이 연구는 공격적인 컨텍스트 압축이 저장소 수준의 작업에 실용적임을 시사합니다. 저자들은 자신들의 연구 결과가 효율성과 효과성 사이의 명시적인 트레이드오프를 강조하며, 특정 비용 및 성능 요구 사항에 따라 변환 전략을 선택할 수 있는 데이터 기반의 근거를 제공한다고 강조합니다. 추가 연구를 지원하기 위해 전체 구현체는 공개적으로 제공됩니다.