기술 요약: SWE-MeM

문제 정의

장기적 소프트웨어 엔지니어링(SWE) 에이전트는 제한된 컨텍스트 예산 하에서 길고 노이즈가 많은 상호작용 이력을 관리할 때 상당한 어려움에 직면합니다. 기존의 에이전트들은 일반적으로 ReAct 방식의 append-only 패러다임을 따르며, 이로 인해 상호작용 이력이 지속적으로 누적됩니다. SWE 작업에서 이는 트래젝토리(trajectory)가 대규모 언어 모델(LLM)의 컨텍스트 창을 초과하거나, 효과적인 추론을 수행하기에는 너무 노이즈가 심해지는 결과를 초래합니다.

현재의 메모리 관리 접근 방식은 두 가지 주요 한계점을 가집니다:

1. 경직성(Rigidity): 기존 방식은 임계값 기반의 요약, 서브태스크 수준의 폴딩(folding), 또는 고정된 규칙을 가진 학습된 압축 도구와 같은 정적인 압축 워크플로우에 의존합니다. 이러한 방식은 트래젝토리 내 정보의 이질적인 가치에 적응하지 못합니다. 예를 들어, 방대한 실행 로그는 어느 시점에서나 안전하게 압축될 수 있는 반면, 트래젝토리 초기에 검사된 코드는 이후의 추론을 위해 필수적으로 유지되어야 할 수 있습니다. 고정된 규칙은 이러한 시나리오를 구분할 수 없습니다.
2. 최적화되지 않은 목적 함수(Suboptimal Objectives): 대부분의 기존 방법은 태스크 해결 효율성보다는 엄격하게 컨텍스트 감소 자체에만 최적화되어 있습니다. 이들은 피크 컨텍스트 길이는 줄일 수 있지만, 전체 토큰 사용량이나 상호작용 단계를 급격히 증가시켜 전반적인 효율성과 성능을 악화시키는 경우가 많습니다.

방법론

저자들은 에이전트에게 선제적이고 온디맨드(on-demand) 방식의 메모리 관리 능력을 갖추도록 설계된 훈련 프레임워크인 SWE-MeM을 제안합니다. 이 접근 방식은 세 가지 핵심 구성 요소로 이루어집니다.

1. 유연한 메모리 관리 도구

SWE-MeM은 에이전트가 현재 트래젝토리 상태에 따라 언제, 무엇을, 그리고 어떻게 압축할지를 결정할 수 있도록 하는 도구를 도입합니다.

• 메커니즘: 에이전트는 진행 상황 분석, 압축할 범위를 정의하는 시작/종료 단계 번호, 요약된 내용, 그리고 남은 작업 계획을 인자로 포함하는 compress 도구를 호출합니다.
• 작동 방식: 이 도구는 선택된 원시 이력(예: 로그, 실패한 시도)을 고수준의 요약본으로 교체하면서 시간적 순서를 보존합니다. 결정적으로, 압축된 요약본 자체도 이후 단계에서 추가적인 압축 대상으로 선택될 수 있어 점진적인 컨텍스트 감소를 가능하게 합니다.

2. 합성된 트래젝토리를 활용한 커리큘럼 파인튜닝

모델에게 효과적인 메모리 관리를 가르치기 위해, 저자들은 메모리 관리 액션을 태스크 해결 트래젝토리에 증강하는 합성 워크플로우를 개발했습니다.

• 트래젝토리 합성: 베이스 모델이 태스크 롤아웃을 생성하면, 독점적인 모델이 "컨텍스트 모니터" 역할을 수행하며 압축이 필요한 시점을 판단합니다. 트리거는 다음 두 가지 카테 category에 기반합니다:
  • 컨텍스트 예산 압박(Context Budget Pressure): 남은 컨텍스트 예산이 20% 미만으로 떨어짐에 따라 압축 가능성을 높이는 확률적 스케줄러입니다.
  • 선제적 메모리 관리(Proactive Memory Management): LLM-as-a-judge 메커니즘이 예산이 임계치에 도달하기 전이라도 서브태스크 완료, 낮은 정보 밀도(예: 장황한 로그), 또는 집중도 저하와 같이 압축이 유익한 상황을 감지합니다.
• 품질 필터링: 규칙 기반 파이전라인을 통해 부적절한 감소 비율, 너무 짧은 범위, 또는 범위 불일치와 같은 결함이 있는 합성 트래젝토리를 필터링합니다.
• 커리큘럼 학습: 학습은 두 단계로 진행됩니다. 첫 번째 단계에서는 필터링된 전체 트래젝토리 세트를 사용하여 기본적인 도구 사용법을 가르칩니다. 두 번째 단계에서는 분석과 압축이 의미론적으로 일관되고 실행 가능하도록 루브릭(rubric)을 사용하여 고품질의 선제적 메모리 행동에 집중합니다.

3. 메모리 인식형 GRPO (Group Relative Policy Optimization)

메모리 관리와 이슈 해결을 공동으로 최적화하기 위해, 저자들은 Memory-aware GRPO라고 불리는 강화 학습 변형을 제안합니다.

• 메모리 인식형 트래젝토리 분할: 표준 RL은 롤아웃을 연속적인 시퀀스로 취급합니다. SWE-MeM은 압축 단계에서 트래젝토리를 체크포인트로 나누어, 에이전트가 추론 중에 관찰하게 될 정확한 압축된 접두사(prefix)에서 시작하는 서브 트래젝토리로 분할합니다. 이는 훈련과 추론 사이의 일관성을 보장합니다.
• 단계별 신용 할당(Step-level Credit Assignment): 표준 GRPO는 최종 결과에 따라 신용을 할당합니다. SWE-MeM은 신용 할당을 개선하기 위해 단계별 마스크를 도입합니다:
  • 품질 검사: 성공적인 트래젝토리 내의 부적절한 메모리 액션(예: 잘못된 감소 비율)을 마스킹합니다.
  • 지연된 관리: 예산이 임계치까지 떨어진 후에야 수행된 메모리 액션에 대해 페널티를 부여합니다.
  • 오버플로 실패: 에이전트가 낮은 남은 예산에도 불구하고 메모리 관리를 호출하지 못한 특정 단계에 대해 페널티를 할당합니다.
  • 잘못된 사용: 바람직하지 않은 패턴을 학습하는 것을 방지하기 위해 잘못된 도구 호출이 포함된 단계를 마스킹합니다.

주요 기여

1. 적응형 메모리 도구: 실시간 트래젝토리 상태에 따라 압축 타이밍, 범위 및 요약 전략을 동적으로 결정할 수 있게 하는 인터페이스를 제공합니다.
2. 훈련 프레임워크: 합성된 선제적 메모리 트래젝토리, 커리큘럼 파인튜닝, 그리고 Memory-aware GRPO를 결합하여 메모리 결정과 태스크 성능을 공동 최적화하는 새로운 파이프라인을 제시합니다.
3. 성능 및 효율성: SWE-MeM이 기존 베이스라인에 비해 더 높은 해결률(resolve rate)을 유지하면서도 더 낮은 토큰 사용량을 달 만큼 우수한 성과를 거둔다는 실증적 근거를 보여줍니다.

실험 결과

이 프레임워크는 32K 컨텍스트 예산 하에서 Qwen3-4B-Instruct 및 Qwen3-Coder-30B-A3B 모델을 사용하여 SWE-Bench Verified에서 평가되었습니다.

• 해결률 (Resolve Rates):
  • 4B 모델: (SFT + RL 적용 시) **43.4%**의 해결률을 달성하여, 10B 미만 파라미터 범위 내의 모든 ReAct 베이스라인 및 기존 메모리 관리 방법들을 능가했습니다.
  • 30B 모델: (SFT + RL 적용 시) **60.2%**의 해결률을 달성하여, 일반적으로 53.8%에서 58.8% 사이를 기록하는 기존 메모리 관리 베이스라인(예: Context Folding, SWE-Compressor)을 넘어섰습니다.
• 효율성: SWE-MeM은 메모리 관리 방법 중 가장 높은 해결률을 달면서도 가장 낮은 보고된 토큰 사용량을 기록했습니다. 이는 대응하는 base ReAct 에이전트보다 적은 토큰을 사용한 것이며, 경쟁 방법들은 종종 전체 토큰 사용량을 증가시키는 경와를 보였습니다.
• 일반화 능력: 이 방법은 SWE-Bench Multilingual 및 SWE-Bench Pro에서도 일관된 개선을 보여주었으며, 이는 학습된 메모리 관리 행동이 프로그래밍 언어와 장기적 과업 전반에 걸쳐 전이될 수 있음을 시사합니다.

의의 및 주장

본 논문은 SWE-MeM이 경직되고 외부에서 트리거되는 압축에서 선제적이고 에이전트 주도적인 메모리 관리로 전환함으로써, 장기적 SWE 에이전트의 핵심 병목 현상인 컨텍스트 관리를 해결한다고 주장합니다.

저자들은 효과적인 메모리 관리가 단순히 컨텍스트 오버플로를 방지하는 것을 넘어, 모델이 태스크 관련 정보를 더 효과적으로 활용할 수 있도록 돕는 더 깨끗한 작업 컨텍스트를 제공한다고 강조합니다. 에이전트가 정보 밀도가 낮거나 서브태스크가 완료되었을 때를 인식하도록 훈련함으로써, SWE-MeM은 과도한 재탐색을 유발하지 않으면서도 중복된 컨텍스트로부터 오는 방해를 줄입니다. 결과는 Memory-aware GRPO를 통한 메모리 결정과 태스크 해결 성능의 공동 최적화가 제한된 컨텍스트 환경에서 높은 성능을 달성하는 데 필수적임을 시사합니다.