기술 요약: 다중 기준 잠재적 추론을 통한 코딩 에이전트의 컨텍스트 가지치기

문제 제기

LLM 기반 코딩 에이전트 (예: SWE-agent, OpenHands) 는 치명적인 '컨텍스트 벽'에 직면해 있습니다. 최첨단 프레임워크가 복잡한 리포지토리 수준 작업을 자동화하지만, 에이전트는 토큰 예산의 약 67~76% 를 단순히 파일을 읽는 데 소비합니다. 이러한 컨텍스트 과부하는 막대한 API 비용을 초래할 뿐만 아니라 '주의 분산'과 '중간 소실 (lost-in-the-middle)' 현상을 유발하여, 관련 없는 코드 세그먼트가 추론 정밀도를 저하시킵니다.

기존의 학습된 가지치기 방법 (예: SWE-Pruner) 은 컨텍스트 축소를 단일 목적의 조건부 무작위 필드 (CRF) 를 사용한 구조화된 시퀀스 레이블링 작업으로 정의합니다. 그러나 이러한 형식은 모델링 병목 현상을 초래합니다. 즉, 연속적인 의미적 범위와 임포트나 제어 흐름 쌍과 같은 희소 구조적 지원 행과 같은 코드 관련성의 모든 측면을 단일 전이 행렬로 모델링하려 시도합니다. 결과적으로 모델은 밀집된 의미적 블록으로 편향되어, 의미 점수는 낮지만 구문적 유효성과 에이전트 추론에 필수적인 임포트, 클래스 헤더, try/except 블록과 같은 구조적으로 필요한 행들을 자주 폐기합니다. 이는 구문 오류, 에이전트의 반복적 재시도, 그리고 결국 가지치기되지 않은 베이스라인보다 더 높은 토큰 소비로 이어집니다.

방법론: LaMR (잠재적 다중 기준)

저자들은 코드 관련성을 해석 가능한 품질 차원으로 분해하고, 전용 CRF 헤드로 모델링한 후 쿼리 적응형 게이트 네트워크를 통해 융합하는 구조화된 가지치기 프레임워크인 LaMR을 제안합니다.

1. 잠재적 다중 기준 공식화

단일 관련성 점수 대신, LaMR 은 유지 사유를 $K$개의 잠재적 기준 (rubrics) 으로 분해합니다. 실제로 저자들은 두 가지 차원을 사용합니다:

• 의미적 증거: 쿼리와 직접적으로 관련된 행 (주제적 관련성).
• 의존성 지원: 증거를 해석하는 데 구조적으로 필요한 행 (임포트, 범위 헤더, try/except와 같은 제어 흐름 형제).

각 차원 $k$는 자체 학습 가능한 전이 행렬 $T^{(k)}$을 가진 전용 CRF 헤드로 모델링됩니다. 이를 통해 모델은 고유한 시퀀스 역학을 학습할 수 있습니다: 의미적 관련성은 긴 연속 블록 (높은 자기 전이) 을 선호하는 반면, 의존성 지원은 빈번한 교번 (산재된 행과 쌍을 이루는 구조) 을 허용합니다.

2. 쿼리 적응형 게이트

경량 혼합 전문가 (MoE) 게이트 네트워크가 에이전트의 쿼리에 기반하여 기준별 방출을 동적으로 가중치합니다. 각 토큰 $t$에 대해 게이트는 가중치 $g_t \in \Delta^{K-1}$를 생성하며, 융합된 방출은 다음과 같이 계산됩니다:
$$e^{fused}_t = \sum_{k=1}^K g_{t,k} E_{t,k}$$
이를 통해 모델은 특정 작업 의도에 따라 의미적 신호와 구조적 신호 간에 초점을 전환할 수 있습니다.

3. 기준 안내 레이블링 (AST 기반 노이즈 제거)

추가적인 인간 주석 없이 이러한 차원을 감독하기 위해, 저자들은 기준 안내 레이블링을 도입합니다. 기존 이진 유지/가지치기 마스크 (SWE-Pruner 의 학습 코퍼스에서 온 교사 LLM) 와 정적 프로그램 분석 (AST) 을 사용하여 세분화된 기준 레이블을 도출합니다:

• 의미적 레이블: 교사의 문서 수준 관련성 점수를 유지된 행에 직접 매핑합니다.
• 의존성 레이블: AST 간선을 통해 유지된 행에서 해당 구조적 의존성 (임포트, 정의, 포함 헤더, 제어 흐름 형제) 으로 점수를 전파합니다.
  이 과정은 교사의 레이블을 효과적으로 '노이즈 제거'하여, 낮은 의미 점수로 인해 교사가 가지치기했을 수 있는 구조적으로 필요한 행들을 복원합니다.

4. 아키텍처 및 추론

• 백본: 다층 특징 융합 (초기, 중간, 최종 레이어의 숨겨진 상태 연결) 을 갖춘 0.6B 파라미터 리랭커 (Qwen3-Reranker).
• 학습: 모델은 융합된 방출에 대한 주요 CRF 손실과 기준별 CRF 손실의 가중 합으로 학습됩니다.
• 추론: LaMR 은 경량 미들웨어로 작동합니다. 코드 청크를 처리하고, 융합된 방출에 대해 비터비 (Viterbi) 디코딩을 수행하여 이진 유지/가지치기 결정을 생성한 후, 최종 AST 인식 후처리 패스를 적용합니다. 이 패스는 구문적 유효성을 보장하기 위해 누락된 범위 헤더, 임포트, 제어 흐름 동반자를 재삽입하여 가지치기된 코드를 복구합니다.

주요 기여

1. 잠재적 다중 기준 공식화: 의미 및 의존성 차원에 대한 별도 CRF 헤드를 통해 코드 관련성을 모델링함으로써 단일 목적 가지치기에서의 전이 충돌을 식별하고 해결합니다.
2. 쿼리 적응형 게이트: 에이전트의 쿼리에 기반하여 의미 및 구조적 신호를 동적으로 균형 잡는 MoE 게이트 네트워크를 도입합니다.
3. AST 기반 레이블 노이즈 제거: 이진 마스크에서 다차원 레이블을 추출하여 추가 주석 없이 교사 데이터의 누락된 구조적 토큰을 수정하는 비용 제로 파이프라인을 개발합니다.
4. 우수한 효율성 - 성능 트레이드오프: 자기 완결적 증거 - 지원 단위 (작업 관련 행 + 구조적 컨텍스트) 를 유지함으로써 가지치기된 컨텍스트가 전체 컨텍스트 베이스라인과 일치하거나 능가하면서도 토큰 사용을 크게 줄일 수 있음을 입증합니다.

실험 결과

저자들은 두 개의 백본 모델 (Claude Sonnet 4.5 및 Opus 4.6) 을 사용하여 네 가지 벤치마크 (SWE-Bench Verified, SWE-QA, LCC, LongCodeQA) 에서 LaMR 을 평가했습니다.

• 멀티턴 작업 (SWE-Bench, SWE-QA):

  • LaMR 은 단일 목적 SWE-Pruner 에 대한 16 개 중 12 개의 정면 비교에서 승리합니다.
  • 멀티턴 작업에서 가지치기되지 않은 베이스라인에 비해 최대 31% 더 많은 토큰을 절약합니다.
  • 중요한 점은 SWE-Pruner 는 때때로 구조적 실패로 인한 재시도로 인해 더 강력한 모델과 함께 토큰 사용량을 증가시키는 반면, LaMR 은 오버헤드를 지속적으로 줄이거나 제한한다는 것입니다.
  • 성능 저하는 미미합니다 (예: 성공률에서 0.6 퍼센트 포인트 이하) 반면, 효율성 향상은 상당합니다.

• 싱글턴 작업 (LCC, LongCodeQA):

  • LaMR 은 모든 압축 제약 조건 (4 배 및 8 배) 에서 작업 품질 지표 (정확 일치, 편집 유사도, 정확도) 를 향상시킵니다.
  • 주목할 만한 성과로는 8 배 압축 시 LCC 에서 +3.5 정확 일치 및 4 배 압축 시 LongCodeQA 에서 +1.80 정확도 향상이 있습니다.
  • 토큰 수준 베이스라인 (LLMLingua-2, Selective-Context) 은 고압축 시 급격히 저하되는 반면, LaMR 은 행 수준 세분화와 구조적 유지를 통해 안정성을 유지합니다.

• 절대 연구:

  • 의존성 기준이나 AST 인식 복구를 제거하면 성능이 크게 저하되어, 구조적 지원이 의미적 관련성과 구별되며 상호 보완적임을 확인시켜 줍니다.
  • LaMR 의 세분화된 가지치기와 결합된 거친 검색 (예: LongCodeZip) 이 최상의 결과를 산출하는 반면, 여러 행 압축기를 쌓는 것은 성능을 해칩니다.

중요성 및 주장

이 논문은 LaMR 이 '토큰 삭제'에서 '자기 완결적 증거 - 지원 단위 유지'로의 전환을 나타낸다고 주장합니다. 의미적 증거와 의존성 지원을 명시적으로 분리함으로써, 이 프레임워크는 코드 관련성의 내재적 긴장 관계를 해결합니다: 한 행은 의미적으로는 관련이 없더라도 구조적으로는 결정적일 수 있습니다.

저자들은 LaMR 이 기존 방법들보다 컨텍스트 압축과 하류 작업 품질 간에 엄격히 더 나은 트레이드오프를 제공한다고 주장합니다. 이는 복잡한 추론에 필요한 구조적 무결성을 희생하지 않으면서 코딩 에이전트가 더 효율적으로 작동할 수 있게 하며, 성공적인 작업 완화에 필요한 '신호'를 유지하면서 방해가 되는 노이즈를 효과적으로 필터링합니다. 이 연구는 에이전트의 향후 컨텍스트 관리는 단일 스칼라 관련성 점수를 넘어 코드 의존성에 대한 구조화된 다차원 추론으로 나아가야 함을 시사합니다.