기술 요약: 실험실부터 실세계 응용까지: 리포지토리 수준에서의 에이전트 코드 추론 벤치마킹

문제 제기

대규모 언어 모델 (LLM) 이 자율 소프트웨어 에이전트로 진화함에 따라, 핵심 역량은 고립된 코드 스니펫 내에서의 지역적 실행 추론 수행에서 방대하고 상호 의존적인 파일 시스템 전반에 걸친 논리적 일관성 유지로 이동했습니다. 저자들은 이 능력을**리포지토리 수준 추론 (Repository-Level Reasoning)**으로 정의합니다.

현재 평가 방법들은 치명적인 간극을 겪고 있습니다:

1. 고립된 벤치마크: CRUXEval 및 REval 과 같은 데이터셋은 고립된 스니펫을 사용하는 "실험실 환경"에서 작동하며, 실세계 소프트웨어의 교차 파일 의존성과 복잡한 아키텍처 맥락이 결여되어 있습니다.
2. 블랙박스 평가: SWE-bench 과 같은 프레임워크는 야생 리포지토리 환경에서 에이전트를 평가하지만 블랙박스처럼 기능하여, 에이전트가 실패한 '이유'에 대한 통찰 없이 문제 해결 여부만 확인합니다.

이러한 세밀한 진단의 부재는 에이전트가 실세계 소프트웨어 엔지니어링 작업으로 확장되는 것을 방해하는 구체적인 인지적 병목 현상을 가립니다.

방법론: RepoReason

이러한 간극을 해결하기 위해 저자들은귀납적 단언 검증 (Abductive Assertion Verification)을 중심으로 한 화이트박스 진단 벤치마크인RepoReason을 소개합니다. 구축 파이프라인은 작업이 논리적으로 진실하고, 데이터 오염에 강하며, 피상적이지 않도록 보장하는 5 단계 방어 시스템으로 설계되었습니다.

1. 설계 철학: 의미적 앵커로서의 단언

전통적인 입력/출력 예측이나 원시 추적 쿼리 (정적 분석을 통한 단편 학습 허용) 와 달리, RepoReason 은**유닛 테스트 단언 (unit test assertions)**을 의미적 앵커로 사용합니다.

• 귀납적 추론: 작업은 "복잡한 실행 역사가 주어졌을 때, 현재 시스템 상태는 무엇인가?"로 구성됩니다. 모델은 마스킹된 단언을 만족시키기 위해 결정론적 값을 추론해야 합니다 (예: assert len(cache) == <mask>).
• 분리: 이 접근법은 핵심 논리적 추론을 구문적 노이즈 (예: 포맷팅 오류, API 환각) 와 분리하여, 실패가 진정한 추론 결함을 반영하도록 보장합니다.

2. 실행 기반 변형 프레임워크 (기억 방지)

모델이 사전 학습 데이터 (암기) 나 우연한 상관관계에 의존하는 것을 방지하기 위해, 저자들은실행 기반 변형 (Execution-Driven Mutation) 메커니즘을 구현했습니다:

• 의미 오라클: 코드 실행 환경이 의미 오라클로 작용합니다.
• 변형: 교사 LLM 이 원래 API 호출 시퀀스를 엄격히 보존하여 불변의 추론 복잡성을 유지하면서 통합된 시각적 및 논리적 변형 (변수 이름 변경, 상수 변경, 코드 구조 재편) 을 수행합니다.
• 진실값 재생성: 변형된 코드를 실행하여 실제 런타임 값을 캡처합니다. 이러한 값은 원래 코드베이스의 스타일과 일치하도록 단언을 재구성하는 데 사용됩니다 (예: is 대 == 사용법 보존).
• 검증: 엄격한 게이트가 실행 가능성, 단언 유효성 및 API 보존을 보장합니다.

3. 구조적 필터링 및 결정론적 값 프로토콜

• 추적 기반 필터링: 논리적 피상성을 제거하기 위해 시스템은 sys.settrace()를 사용하여 런타임 추적을 캡처합니다. 가중치 점수 시스템은 계산 강도 (호출 수), 실행 깊이 (스택 깊이), 교차 모듈 의존성을 우선시합니다. 고복잡도 작업 (점수 ≥ 0.30) 만 유지됩니다.
• 결정론적 값 프로토콜: 재현성을 보장하기 위해 프로토콜은 비결정론적 값 (예: 타임스탬프, 무작위 메모리 주소) 을 필터링하고, 마스킹된 값이 구체적인 런타임 상태 (리터럴, 전역 상수, 또는 매개변수 해결 생성자) 를 나타내도록 강제합니다.

4. 인지 진단 프레임워크

이 벤치마크는 동적 프로그램 슬라이싱에서 파생된 세 가지 직교 지표를 사용하여 추론 복잡성을 정량화합니다:

1. 읽기 부하 (ESV - 유효 슬라이스 볼륨): 필요한 인과적 관련 소스 코드 볼륨을 측정합니다. 높은 ESV 는**맥락 과부하 (Context Overload)**를 나타냅니다.
2. 시뮬레이션 깊이 (MCL - 변형 체인 길이): 동적 상태 업데이트 단계 수를 측정합니다. 높은 MCL 은**상태 추적 결핍 (State Tracking Deficits)**을 나타냅니다.
3. 통합 너비 (DFI - 의존성 팬인): 단언 값을 결정하는 독립적인 상류 논리 입력의 수를 측정합니다. 높은 DFI 는**집합 결핍 (Aggregation Deficits)**을 나타냅니다.

실험 결과

저자들은 7 개의 다양한 Python 리포지토리 (~1.2k 에서 776k 줄의 코드에 이르기까지) 에서 프런티어 모델 (Claude-Sonnet-4.5, DeepSeek-v3.1-Terminus, GPT-5.2, Kimi-K2, Qwen3-Coder 포함) 을 평가했습니다.

주요 발견 사항

• 성능 저하: 모든 모델은 작업 난이도가 증가함에 따라 (쉬움 → 어려움) 정확도가 명확하게 감소했습니다.
• 집합 결핍: 가장 중요한 발견은 만연한**집합 결핍 (Aggregation Deficit)**입니다. 통합 너비 (DFI) 가 증가함에 따라 정확도가 급격히 떨어집니다. DFI 가 20 개 이상의 독립적인 상류 소스를 초과할 때, 대부분의 모델 (Claude 제외) 은 40% 미만의 정확도를 기록합니다.
• 절벽 효과:
  • 읽기: 유효 슬라이스 볼륨 (ESV) 이600 줄의 코드를 초과할 때 성능이 급격히 저하됩니다.
  • 시뮬레이션: 100 개 이상의 실행 단계 (MCL) 를 넘어서면 일관성이 크게 손실됩니다.
• 모델별 특성:
  • Claude-Sonnet-4.5는 모든 수준에서 가장 높은 정확도를 유지했으나 다중 소스 통합에서는 여전히 취약성을 보였습니다.
  • DeepSeek-v3.1은 가장 균형 잡힌 아키텍처를 보여주었으며, 높은 DFI 에 대해 예외적인 견고성을 입증했습니다.
  • GPT-5.2는 모든 차원에서 가장 취약했습니다.
• 부분 상관관계: 읽기 부하 (ESV) 와 시뮬레이션 깊이 (MCL) 를 통제한 후에도 DFI 는 정확도와 통계적으로 유의미한 음의 상관관계를 가진 유일한 지표로 남아, 이를 주요 인지적 병목 현상으로 확인했습니다.

기여

이 논문은 네 가지 주요 기여를 주장합니다:

1. 예측에서 귀납적 검증으로: 직접적인 결과 예측에서 마스킹된 단언 검증으로 전환하는 리포지토리 수준 패러다임을 개척하여, 아키텍처 지능을 구문적 노이즈와 분리합니다.
2. 의미 오라클 프레임워크: 실행 기반 변형을 통해 "풍부함 - 오염 딜레마"를 해결하여, 작업이 논리적으로 진실하면서도 암기되지 않도록 보장합니다.
3. 화이트박스 진단 도구: 추론 실패를 구체적인 인지적 병목 현상 (맥락 과부하, 상태 추적, 집합) 에 매핑하는 세밀한 진단 시스템 (ESV, MCL, DFI) 을 도입합니다.
4. 집합 결핍의 실증적 폭로: 대규모 코드베이스 전반에 걸친 에이전트 추론에 대한 최초의 정량적 분석을 제공하여, 차세대 에이전트의 주요 장벽으로**통합 너비 (DFI)**를 규명합니다.

의의 및 한계

의의:
이 논문은 차세대 에이전트 소프트웨어 엔지니어링을 최적화하는 길은 지역적 추론을 넘어설 것을 요구한다고 주장합니다. 연구 결과는 향후 연구가 식별된 집합 결핍을 극복하기 위해광범위한 정보 통합과장기적 상태 일관성을 우선시해야 함을 시사합니다. 화이트박스 진단 접근법은 종단간 통과/실패 지표에 의존하기보다 구체적인 인지적 실패를 pinpoint 하는 로드맵을 제공합니다.

한계:
저자들은 몇 가지 제약 조건을 인정합니다:

• 언어 범위: 현재 Python 으로 제한되어 있으나, 아키텍처는 이식 가능하도록 설계되었습니다.
• 논리적 깊이: 추론 깊이는 원래 리포지토리 테스트 스위트의 복잡성에 부분적으로 제한되지만, 변형 엔진이 이 다양성을 확장합니다.
• 추적 깊이: 신호 대 잡음비를 최적화하고 저수준 인프라 함수를 필터링하기 위해 지표 계산에 최대 호출 깊이 3 을 사용합니다.
• LLM 관여: 변형 및 변수 해결 단계에서 LLM 이 사용되지만, 진실값은 모델 생성이 아닌 구체적인 코드 실행에서 엄격히 파생됩니다.