기술 요약: 에이전트 궤적을 통한 모델 행동 분석

문제 정의

본 논문은 AI 에이전트의 성능이 단순히 모델링의 문제가 아니라, 근본적으로 시스템의 문제라고 주장한다. 대규모 언어 모델(LLM)은 고도의 능력을 갖추고 있지만, 모델과 "하네스(harness)"—도구 호출을 중재하고, 사고-행동-관찰 루프를 관리하며, 실행 결과를 컨텍스트에 다시 전달하는 소프트웨어 계층—사이의 불일치로 인해 실제 환경에서는 그 능력이 제대로 실현되지 못하는 경우가 많다.

저자들은 이러한 불일치를 **의도-실행 간극(intent-execution gap)**으로 공식화한다. 이는 양방향 불일치로, (1) 하네스가 모델의 의도를 실행하지 못하거나(예: 파싱 오류 또는 도구 인터페이스 불일치), (2) 모델이 하네스가 실행한 내용에 대해 부정확한 설명을 받는 경우(예: 출력값 잘림 또는 일반적인 에러 메시지)를 의미한다. 이러한 간극은 에이전트가 잘못된 전제로부터 추론하게 만들어, 기본 모델의 역량이 충분함에도 불구하고 연쇄적인 실패를 초래한다. 저자들은 이 간극을 최소화하는 것이 도구나 실행 루프를 설계하는 것만큼이나 중요하다고 상정하며, 현재의 벤치마크들이 모델의 능력과 하네스의 마찰(friction)을 혼재하여 측정하고 있다고 지적한다.

방법론

Simple Strands Agent (SSA)

의도-실행 간극을 격리하고 최소화하기 위해, 저자들은 오픈 소스이며 커스터마이징이 가능한 하네스인 **Simple Strands Agent (SSA)**를 개발했다. SSA는 작업별 튜닝 대신, 모델 제품군에 따른 좁고 인터페이스 특화적인 조정을 통해 다양한 모델 제품군에 적응할 수 있는 단일화된 통합 프레임워크로 설계되었다.

주요 아키텍처 구성 요소:

• 피드백이 풍부한 도구 경계(Feedback-Rich Tool Boundaries): SSA는 투명한 정보 교환을 보장한다. 셸 호출은 구조화된 피드백(명령어, 상태, 종료 코드, 출력, 에러 텍스트)을 반환한다. 편집(edit) 작업은 인접한 줄에 고정되며, 성공적인 편집은 적용을 확인하기 위해 통합된 diff를 반환한다.
• 추론-도구 균형(Reasoning-Tool Balance): 하네스는 내부의 사고 사슬(chain-of-thought)과 외부 증거 수집 사이의 균형을 맞추기 위해 "추론 유도(reasoning nudges)"를 사용한다. Claude 모델의 경우, 긴 추론 사슬을 끊기 위해 정량적 목표(예: "50회 이상의 도구 호출 수행")를 설정한다. Gemini, Grok 등 다른 제품군의 경우, 과도한 생각이나 빈 도구 호출을 방지하기 위해 유연한 지시어("도구를 최대한 많이 사용하라")를 사용한다.
• 모델별 정렬(Model-Specific Alignment): SSA는 학습 과정에서 학습된 모델의 선호도에 맞춰 도구 인터페이스를 조정한다. 예를 들어, 단일한 도구 인터페이스를 강제하여 성능을 저하시키는 대신, GPT 모델에는 apply_patch를 사용하고 Grok에는 원자적 연산을 분리하여 적용한다.

궤적 분석 프레임워크 (Trajectory Analysis Framework)

이진 방식의 pass/fail 메트릭을 넘어, 저자들은 **텍-레벨 코드 상태 공간(text-level code state space)**에서 에이전트의 행동을 분석하는 프레임워크를 도입한다.

• 솔루션 거리 ($D(t)$): 에이전트의 현재 레포지토리 상태와 검증된 정답 솔루션 집합(오라클 솔루션 공간의 경험적 근사치) 사이의 거리를 측정하는 지표를 정의한다. 이를 통해 매 사이클마다 에이전트가 해결책에 얼마나 근접해 있는지 추적할 수 있다.
• 백트래킹 정량화(Backtracking Quantification): 편집 간의 솔루션 거리 변화($\Delta D$)를 계산함으로써, 에이전트가 솔루션으로부터 멀어지는 "백트래킹(backtracking)" 이벤트($\Delta D > 0$)를 식별한다.
• 행동 시그니처(Behavioral Signatures): LLM 판사(judge)를 사용하여 궤적을 단계(탐색, 국소화, 구현, 검증) 및 도구 호출 카테로리(소스 편집, 스크래치 테스트, 스위트 테스트)로 분류하여 제품군별 문제 해결 패턴을 밝혀낸다.

평가 프로토콜

본 연구는 21개의 모델을 5개의 제품군(Claude, GPT, Gemini, Grok, Qwen)에 대해 3개의 벤치마크(SWE-Bench-Verified, SWE-Bench-Pro, Terminal-Bench-2)로 평가한다. 저자들은 약 138,000개의 궤적을 생성한다. 결정적으로, 공용 SWE-Bench-Pro 컨테이너에서 에이전트가 미래의 커밋에 접근할 수 있는 git-history 누출(leakage) 여부를 감사하고, 이 히스토리가 제거된 "Sanitized" 컨테이너와 결과를 비교한다.

주요 기여

1. SSA 하네스: Simple Strands Agent를 도입하여, 단일하고 최소한으로 조정된 하네스를 통해 21개 모델 및 5개 제품군에 대해 공식 벤치마크 수치와 일치하거나 이를 상회하는 성능을 재현함으로써, 작업별 튜닝 없이도 높은 성능 달성이 가능함을 입증했다.
2. 솔루션-거리 지표: 궤적의 품질과 검증된 솔루션까지의 거리를 추적하는 텍스트 레벨 코드 상태 공간 지표를 정의하여, 이진 pass@1 점수를 넘어선 분석을 가능하게 했다.
3. 궤적 수준 분석: 모델들의 pass@1 점수가 구별 불가능할 때도 이들을 차별화하는 안정적인 제품군별 행동 시그니처(예: 편집/테스트 비율, 단계 스케줄, 백트래킹 비율)를 식별했다.
4. 평가 무결성 감사: 공용 SWE-Bench-Pro 컨테이너 내의 git-history 누출 채널을 정량화하여, 특정 모델의 pass@1을 최대 6.9%까지 부풀릴 수 있음을 보여주고, 더 공정한 비교를 위한 "Sanitized" 기준점을 제공했다.

실험 결과

• 성능: SSA는 세 가지 벤치마크 모두에서 공식 모델 카드 수치와 일치하거나 이를 상회하는 pass@1 점수를 달성했다. 예를 들어, SWE-Bench-Verified에서 Opus 4.6과 Gemini 3.1 Pro는 각각 80.80%의 pass@1을 기록했고, GPT-5.4는 80.16%에 도달했다.
• 발산하는 행동(Divergent Behaviors): 유사한 pass@1 점수에도 불구하고, 모델들은 근본적으로 다른 궤적을 보인다.
  • 백트래킹: 해결률(solve rate)과 백트래킹 사이의 디커플링이 관찰된다. Gemini 3.1 Pro는 가장 높은 백트래킹 비율(14.3%)을 기록했음에도 가장 높은 해결률과 동률을 기록한 반면, GPT-5.4는 가장 낮은 백트래킹 비율(1.2%)을 기록하면서도 유사한 해결률을 보였다.
  • 단계 스케줄: 모델들은 노력의 배분 방식이 다르다. Opus 4.6은 초기에 상당한 스크래치 테스트를 수행하고 중간에 편집이 정점에 달하는 반면, GPT-5.4는 스크래치 테스트를 점진적으로 늘리며 구현/검증 단계에서 더 많은 시간을 보낸다.
  • 도구 사용: GPT 모델은 스크립트 작성과 실행을 하나의 호출로 묶는 경향이 있는 반면, Claude와 Qwen 모델은 스크립트 작성과 실행을 분리하는 경우가 많다.
• 누출 영향: SWE-Bench-Pro에서 미래의 git history를 제거(Sanitized)했을 때 여러 모델의 pass@1이 감소했다. Opus 4.6은 6.87%(57.45%에서 50.58%로) 하락했고, GPT-5.4는 3.32% 하락했다. 이는 공용 벤치마크가 환경적 누출로 인해 모델의 능력을 과대평가할 수 있음을 확인시켜 준다.

의의 및 주장

본 논문은 기록된 모델 역량과 실제로 실현된 에이전트 성능 사이의 간극이 근본적인 단순 ReAct 기반 단일 에이전트 설계의 한계라기보다, 주로 하네스 마찰(harness friction) 때문이라고 주장한다. 양방향 의도-실행 간극을 최소화함으로써, 잘 설계된 하네스는 다양한 모델 제품군의 잠재력을 온전히 끌어낼 수 있다.

나아가 저자들은 모델들이 최상위 벤치마크 성능에서 수렴함에 따라, pass@1은 더 이상 차별화 요소가 될 수 없다고 주장한다. 대신, 모델이 문제를 어떻게 해결하는지, 그 안정성과 코드 상태 공간에서의 효율성은 어떠한지를 나타내는 *궤적(trajectory)*을 이해하는 것이 모델-하네스 공동 설계의 핵심 지표가 된다. 이 연구는 효과적인 에이전트를 위해 강력한 모델뿐만 아니라, 각 모델 제품의 학습된 행동과 선호도에 부합하는 인터페이스가 필요함을 강조한다.

저자들은 에이전트 설계의 목표가 모든 모델에게 동일한 크기의 도구 표면을 강요하는 것이 아니라, 실행 불변량(execution invariants)은 고정하되 각 모델 제품군이 "학습된 상태 그대로"를 만날 수 있도록 인터페이스를 적응시키는 것이라고 결론짓는다.