기술 요약: SWE-Together

문제 정의

SWE-Bench 제품군이나 Terminal-Bench와 같은 현재의 코딩 에이전트 벤치마크는 주로 정적이고 단발적인(single-turn) 프로토콜에 의존합니다. 이러한 설정에서 에이전트는 처음에 완전한 작업 설명을 전달받으며, 최종 코드 제출의 정확성만을 기준으로 평가됩니다. 이러한 방식은 소프트웨어 엔지니어링 지원의 본질인 상호작용적이고 다회차적인(multi-turn) 특성을 반영하지 못합니다. 실제 워크플로우에서 사용자는 여러 차례의 턴을 거치며 의도를 점진적으로 드러내고, 모호한 요청을 명확히 하며, 요구사항을 정제하고, 교정 피드백을 제공합니다.

기존 벤치마크는 실제 관행과 두 가지 주요한 불일치를 보입니다:

1. 작업 설계: 이들은 작업을 고정된 지시사항으로 취급하며, 실제 작업 관련 정보가 여러 턴에 걸쳐 분산되어 있고 초기 요청이 빈번하게 불완전하다는 사실을 간과합니다.
2. 평가 지표: 이들은 최종 작업 성공 여부에만 집중하여, **상호작용 비용(interaction cost)**을 포착하지 못합니다. 두 에이전트가 동일한 최종 점수를 달성할 수 있지만, 한 에이전트는 대략적인 요청만으로 성공하는 반면 다른 에이전트는 광범위하고 상세한 명세와 반복적인 교정 피드백을 필요로 할 수 있습니다.

나아가, 현실적인 사용자 상호작용을 유지하면서 검증 가능성을 보장하는 벤치마크를 구축하는 것은 매우 어렵습니다. 가공되지 않은 대화 로그는 재현 가능한 저장소 상태, 식별 가능한 목표 또는 관찰 가능한 결과가 결여된 경우가 많습니다. 또한, 단순히 원래의 사용자 턴을 새로운 에이전트에게 다시 재생하는 것은, 상호작용 드리프트(interaction drift)를 방지하기 위해 후속 사용자 턴이 새로운 에이전트의 궤적에 따라 조건화되어야 함에도 불구하고 원래 사용자의 의도에 고정되어 있어야 한다는 점에서 결함이 있습니다.

방법론

이러한 과제를 해결하기 위해 저자들은 실제 사용자-에이전트 코딩 세션에서 재구성된 109개의 저장소 수준 작업을 포함하는 SWE-Together를 소개합니다. 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

1. 세션-투-태스크(Session-to-Task) 구축 파이프라인

저자들은 DataClaw, Pi-staging, Hyperswitch, SWE-chat의 네 가지 상위 데이터셋에서 추출한 11,260개의 기록된 세션으로부터 109개의 작업을 큐레이션했습니다. 구축 파이프라인은 세 단계로 진행됩니다:

• 결정론적 적격성 필터링: 실제 다회차 상호작용, 구체적인 코드 편집, 복구 가능한 저장소 컨텍스트를 가진 세션만을 남기도록 원본 세션을 필터링합니다. 에이전트가 실질적인 작업을 수행했음을 보장하기 위해 인간 사용자가 최종 변경 사항을 작성한 세션은 제외합니다.
• 생존 가능성 스크리닝: LLM 판독기가 후보들을 검토하여 코딩 작업이 독립적이고 로컬에서 실행 가능한 작업으로 재구성될 수 있는지 확인합니다. 외부 상태(예: 라이브 서비스 배포, 개인 자격 증명)에 의존하는 세션은 거부됩니다.
• 태스크 구축: 샌드박스 오케스트레이터가 생존 가능한 세션을 실행 가능한 벤치마크 패키지로 변환합니다. 여기에는 고정된 커밋 시점의 저장소 복구, 결정론적 검증 Artifact 정의, 그리고 작업별 사용자 시뮬레이션 프롬프트 생성이 포함됩니다.

2. 앵커링된 상태 조건부 사용자 시뮬레이터(Anchored, State-Conditional User Simulator)

새로운 에이전트에게 상호작용을 재현하기 위해, 저자들은 반응형 LLM 기반 사용자 시뮬레이터를 개발했습니다. 정적인 재생 방식과 달리, 이 시뮬레이터는 다음과 같은 특징을 갖습니다:

• 궤적에 따른 조건화: 에이전트의 최신 턴, 저장소 변경 사항, 경과 시간을 관찰합니다.
• 원래 의도에 고정: 원래 세션에 대한 사전 계산된 분석(목표, 제약 조건, 개입 조건)을 사용하여 시뮬레이션이 원래 사용자의 목표에 충실하도록 합니다.
• 상태 조건부 결정 정책: 시뮬레이터는 에이전트의 현재 궤적이 원래 세션의 로직에 따라 피드백을 줄 만한 상황인지에 따라 개입(메시지 전송)할지 또는 침묵(no-op)할지를 결정합니다. 이는 성급하거나 부적절한 개입을 방지합니다.

3. 공동 평가 프로토콜

평가는 두 가지 뚜렷한 차원을 측정합니다:

• 작업 정확성: 최종 저장소 상태를 **구현에 무관한 고정된 루브릭(implementation-agnostic rubric)**에 대해 점수를 매깁니다. 이 루브릭은 1단계(오프라인)에서 원래 세션 및 참조 패치로부터 도출되며, 2단계에서 후보 저장소들에 적용됩니다. 점수 산정은 결정론적인 실행 가능 체크와 에이전트 기반 루브릭 판독기를 결합하여 코드 유사성이 아닌 행동적 완결성을 평가합니다.
• 상호작용 진단:
  • 사용자 교정(User Correction): 에이전트에 의해 유도된 교정적 조향(corrective steering)을 정량화합니다. 시뮬레이터가 제공한 명시적 교정과 가중치가 부여된 "넛지(nudge, 부드러운 피드백)"를 카운트합니다.
  • 의도 커버리지(Intent Coverage): 서로 다른 에이전트 실행 전반에 걸쳐 시뮬레이터가 원래 사용자의 의도와 범위를 얼마나 충실히 보존하는지 측정하는 진단 지표입니다.

주요 기여

1. SWE-Together 벤치마크: 실제 다회차 사용자-에이전트 세션에서 재구성되었으며, 기록된 세션을 검증 가능한 샌드박스 작업으로 변환하는 파이프라인을 특징으로 하는 109개 작업 벤치마크입니다.
2. 상태 조건부 사용자 시뮬레이터: 원래 사용자의 의도와 개입 순서를 보존하면서, 평가되는 각 에이전트의 특정 궤적에 따라 피드백 타이밍을 조정하는 앵커링된 LLM 시뮬레이터입니다.
3. 공동 평가 프로토콜: 고정된 루브릭에 대해 최종 저장소 정확성을 점수화하는 동시에, 사용자 교정 및 의도 커버리지를 통해 상호작용 궤적을 특징짓는 프레임워크로, 단순한 pass/fail 지표를 넘어섭니다.

결과

저자들은 opencode 하네스를 사용하여 109개 태스크 벤치마크에 대해 7개의 프런티어 코딩 모델을 평가하였으며, 각 태스크당 2회의 반복 실험을 수행했습니다.

• 성능 순위: Claude Opus 4.8이 모든 지표에서 가장 높은 성능(pass@1: 63%, Stable Solve Rate: 59%, Mean Judge Score: 0.801)을 달성했습니다. GPT-5.5가 두 번째(Mean Judge: 0.763)를 차지했으며, 그 뒤를 Claude Opus 4.6이 이었습니다. 가장 낮은 성능을 보인 모델은 DeepSeek-V4-Pro와 MiniMax-2.7이었습니다.
• 역량 vs 개입: 모델의 역량과 사용자 교정 사이에는 강한 음의 상관관계가 관찰되었습니다 (pass@1과의 피어슨 상관계수 -0.92). 강력한 모델일수록 유사한 성능 수준에 도달하기 위해 훨씬 적은 교정 개입을 필요로 했습니다 (예: Claude Opus 4.8은 평균 1.38회의 교정이 필요했던 반면, MiniMax-2.7은 2.17회가 필요했습니다).
• 효율성: GPT-5.5는 높은 역량을 유지하면서도 태스크당 가장 적은 토큰(29.9k)과 실제 시간(10.7분)을 사용하여 가장 효율적이었습니다.
• 시뮬레이터 충실도: 의도 커버리지는 모든 모델 코호트에서 안정적으로 유지되었습니다 (점수 0.70–0.72 사이). 이는 에이전트의 행동과 관계없이 시뮬레이터가 원래의 의도를 일관되게 보존했음을 나타냅니다.
• 인간 구별 불가능성: 튜링 테스트 스타일의 테스트에서, 인간 주석가들은 시뮬레이션된 궤적과 실제 사용자 궤적을 통계적으로 구분할 수 없었습니다 (통과율 46%, 신뢰 구간에 50% 포함).

의의 및 주장

본 논문은 SWE-Together가 코딩 에이전트 평가를 단발성 작업에서 재생 가능한 다회차 세션으로 재정의하며, 사용자 경험에 대한 더 현실적인 평가를 제공한다고 주장합니다.

• 최종 정확성을 넘어: 결과는 에이전트를 최종 코드만으로 평가하는 것이 불충분함을 시사합니다. 얼마나 많은 교정적 조향이 필요한가는 역량과 사용자 경험을 나타내는 중요한 지표입니다.
• 현실적인 상호작용: 실제 세션에서 도출된 작업과 상태 조건부 시뮬레이터를 사용함으로써, 요구사항이 진화하는 소프트웨어 엔지니어링의 역동적인 특성을 포착합니다.
• 신뢰할 수 있는 비교: 의도 커버리지의 안정성과 시뮬레이션된 궤적의 인간 구별 불가능성은 서로 다른 모델 코호트 간에 공정하고 비교 가능한 평가를 제공하는 벤치마크의 능력을 입증합니다.

저자들은 결론적으로, SWE-Together가 코딩 에이전트를 평가할 때 단순히 작업을 완수하는지뿐만 아니라, 완수하기 위해 얼마나 많은 인간의 가이드가 필요한지를 평가하는 것이 중요함을 보여주며, 이를 통해 벤치마크 지표를 실제 사용자 워크플로우에 더 밀접하게 정렬시킨다고 밝힙니다.