기술 요약: SWE-INTERACT

문제 정의

현재의 최첨단 소프트웨어 엔지니어링(SWE) 벤치마크는 주로 단일 턴(single-turn), 자율적 구현 작업에 코딩 에이전트를 평가하는 데 집중하고 있습니다. 이러한 환경에서 에이전트는 사전에 완벽하게 명시된 요구사항을 전달받으며, 독립적으로 솔루션을 실행하는 능력을 평가받습니다. 그러나 실제 개발자-에이전트 상호작용(예: SWE-chat)에 대한 대규모 연구는 현실과 극명한 대조를 이룹니다. 실제 워크플로우는 결코 한 번에 끝나지 않습니다. 대신, 사용자가 모호하거나 불완전한 초기 지침을 제공하고, 에이전트의 작업 공간을 검사하며, 타겟팅된 피드백과 수정을 통해 점진적으로 요구사항을 드러내는 반복적인 멀티 턴(multi-turn) 루프를 포함합니다.

에이전트가 포함된 상호작용을 시뮬레이션하려는 기존 벤치마크들은 상세한 프롬프트로 시작하거나, 코드를 검사하거나 명령을 실행할 수 없는 정적인 비에이전트형 "사용자"를 사용하여 문제를 단순화하는 경-향이 있습니다. 이는 벤치마크 성능과 **상호작용적 목표 발견(interactive goal discovery)**이라는 현실 사이의 간극을 만듭니다. 여기서 에이전트는 초기 단계에 완전한 명세 없이 의도를 추론하고, 진화하는 제약 조건에 적응하며, 자신의 이전 작업물을 스스로 정제해야 합니다.

방법론: SWE-INTERACT

저자들은 SWE 벤치를 사용자 주도의 장기적 코딩 세션으로 재정의하기 위해 설계된 새로운 테스트베드인 SWE-INTERACT를 소개합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어집니다.

1. 태스크 적응 (Task Adaptation)

저자들은 기존의 세 가지 최첨단 벤치마크(SWE-bench Pro, SWE Atlas, DeepSWE)에서 75개의 태스크를 가져와 적응시켰습니다. 이 태스크들은 원래 상세한 명세가 포함된 단일 턴 태스크였습니다. 이를 상세 요구사항을 제거하고 고수준의 모호한 설명만 남김으로써 멀티 턴 태스크로 변환했습니다.

2. 사용자 시뮬레이터 (The User Simulator)

핵심적인 혁신은 실제 코딩 세션(SWE-chat) 데이터에 기반한 페르소나 조건부 사용자 시뮬레이터입니다.

• 페르소나: 짧고 직접적이며 반복적인 소통을 특징으로 하는 "전문가적 까다로운 사용자(Expert Nitpicker)" 페르소나를 모델링했습니다. 이 사용자는 코드를 작성하지 않지만, 구현을 비판하고, 특정 API 세부 사항을 묻고, 요구사항을 하나씩 드러냅니다.
• 에이전트 역량: 이전의 정적 시뮬레이터와 달리, 이 사용자 에이전트는 에이전트의 작업 공간에 대한 셸 액세스(shell access) 권한을 가집니다. 사용자는 명령(예: git, grep, sed)을 실행하여 디프(diff)를 검사하고, 코드베이스를 검색하며, 에이전트에게 피드백을 주기 전에 작업을 검증할 수 있습니다.
• 상호작용 흐름: 워크플로우는 목표 발견(GOAL-DISCOVERY) → 계획(PLAN) → 승인(APPROVAL) → 구현(IMPLEMENT) → 수정(REVISE) → 제출(SUBMIT) 루프를 따릅니다. 사용자는 모호한 요청으로 시작하여, 에이전트의 계획을 검토하고, 작업 공간을 검사하며, 전체 태스크가 인계될 때까지 잠재된 요구사항을 점진적으로 표면화합니다.

3. 평가 프레임-워크 (Evaluation Framework)

태스크는 컨테이너화된 샌드박스 내의 Harbor 프레임워크에서 실행됩니다.

• 검증: 성공 여부는 사용자 시뮬레이터의 승인이 아니라, 원래 태스크의 검증기(단위 테스트 및 루브릭)에 의해 결정됩니다. 이는 상호작용의 난이도와 구현의 난이도를 분리합니다.
• 지표: 연구에서는 해결률(resolve rates), 상호작용 단계, 토큰 사용량, 비용, 그리고 특정 실패 모드(예: 누락된 요구사항, 기술적 버그)를 추적합니다.

주요 기여

1. 새로운 테스트베드: 정적인 벤치마크를 동적이고 사용자 주도적인 워크플로우로 전환하는 하네스를 갖춘 75개의 멀티 턴 태스크 세트.
2. 에이전트형 사용자 시뮬레이터: 정적인 API 호출을 넘어, 작업 공간 검사와 반복적 비판을 포함한 실제 개발자 행동을 모방하는 현실적인 사용자 에이전트를 생성하는 프레임워크.
3. 포괄적 분석: 궤적 분석, 목표 발견 점수, 실패 모드 분류를 포함하여 멀티 턴 설정에서의 에이전트 역량에 대한 상세한 분석.

실험 결과

저자들은 여러 최첨단 모델(GPT 5.5, Opus 4.8, Kimi K2.6, Gemini 3.5 Flash, Sonnet 4.6)을 단일 턴 베이스라인과 새로운 멀티 턴 SWE-INTERACT 태스크 모두에서 평가했습니다.

성능 격차

• 해결률: 강력한 단일 턴 성능이 멀티 턴 설정으로 반드시 전이되지는 않습니다. 상위 모델들이 단일 턴 베이스라인에서 약 **50%**의 해결률을 달성한 반면, 멀티 턴 설정에서는 약 **25~27%**로 떨어졌습니다.
• 자원 소비: 멀티 턴 태스크는 훨씬 더 많은 자원을 필요로 했습니다. 에이전트는 단일 턴 베이스라인에 비해 3~4배 더 많은 단계를 거쳤고, 2~4배 더 많은 토큰을 사용했으며, 시도당 2~3.5배 높은 비용이 발생했습니다.
• 모델 편차:
  • 상위 수행 모델: GPT 5.5와 Opus 4.8은 모호한 지침에도 불구하고 초기에 강세를 보였으며, 모호함을 견뎌내고 요구사항을 잘 통합했으나, 여전히 기술적 버그와 누락된 요구사항 문제를 겪었습니다.
  • 하위 수행 모델: Kimi K2.6 및 Sonnet 4.6과 같은 모델은 모호함 속에서 크게 고전하며, 조기에 포기하거나, 지침을 무시하거나, 코드를 효과적으로 정제하는 데 실패하는 모습을 보였습니다.

목표 발견 vs 구현

• 계획: 강력한 모델(예: GPT 5.5)은 초기 계획 단계에서 높은 비율(>80%)의 잠재적 목표를 식별했습니다.
• 구현 저하: 계획에서 첫 번째 구현 체크포인트로 넘어갈 때, 기술적 오류나 명세 누락으로 인해 목표 달성 범위가 크게 감소했습니다.
• 회복: 대부분의 모델은 사용자가 누락된 요구사항을 드러냄에 따라 이후 턴에서 목표 달성 범위를 회복했지만, 최종 구현은 기술적 버그나 회귀(regression)로 인해 여전히 검증기를 통과하지 못하는 경우가 많았습니다.

실패 모드

287개의 실패한 궤적을 감사한 결과 주요 원인은 다음과 같았습니다.

• 기술적 구현 버그 (~34%): 에이전트가 요구사항은 이해했으나 코드 오류를 유발함.
• 누락된 요구사항 (~34%): 에이전트가 이전 턴에서 도입된 요구사항을 구현하지 못함.
• 오해/잘못된 가정 (~14%): 에이전트가 요구사항을 오해하거나 명확히 확인하지 않고 잘못된 가정을 함.
• 사용자 요구사항 누락 (~12%): 시뮬레이터가 필요한 요구사항을 표면화하지 못한 경우(벤치마크의 위음성 사례).

절제 연구 (Ablation Studies)

• 페르소나의 영향: "전문가적 까다로운 사용자" 페르소나를 사용했을 때(중립적 베이스라인 대비) 태스크가 더 어려워지고 길어졌으며, 상호작용 단계가 305 \ 50% 증가하고 대부분의 모델에서 해결률이 감소했습니다. 이는 이상적인 상호작용과 현실적인 상호작용 사이의 간극을 보여줍니다.
• 시뮬레이터 모델: 사용자 시뮬레이터 모델(GPT 5.5 vs Opus 4.7)의 선택은 현실성에 큰 영향을 미쳤습니다. GPT 5.5는 더 엄격한 비평가 역할을 수행하여, 더 많은 턴에 걸쳐 요구사항을 드러내고 작업 공간을 더 깊게 검사함으로써, 더 긴 궤적을 유발했지만 결과적으로 에이전트의 최종 성능을 향상시켰습니다.

의의 및 주장

본 논문은 SWE-INTERACT가 최첨단 모델 개발의 직교하는 역량 축인 '사용자 루프 내에서의 상호작용적 목표 발견 및 반복적 정제'를 측정한다고 주장합니다.

저자들은 사용자와 효과적으로 협업하는 것이 단순히 자율적 코딩의 연장선이 아니라 별개의 기술 집합이라고 주장합니다. 결과는 최첨단 모델들이 모호함 속에서도 끈기 있게 버티고 리뷰를 통해 대부분의 의도된 목표를 회복할 수 있음에도 불구하고, 피드백이 누적됨에 따라 올바른 구현을 유지하는 데는 여전히 어려움을 겪고 있음을 시사합니다. 이 논문은 SWE-INTERACT를 이 특정 역량을 연구하기 위한 더 날카로운 도구로 위치시키며, 보다 현실적인 소프트웨어 엔지니어링 워크플로우에서 더 신뢰성 있게 협업할 수 있는 코딩 에이전트 개발을 가이드하는 것을 목표로 합니다.