기술 요약: Dialogue-SWEBench

문제 정의

SWE-Bench와 같은 현재의 코딩 에이전트 벤치마크는 에이전트가 시작 시점에 완전하고 정확한 문제 명세(specification)를 받는 완전 자율 설정에서 시스템을 평가합니다. 이러한 접근 방식은 사용자가 에이전트의 출력물을 수정, 거부 또는 명확화하기 위해 대화에 참여하는 실제 소프트웨어 엔지니어링의 상호작적인 특성을 포착하지 못합니다. 연구에 따르면 사용자는 44%의 확률로 에이전트의 출력을 수정하지만, 에이전트는 명확화를 요청하는 경우가 드뭅니다(1-2%). 또한, 기존 벤치마크는 종종 완벽한 명세가 가용하다고 가정하지만, 현실 세계의 문제는 빈번하게 정보가 부족하거나 모호합니다. 결과적으로, 현재의 평가 지표와 대화 기반의 상호작용형 코딩 에이전트에 필요한 실제 역량 사이에는 상당한 격차가 존재합니다.

방법론

Dialogue-SWEBench 벤치마크

저자들은 사용자와의 대화를 통해 실제 소프트웨어 엔지니어링(SWE) 문제를 해결하는 능력을 평가하도록 설계된 벤치마크인 Dialogue-SWEBench를 소개합니다. 이 벤치마크는 SWE-Bench Verified의 태스크들을 재구성하여 구축되었습니다:

• 입력 변환: 전체 이슈 텍스트를 정적인 명세로 제공하는 대신, 태스크는 의도는 반영하되 해결에 필요한 핵심 세부 사항은 누락된 고정된 초기 사용자 쿼리($u_1$)로 시작됩니다.
• 상호작용 루프: 에이전트는 표준 코딩 작업(파일 편집, 테스트 실행)과 새로운 message_user 액션을 수행할 수 있는 환경에서 작동합니다. 이 액션을 통해 에이전트는 사용자에게 질문을 던질 수 있으며, 관찰값으로서 시뮬레이션된 응답을 받습니다.
• 종료: 에이전트가 git 패치를 제출하는 finish 액션을 발행하면 루프가 종료됩니다. 성공 여부는 해당 패치가 관련 실행 테스트를 모두 통과하는지에 따라 결정됩니다.

사용자 시뮬레이터 (User Simulator)

충실하고 재현 가능한 평가를 보장하기 위해, 저자들은 양자화된 LLaMa 3.3 70B 모델을 사용하여 페르소나 기반 사용자 시뮬레이터를 설계했습니다.

• 지식 근거 (Knowledge Grounding): 시뮬레이터는 전체 원본 GitHub 이슈 텍스트($I_{text}$)를 조건으로 하지만, 코드 저장소에 접근하거나 코드를 실행하는 것은 제한됩니다. 시뮬레이터는 문제를 알고 있지만 솔루션을 구현할 수는 없는 사용자로 행동해야 합니다.
• 자기 수정 메커니즘 (Self-Revision Mechanism): 환각(hallucination)을 방지하고 환경적 제약(예: 사용자는 코드를 실행할 수 없음)을 유지하기 위해, 시뮬레이터는 자기 수정 단계를 거칩니다. 후보 사용자 답변이 생성되면, 동일한 LLM에 의해 제약 위반(예: 코드를 실행한다고 주장하거나 캐릭터를 벗어나는 행위) 여부가 검증되며, 필요시 수정된 후 에이전트에게 반환됩니다.
• 페르소나: 대화의 다양성을 높이기 위해 각 문제에는 특정 사용자 페르소나(예: "신중한", "완벽주의적인", "실용적인")가 할당되어 시뮬레이션된 응답의 어조와 행동에 영향을 미칩니다.

스키마 가이드 에이전트 (Schema-Guided Agent)

저자들은 대화 성능을 향상시키기 위해 새로운 스키마 가이드 코딩 에이전트를 제안합니다. 이 에이전트는 대화 상태에 대한 구조화된 내부 표현(스키마)을 유지하기 위해 프롬프트를 사용합니다.

• 워크플로우: 에이전트는 먼저 이슈 유형(예: 버그, 기능 추가)을 결정하고 핵심 세부 사항(예: "기대 동작", "재현 단계")에 대한 키를 가진 스키마 초안을 작성합니다.
• 상태 관리: 값들은 논의되기 전까지 UNKNOWN으로 표시됩니다. 에이전트는 코드 탐색 및 패치 생성을 진행하기 전에 대화를 통해 이러한 공백을 채우도록 지시받습니다. 이 구조는 에이전트가 가정을 하는 대신, 목표 지향적인 정보 탐색 질문을 던지도록 유도하기 위해 설계되었습니다.

평가 지표

• 해결률 (Resolution Rate): 주요 지표는 모든 실행 테스트를 통과하는 패치를 생성하는 대화의 비율입니다.
• 대화 품질: 저자들은 LLM-as-a-Judge (Gemma 4 31B-IT)를 사용하여 자연스러움(Naturalness) (이해하기 쉬운 정도)과 일관성(Coherence) (솔루션으로 향하는 논리적 진행)에 대한 자동 평가를 도입하였으며, 이는 인간의 주석과 대조하여 검증되었습니다.

주요 기여

1. Dialogue-SWEBench: 500개의 실제 SWE 문제를 에이전트가 완전한 초기 명세 없이 문제를 해결해야 하는 상호작적인 대화형 태스크로 변환한 벤치마크 데이터셋입니다.
2. 사용자 시뮬레이터: 온라인 평가를 위해 현실적이고 제약 조건을 준수하는 사용자 응답을 생성하는, 새로운 오픈 소스 페르소나 기반 시뮬레이터입니다.
3. 스키마 가이드 에이전트: 누락된 정보를 명시적으로 추적하기 위해 대화 스키마를 활용하여 강력한 베이스라인보다 향상된 성능을 보이는 새로운 에이전트 아키텍처입니다.
4. 자동 대화 평가: 코딩 에이전트 대화의 자연스러움과 일관성을 평가하기 위한 LLM-as-a-Judge 프레임워크입니다.

결과

저자들은 세 가지 에이전트 구성(OpenHands(기본형), OH Interactive(모호성 해결 베이스라인), 그리고 제안된 Schema-Guided 에이전트)을 사용하여 최첨단 폐쇄형 모델(GPT-5, GPT-5-mini)과 오픈 웨이트 모델(Qwen 3 Coder, Devstral 2 Small)을 평가했습니다.

• 성능: 스키마 가이드 에이전트는 모든 모델에 대해 가장 높은 평균 해결률(46.9%)을 달성하며 OpenHands(32.9%)와 OH Interactive(44.1%)를 능가했습니다. 또한 가장 낮은 평균 비용으로 이를 달성했습니다.
• 대화 능력 vs 코딩 능력: 결과는 더 강력한 코딩 모델이 반드시 더 나은 대화 에이전트로 이어지지는 않는다는 것을 보여줍니다. 예를 들어, GPT-5-mini는 GPT-5보다 훨씬 적은 비용을 들이면서도 더 자연스러운 대화를 생성하며 해결률 면에서 GPT-5와 대등하거나 더 나은 성능을 보였습니다.
• 정보 탐색: 정보 탐색형 대화 단계의 수와 해결률 사이에는 강한 상관관계가 있습니다. 스키마 가이드 에이전트는 베이스라인보다 일관되게 더 많은 정보 탐색형 단계를 활용했으며, 이는 성공에 결정적이었습니다.
• 절제 연구 (Ablation Studies): 사용자 시뮬레이터를 제거하면(단일 턴 해결 강제), 성능이 급격히 저하되었습니다(예: GPT-5-mini가 68.0%에서 40.0%로 하락). 이는 멀티 턴 대화가 이러한 태스크를 해결하는 데 필수적임을 확인시켜 줍니다.
• 품질 분석: GPT-5는 어려운 태스크에서 높은 해결률을 달행했지만, 과도한 장황함과 반복으로 인해 낮은 자연스러움 점수를 받았습니다. 스키마 가이드 방식은 일반적으로 일관성을 개선했습니다.

의의

본 논문은 대화 능력이 코딩 에이전트 성능의 독특하고 현재 과소 연구된 차원이라고 주장합니다. 연구 결과는 단순히 코딩 모델을 확장하거나 더 나은 명세를 제공하는 것만으로는 불충분하다는 것을 시사합니다. 대신, 멀티 턴의 정보 탐색형 대화에 참여하는 능력은 실제 소프트웨어 엔지니어링 문제를 해결하는 데 중요한 요소입니다. 저자들은 미래의 연구가 코딩과 대화 능력의 교차점을 다루어, 완전 자율적이고 명세 의존적인 시스템이 아닌, 인간 사용자와 효과적으로 협업할 수 있는 에이전트를 구축해야 한다고 제언합니다.