기술 요약: ToM-SWE: 소프트웨어 엔지니어링 에이전트를 위한 사용자 정신 모델링

문제 정의

최근 대규모 언어 모델(LLM) 기반 코딩 에이전트의 발전은 복잡한 코드베이스를 계획, 편집, 실행 및 테스트할 수 있게 해주었습니다. 그러나 이러한 시스템은 근본적인 한계에 직면해 있습니다. 바로 사용자의 의도를 추론하고 추적하는 데 어려움을 겪는다는 점이며, 특히 지시사항이 불충분하거나 문맥 의존적인 경우 더욱 그렇습니다. 현재의 에이전트들은 일반적으로 상태 비저장(stateless) 방식으로 작동하여, 각 세션을 독립적인 것으로 취급하며 사용자의 진화하는 목표, 선호도 및 제약 조건에 대한 지속적인 문맥을 유지하는 메커니즘이 부족합니다. 이는 노력의 낭비, 오해, 그리고 고위험 환경에서의 잠재적으로 안전하지 않은 결과를 초래합니다. 또한, SWE-bench와 같은 기존 벤치마크는 잘 정의된 작업에 대한 기술적 문제 해결 능력만을 평가하며, 다양한 사용자와 의미 있고 장기적인 상호작용을 지속하는 에이전트의 능력을 평가하는 데는 실패합니다.

방법론

이러한 격차를 해소하기 위해 저자들은 ToM-SWE를 소개합니다. 이 프레임워크는 마음 이론(Theory of Mind, ToM) 추론을 소프트웨어 엔지니어링 에이전트에 통합합니다. 여기서 ToM은 지시사항과 상호작용 이력을 바탕으로 사용자의 정신 상태(목표, 선호도, 의도)를 모델링하는 능력을 의미합니다.

이중 에이전트 아키텍처

핵심 혁신은 관심사를 분리하는 이중 에이전트 아키텍처입니다:

1. 주요 SWE 에이전트: 코딩 작업(생성, 디버깅, 실행)에만 집중합니다.
2. 전용 ToM 에이전트: 사용자의 정신 상태를 모델링하는 역할을 맡은 경량화된 파트너입니다.

ToM 에이전트는 두 가지 상호 보완적인 모드로 작동합니다:

• 인세션(In-Session) ToM: 활발한 코딩 중에, 상호작용 이력을 참조하고 SWE 에이전트에게 제안을 제공함으로써 사용자의 기저에 깔린 정신 상태(예: 모호한 지시 뒤에 숨겨진 "진정한" 의도)를 추론합니다.
• 애프터 세션(After-Session) ToM: 세션 종료 후, 상호작용 이력을 처리하여 지속적인 사용자 모델을 정교화하고 업데이트합니다.

계층적 메모리 시스템

ToM 에이전트는 외부 데이터베이스로 구현된 3단계 계층적 메모리 시스템을 활용합니다:

• 1단계 (원시 세션 저장소): 전체 이전 세션 이력을 저장합니다.
• 2단계 (세션 기반 사용자 모델): 세션 의도, 상호작용 패턴, 코딩 선호도를 포함한 세션별 분석을 유지합니다.
• 3단계 (전체 사용자 모델): 교차 세션 패턴을 선호도 클러스터, 상호작용 스타일 요약, 코딩 스타일 요약으로 집계합니다.

SWE 에이전트는 두 가지 특정 도구를 통해 ToM 에이전트와 상호작용합니다: consult tom(세션 중 관련 사용자 정신 상태 정보 검색) 및 update memory(세션 종료 후 메모리 계층을 처리하고 업데이트하도록 ToM 에이전트를 트리거).

평가 프레임워크: 상태 유지형(Stateful) SWE 벤치마크

저자들은 장기적인 다중 세션 상호작용에서 에이전트를 평가하기 위해 설계된 최초의 벤치마크인 Stateful SWE 벤치마크를 도입합니다.

• 설정: 15개의 고유한 개발자 프로필(453개의 실제 인간-에이전트 세션에서 유도됨)을 SWE-bench의 500개 인스턴스와 결합합니다.
• 시뮬레이션: 에이전트는 특정 프로필(언어의 상세함, 질문 시점, 코딩 선호도 등에서 차이가 있음)에 따라 조건화된 LLM 기반 사용자 시뮬레이터와 상호작용합니다.
• 도전 과제: 에이전트는 단순히 현재의 지시사항에만 의존하는 것이 아니라, 이전 상호작용 이력을 활용하여 사용자의 정신 상태를 추적하고 행동을 적응시켜야 합니다.

주요 기여

1. ToM-SWE 프레임워크: 코딩 실행과 사용자 정신 모델링을 분리하여, 코딩 에이전트의 문맥을 압도하지 않으면서도 전문화된 최적화와 지속적인 사용자 추적을 가능하게 하는 새로운 이중 에이전트 아키텍처를 제시합니다.
2. Stateful SWE 벤치마크: 단일 턴의 정적인 작업 해결을 넘어, 여러 세션에 걸쳐 서로 다른 사용자에 적응하는 에이전트의 능력을 테스트하는 새로운 평가 체계를 제공합니다.
3. 실증적 검증: 새로운 Stateful SWE 벤치마크와 기존의 Ambiguous SWE-bench, 그리고 실제 인간 연구를 통한 포괄적인 평가를 수행했습니다.

결과

오프라인 벤치마크 성능

제안된 에이전트인 ToMCodeAct(OpenHands 플랫폼 기반)를 최첨단 CodeAct 에이전트 및 RAGCodeAct(명시적 모델링 없이 원시 이력을 검색하는 베이스라인)와 비교했습니다.

• Ambiguous SWE-bench: ToMCodeAct는 (Claude Sonnet 4를 사용하여) **63.4%**의 이슈 해결률을 달성하여, CodeAct의 51.9%보다 높은 성과를 보였습니다 (+11.5% 향상).
• Stateful SWE-bench: ToMCodeAct는 **59.7%**의 해결률을 달성하여, CodeAct의 **18.1%**에 비해 상당한 개선을 보였습니다 (+41.6 퍼센트 포인트).
• 사용자 만족도: ToMCodeAct는 선호도 일치 및 커뮤니케이션을 평가하는 프로필 조건부 사용자 시뮬레이터를 통해 측정된 사용자 만족도에서 CodeAct(2.57)보다 유의미하게 높은 점수(3.62)를 기록했습니다.
• 분석: 연구 결과, 단순히 원시 세션 데이터를 검색하는 것(RAG)은 불충등하며, 사용자 선호도를 정신 모델로 명시적으로 추상화하는 것이 결정적이라는 것을 발견했습니다. 또한, 작업 해결과 사용자 만족도 사이에 강한 양의 상관관계($r=0.74$)가 발견되었습니다. 다만, ToM 에이전트는 작업이 실패하더라도 프로세스 품질과 커뮤니케이션이 사용자 선호도와 일치할 경우 높은 만족도를 얻기도 했습니다 ("노력 보너스").

실제 환경에서의 인간 연구

17명의 전문 개발자가 일상적인 자율 코딩 작업을 수행하는 동안 ToM 기능이 강화된 CLI를 사용하는 3주간의 관찰 연구가 진행되었습니다.

• 수용률: 개발자들은 ToM 제안을 **86%**의 비율로 수락하거나 부분적으로 수락했습니다 (209개 세션 중 174개 제안).
• 유용성: 피드백에 따르면 ToM 제안은 사용자가 이전 대화에서 가졌던 규칙들을 명시적으로 작성하는 데 도움을 주었고, 정확한 사용자 프로필을 생성했으며, 워크플로우 효율성을 개선했습니다.
• 문맥 민감도: 성공률은 충분한 기술적 문맥이 있는 중간 정도의 미흡한 쿼리(예: "코드 이해")에서는 가장 높았으나, 극도로 모호한 쿼리에서는 낮아졌습니다.

의의 및 주장

본 논문은 ToM-SWE가 소프트웨어 엔지니어링에서의 효과적인 인간-AI 협업을 위해서는 에이전트가 시간에 따라 사용자의 특정 정신 모델을 추론, 유지 및 실행할 수 있어야 함을 입증한다고 주장합니다.

• 기술적 역량을 넘어: 코딩 능력이 강력하더라도, 지시사항이 상위 수준이거나 불충분할 때 사용자의 의도와 선호도를 모델링하는 능력 없이는 충분하지 않습니다.
• 프로세스 품질의 중요성: 결과는 사용자 만족도가 단순히 작업 성공(유닛 테스트)에 의해서만 결정되는 것이 아니라, 상호작용 프로세스의 품질, 커서 스타일, 그리고 사용자 선호도와의 정렬에 의해서도 결정된다는 점을 강조합니다.
• 아키텍처의 필요성: 이중 에이전트 설계는 코딩 에이전트의 문맥 혼란을 줄이면서도 전문적이고 지속적인 사용자 모델링을 가능하게 하는 핵심 메커니즘으로 제시됩니다.
• 실질적 영향: 실제 환경에서의 높은 수용률은 상태 유지형 사용자 모델링이 실용적인 코딩 에이전트의 유망하고 가치 있는 향상 방안임을 시사하며, 이를 통해 인터랙티브 디버깅 및 유지보수 과정에서의 마찰을 줄이고 개발자 생산성을 높일 수 있음을 보여줍니다.

저자들은 개인정보 보호 및 일반화 문제에 대해 겸허한 태도를 유지하며, 사용자 모델링이 조작이나 감시의 위험을 초래할 수 있고 프로필이 특정 개발자 그룹에서 유도되었다는 점을 인정했습니다. 그들은 책임감 있는 배포, 명시적 동의, 그리고 사용자 제어 가능한 메모리의 필요성을 강조합니다.