Asking What Matters: Reward-Driven Clarification for Software Engineering Tasks

1. 문제 정의 (Problem)

• 불완전한 사용자 요청: 실제 세계의 사용자 요청은 종종 불완전하거나 모호합니다. LLM 기반 에이전트는 이러한 불명확한 지시사항을 처리할 때 실패하거나 불필요한 계산을 소모하는 경향이 있습니다.
• 기존 연구의 한계: 기존 연구는 언어적 모호성 (참조, 구문 등) 해결에 집중했으나, 실제 SWE 작업에서는 여러 유형의 정보가 누락될 수 있으며, 모든 누락된 정보가 동등한 가치를 지니지는 않습니다.
• 핵심 과제: 에이전트는 어떤 정보가 작업 성공에 가장 중요한지 (Task Relevance) 와 사용자가 실제로 그 질문에 답할 수 있는지 (User Answerability) 를 동시에 고려하여 최적의 명확화 (Clarification) 질문을 생성해야 합니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 실증적 분석 (Empirical Analysis) 과 보상 기반 강화 학습 (Reward-Driven RL) 을 결합한 접근법을 사용했습니다.

A. 정보 카테고리 분류 및 영향력 분석 (RQ1)

• 데이터: SWE-Bench Verified 의 112 개의 고도 불명확 (underspecified) 이슈를 분석하여 6 가지 정보 카테고리 (오류 정보, 예상 동작, 구현 세부사항, 외부 참조, 재현 단계, 버전/환경) 로 분류했습니다.
• SHAP 값 분석: 700 개의 사례를 대상으로 Shapley Value 분석을 수행하여 각 정보 카테고리가 작업 성공에 미치는 영향을 정량화했습니다.
  • 결과: '오류 정보 (Error Information)'가 작업 성공에 가장 큰 영향을 미쳤으며, 그다음으로 '구현 세부사항'과 '환경 구성'이 중요했습니다. 흥미롭게도, 가장 자주 누락되는 '예상 동작 (Expected Behavior)'은 실제 성공에 미치는 영향력이 상대적으로 낮았습니다.

B. 답변 가능성 (Answerability) 분석 (RQ2)

• 질문 특성 분석: 사용자가 답변할 수 있는 질문과 그렇지 않은 질문을 구분하기 위해 GPT-5 와 GPT-5 Nano 가 생성한 질문들을 분포 분석 (Distributional Analysis) 했습니다.
• 4 가지 전략적 특성 도출:
  1. 증거 기반 (Ground in Evidence): 사용자가 직접 공유할 수 있는 구체적인 산물 (스택 트레이스, 로그 등) 을 요청.
  2. 구체성 요구 (Demand Specificity): 추상적 설명 대신 정확한 값 요청.
  3. 범위 최소화 (Minimize Scope): 이슈를 격리할 수 있는 최소 정보 단위 요청.
  4. 실행 가능성 확보 (Ensure Actionability): 사용자가 즉시 수행하거나 관찰할 수 있는 행동에 초점.
• 질문 수의 역설: 질문 수가 증가한다고 해서 작업 성공률이 비례하여 오르지 않으며, 오히려 답변 불가능한 질문이 섞여 사용자 부담만 증가시킴을 발견했습니다.

C. CLARITI 모델 학습 (RQ3)

• 모델: 8B 파라미터 규모의 Qwen3 모델을 기반으로 한 명확화 모듈 CLARITI를 개발했습니다.
• 4 단계 보상 파이프라인 (Multi-stage Reward Pipeline):
  1. 비중복성 (Non-redundancy): 이미 제공된 정보를 다시 묻는 질문 제거.
  2. 다양성 (Diversity): 템플릿화된 일반적 질문 배제, 이슈 특화 질문 장려.
  3. 답변 가능성 (Answerability): 사용자가 실제 이슈 보고서에서 답할 수 있는 정보인지 확인.
  4. 작업 관련성 (Task Relevance): RQ1 에서 도출된 SHAP 가중치에 따라 고영향 정보 (오류 정보 등) 를 묻는 질문에 높은 점수 부여.
• 학습 방식: GRPO (Group Relative Policy Optimization) 를 사용하여 위 4 단계 보상을 최적화했습니다.

3. 주요 기여 (Key Contributions)

1. 정보 영향력 계층 구조 규명: SWE 작업에서 어떤 유형의 누락된 정보가 성공에 가장 결정적인지 (오류 정보 > 구현 세부사항 > 환경 등) 실증적으로 증명했습니다.
2. 답변 가능한 질문의 특성 규명: 사용자가 답변할 수 있는 질문의 구조적, 언어적 특성을 4 가지 전략으로 정의하고 이를 학습에 반영했습니다.
3. CLARITI 모델 개발: 실증적 분석 결과를 보상 함수로 직접 반영하여, GPT-5 수준의 성능을 내면서도 질문 수를 획기적으로 줄인 모델을 훈련시켰습니다.

4. 실험 결과 (Results)

• 성능: CLARITI 는 완전 명세 (Fully Specified) 기준의 **88%**에 달하는 작업 성공률 (36.8%) 을 달성했습니다. 이는 GPT-5 (35.6%) 와 유사하거나 약간 높은 수준입니다.
• 효율성: GPT-5 가 평균 5.1 개의 질문을 던진 반면, CLARITI 는 평균 3.0 개의 질문으로 동일한 성능을 달성했습니다. 이는 41% 적은 질문 수로 더 효율적인 상호작용을 의미합니다.
• 질문 분포: CLARITI 는 GPT-5 대비 '오류 정보' 카테고리에 대한 질문 비율을 10.2% 에서 **26.4%**로 크게 높였으며, 상대적으로 영향력이 낮은 카테고리 질문은 줄였습니다.
• 사용자 부담: 질문 수 감소와 답변 가능성 높은 질문 선별로 인해 사용자의 인지 부하 (Cognitive Load) 를 크게 낮췄습니다.

5. 의의 및 결론 (Significance)

• 원칙 기반 보상 설계의 중요성: 단순한 결과 최적화가 아니라, '정보의 영향력'과 '사용자의 답변 가능성'이라는 두 가지 실증적 차원을 보상 설계에 반영함으로써 에이전트의 명확화 능력을 획기적으로 개선할 수 있음을 보였습니다.
• 일반화 가능성: 비록 연구는 소프트웨어 엔지니어링 도메인에 집중되었으나, 에이전트가 사용자로부터 정보를 수집해야 하는 모든 도메인 (데이터 분석, 의료 진단 등) 에 적용 가능한 방법론을 제시합니다.
• 향후 방향: 단일 턱 (Single-turn) 설정에서 검증되었으나, 다중 턱 상호작용 및 다양한 도메인으로의 확장이 필요함을 지적하며, 이 프레임워크가 에이전트와 인간의 효율적인 협업에 기여할 수 있음을 강조합니다.

요약하자면, 이 논문은 AI 가 "무엇을" 물어볼지 (중요한 정보) 와 "어떻게" 물어볼지 (사용자가 답할 수 있는 방식) 를 데이터 기반으로 학습시켜, 더 적은 질문으로 더 높은 작업 성공률을 달성하는 새로운 명확화 전략을 제시했습니다.