기술 요약: 일찍 물어보고, 늦게 물어보고, 올바르게 물어보자

문제 제기

장기적 AI 에이전트는 수백 개의 순차적 행동을 포함하는 복잡한 워크플로우를 실행합니다. 사용자 지시가 불충분하게 명시된 경우, 에이전트는 불확실성 하에 진행할지, 아니면 명확화를 요청하기 위해 일시 정지할지라는 중요한 결정을 마주합니다. 최근 벤치마크는 불충분한 명시가 성능을 저하시키며, 명확화 채널이 부분적 회복을 가능하게 한다는 것을 확인했지만, 기존 연구는 명확화를 이분법적 능력 (질문 가능/불가능) 으로 취급할 뿐 시간적 차원으로는 다루지 않았습니다.

명확화가 가장 가치 있는 시점에 대한 경험적 이해가 부족합니다. 고전적 정보 가치 (VOI) 이론과 HCI 중단 연구는 명확화의 이점이 개입 시점에 따라 달라져야 함을 시사합니다. 그러나 에이전트의 실행 궤적 전반에 걸쳐 명확화의 가치가 어떻게 변하는지 측정한 선행 연구는 없습니다. 본 연구가 다루는 핵심 문제는 다양한 정보 차원 (목표, 입력, 제약 조건, 맥락) 에 따른 명확화 시기에 대한 정량적 수요 곡선의 부재와, 현재 최첨단 모델들이 경험적으로 최적인 시간 창 내에서 자연스럽게 질문하는지에 대한 증거의 부재입니다.

방법론

저자들은 에이전트의 모호성 감지 능력과 독립적으로 명확화의 순수한 시간적 효과를 분리하기 위해 강제 주입 프레임워크를 도입했습니다.

실험 설정

• 데이터셋: 본 연구는 LHAW 벤치마크에서 추출된 84 개의 불충분하게 명시된 작업 변형을 활용하며, 세 가지 다른 에이전트 벤치마크를 포괄합니다:
  • MCP-Atlas: 도구 사용 능력 (36 개 변형, 6~20 개 행동).
  • TheAgentCompany: 기업 워크플로우 (30 개 변형, 6~49 개 행동).
  • SWE-Bench Pro: 코드 수정 작업 (18 개 변형, 1~121 개 행동).
• 모델: 네 가지 최첨단 모델이 평가되었습니다 (MCP-Atlas 에만 적용된 GPT-5.2, Claude Sonnet 4.5, Gemini 3 Flash, DeepSeek V3.2). 이를 통해 6,000 회 이상의 실험이 수행되었습니다.
• 강제 주입 프로토콜:
  • 작업은 특정 정보 세그먼트 (정답) 를 제거하도록 수정되었습니다.
  • 명확화는 궤적을 따라 통제된 시점에 주입되었습니다: 오라클 보정 행동 예산의 10%, 30%, 50%, 70%, 90%.
  • 이러한 실행 중에는 ask_user 도구가 비활성화되어 명확화가 주입을 통해서만 도달하도록 보장했습니다.
  • 성능은 Pass@3(세 번의 시도 중 적어도 한 번의 성공 확률) 을 사용하여 측정되었습니다.
• 자연적 질문 프로토콜: TheAgentCompany 작업에 대한 300 회의 비스크립트 세션을 대상으로 한 보완적 연구에서 ask_user 도구를 활성화하여 자연스러운 명확화 행동을 관찰하고, 질문 비율과 첫 번째 문의 시점을 기록했습니다.
• 지표:
  • Pass@3: 주요 성공 지표.
  • 낭비된 컴퓨팅: 오라클 (완전히 명시된) 추적에서 누락된 주입 전 행동의 비율로, 폐기된 작업의 상한선 역할을 합니다.
  • 돌이킬 수 없는 지점: 명확화 부재 기준선보다 성능이 유의하게 초과되는 가장 늦은 주입 시점.
  • 모델 간 일관성: 시간적 효과가 작업 고유의 것인지 모델 의존적인 것인지 판단하기 위한 켄달의 $\tau$ 순위 상관관계.

주요 기여

1. 차원 의존적 시간 프로파일: 본 연구는 명확화의 가치가 단순히 "일찍일수록 좋다"는 식으로 균일하지 않으며, 정보 차원에 따라 날카롭게 달라진다는 것을 입증합니다:

   • 목표 명확화: 매우 초기에 집중됩니다. 실행의 10% 이후에는 가치가 급격히 하락합니다. MCP-Atlas 에서 Pass@3 는 10% 시점의 0.78 에서 70% 시점의 0.39 로 떨어지며, 기준선 대비 모든 이점을 상실합니다.
   • 입력 명확화: 점진적인 감소를 보입니다. 에이전트가 환경 탐색을 통해 입력을 부분적으로 추론할 수 있으므로, 궤적의 약 50% 까지 가치가 유지됩니다.
   • 제약 조건 명확화: 이점은 오라클 격차의 존재 여부에 달려 있습니다. 격차가 있는 경우, 가치는 지연에 따라 감소하지만 명확화 부재 기준선 아래로 떨어지는 경우는 드뭅니다 (늦은 제약 조건 정보가 아예 없는 것보다 낫지만, 초기 정보만큼 효과적이지는 않음을 시사함).
   • 맥락 명확화: 샘플 크기가 제한적이어서 증거는 혼재되어 있지만, 초기 주입은 강력한 잠재적 이점을 보여줍니다.

2. "질문" 격차의 정량화: 본 연구는 현재 모델의 행동과 경험적으로 최적인 시간 창 사이의 불일치를 정량화합니다.

   • GPT-5.2: 과도하게 질문합니다 (52% 질문률) 하지만 목표 작업에 대해서는 너무 늦게 질문합니다 (평균 시점 43%, 10% 최적 시간 창을 훨씬 초과).
   • Claude Sonnet 4.5: 선택적으로 질문합니다 (23% 비율) 평균 시점 50% 로, 목표에는 비최적이지만 입력에는 합리적입니다.
   • Gemini 3 Flash: 절대 질문하지 않습니다 (0% 비율), 모든 잠재적 명확화 이점을 포기합니다.
   • 결정적으로, 현재 어떤 최첨단 모델도 어떤 차원에서도 경험적으로 최적인 시간 창 내에서 자연스럽게 질문하지 않습니다.

3. 작업 고유 시간적 효과: 작업 범위를 공유하는 모델 간의 상관관계 (Kendall's $\tau$ 가 0.78~0.87 범위) 는 이러한 시간 프로파일이 특정 모델 아키텍처의 산물이 아니라 작업 자체에 상당 부분 고유함을 확인시켜 줍니다.

4. 지연의 비용: 본 연구는 "낭비된 컴퓨팅"의 정량적 측정을 제공하여, 낭비된 작업이 주입 지연에 따라 꾸준히 증가함을 보여줍니다. 예를 들어, TheAgentCompany 에서 낭비된 컴퓨팅은 10% 주입 시 0% 에서 90% 주입 시 21.7% 로 상승합니다.

결과 요약

• 목표 정보: 좁은 초기 시간 창 ($\le$10%) 을 가집니다. 이 시점을 넘겨 명확화를 지연시키면 질문을 하지 않은 경우와 구별할 수 없는 성능을 보입니다.
• 입력 정보: 궤적의 약 50% 까지 회복 가능합니다.
• 제약 조건 정보: 이미 취해진 행동과 제약 조건이 충돌하여 이를 조율해야 하는 경우 늦은 주입은 교란을 일으킬 수 있지만, 일반적으로 명확화 부재 기준선 위를 유지합니다.
• 뚜렷한 임계값 부재: "돌이킬 수 없는 지점"은 일반적으로 급격한 절단보다는 연속적이지만, 궤적의 30% 에서 유의한 회복 지점이 감지된 결과에 치명적인 목표 및 제약 조건 변형을 제외합니다.
• 모델 행동: 현재 모델들은 비효율적인 과도한 질문부터 질문을 전혀 하지 않는 전략까지 다양하게 보이며, 강제 주입 실험에서 도출된 수요 곡선과 일치하지 않습니다.

중요성 및 주장

본 논문은 장기적 에이전트 워크플로우에서 명확화 시기에 대한 최초의 경험적 VOI 곡선을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 기초 데이터: 기존 이론적 프레임워크 (예: 정보 가치 이론, 메타추론) 가 필요로 하지만 이전에 부재했던 정량적 "수요 곡선"을 제공합니다.
• 설계 목표: 시간 인식 명확화 정책에 대한 구체적인 설계 목표를 설정하며, 에이전트가 처음 몇 개의 행동 내에서 목표를 검증하고 입력 쿼리는 궤적의 전반부 내에서만 약간 더 지연하도록 조언합니다.
• 방법론적 일반화: 강제 주입 방법론은 정보의 시간적 가치를 측정하기 위해 불충분하게 명시된 작업을 가진 모든 에이전트 벤치마크에 적용 가능한 일반화 가능한 접근법으로 제시됩니다.

저자들은 본 연구가 수요 측면 (특정 시간에 정보가 얼마나 성능 향상에 기여하는지) 을 다루지만 공급 측면 (에이전트가 모호성을 인식하고 적절한 시점에 질문하도록 만드는 방법) 을 해결하지는 않는다고 겸손하게 지적합니다. 그들은 이 작업을 차세대 시간 인식 에이전트 구축에 필요한 경험적 기초로 위치시킵니다.