기술 요약: LLM 에이전트의 명확화 요청을 위한 불확실성 분해

1. 문제 정의

대화형 대규모 언로 모델(LLM) 에이전트는 부분 관측 가능성(partial observability) 하에서 작동하며, 불충분하게 명시된 자연어 지침을 받고 노이즈가 있는 환경을 탐색한다. 초기 추론 단계에서의 작은 오류는 전파되어, 확신에 찬 오답으로 이어질 수 있다. 불확실성 추정은 표준적인 완화 도구이지만, 기존 프레임워크(특히 알레아토리(aleatoric)/에피스테믹(epistemic) 이분법)는 대화형 에이전트에게는 불충분하다고 주장된다. Kirchhof 등[13]과 Kim 등[14]은 에이전트가 능동적인 명확화 요청(clarification seeking)과 같은 기능을 수행할 수 있도록, 소스별로 분해되고 사용자에게 전달 가능한 미지정 인식(underspecification-aware) 불확실성 표현이 필요하다고 주장한다.

나아가, 블랙박스 API 접근, 엄격한 지연 시간 예산, 레이블이 지정된 학습 궤적의 부재와 같은 실제 배포 제약 조건은 logprob 기반, 다중 샘플링, 또는 학습 기반의 불확실성 방법론을 실행 불가능하게 만든다. 이는 프롬프트 기반 방법(에이전트가 구조화된 텍text로 불확실성을 출력하는 방식)을 실제 배포를 위한 유일한 실행 가능한 접근법으로 남겨둔다. 그러나 기존의 프롬프트 기반 방법들은 일반적으로 단일 스칼라 신뢰도 점수를 출력하여, 다음의 두 가지 서로 다른 불확실성 원인을 혼용한다:

1. 작업 난이도(Task Difficulty): 실행하기 어려운 작업 (예: 유사한 제품이 매우 많은 경우 중 하나를 선택하는 것).
2. 목표 모호성(Goal Ambiguity): 사용자의 요청이 불충분함 (예: 색상이나 사이즈 없이 "셔츠를 찾아줘"라고 하는 경우).

이러러한 신호를 혼용하면 에이전트가 "조심스럽게 진행할 것인가"와 "명확화를 요청할 것인가"를 구분하는 것을 방해한다.

2. 방법론

제안된 분해 방식

본 논문은 단일 신뢰도 스칼라를 각 단계 $t$에서 방출되는 두 개의 별도 신호로 분리하는 프롬프트 기반 분해를 제안한다:

• 행동 신뢰도 ($c_t$): 현재의 이해를 바탕으로 선택한 행동이 작업 완료를 향해 나아간다는 것에 대한 에이전트의 확신. 이는 베이스라인에서 사용되는 스칼라 신뢰도와 유사하다.
• 요청 불확실성 ($u_t$): 사용자의 목표가 완전히 명시되었는지에 대한 추정치로, 0(완전히 명시됨)에서 1(결정적인 세부 사항 누락) 사이의 값을 가진다. 이는 다음의 3점 척도에 기초한다:
  • $0$: 정확히 하나의 올바른 해석이 존재함.
  • $0.5$: 적어도 하나의 파라미터가 열려 있거나 명시되지 않음.
  • $1$: 결정적인 세부 사항이 누락됨; 여러 유효한 해석이 존재함.

명확화 트리거 (Clarification Trigger)

이 방법은 결정론적 라우팅 메커니즘을 도입한다. 만약 $u_t \geq \theta$ (기본값 $\theta = 0.5$)이면, 에이전트는 작업 행동 대신 특수 행동인 request_clarification을 방출하도록 지시받는다. 이는 불확실성 추정과 관찰 가능한 행동 사이에 직접적인 연결을 생성하여, 시스템이 미지정 상태에 대한 이진 분류기로 평가될 수 있게 한다.

이력 전파 (History Propagation)

Uncertainty-Aware Memory (UAM) 프레크임워크[21]를 따라, 불확실성 값($u_t, c_t$)과 그에 대한 자연어 설명은 상호작용 이력 $H_t$에 추가된다. 이를 통해 후속 단계들이 축적된 요청 수준의 불확실성과 행동 신뢰도에 대해 추론할 수 있게 한다.

베이스라인

제안된 방법은 두 가지 프롬프트 기반 베이스라인과 비교된다:

1. ReAct+UE: 단일 신뢰도 점수와 설명을 요구하는 접미사가 붙은 표준 ReAct 에이전트이다. 이 방식은 이력에 불확실성을 유지하지 않는다.
2. Uncertainty-Aware Memory (UAM): ReAct+UE와 유사하지만 신뢰도 점수와 설명을 이력을 통해 전파하여, 에이전트가 과거의 불확실성에 대해 추론할 수 있도록 한다.

벤치마크

명확화 요청을 평가하기 위해, 저자들은 50%의 작업이 의도적으로 미지정된 두 가지 명확화 증강 벤치마크를 구축하였다:

• WebShop-Clarification: 지침에서 속성(예: 색상, 재질) 및 옵션 절이 제거됨.
• ALFWorld-Clarification: 목표에서 객체 또는 용기가 무작별로 제거됨 (예: "컨테이너 안에 무언가를 넣어라").
  이러elle 변형 모델에서, 에이전트가 미지정된 작업에 대해 명확히 요청을 수행하면 원래의 목표가 드러나고 에피소드가 계속 진행되어, 공정한 성공률 측정을 보장한다.

평가는 결함 탐지(궤적 실패 예측) 및 작업 성공률을 위한 표준 벤치마크(WebShop, ALFWorld, REAL)도 포함한다.

3. 주요 기여

1. 비교 분석: 블랙박스 LLM 에이전트에서 불확실성을 위한 유일한 실질적 방법론이 프롬프트 기반 방식임을 보여주는 체계적인 연구를 통해, 능동적 행동을 위한 심층 연구를 동기 부여하였다.
2. 새로운 벤치마크: 명확화 요청을 이진 분류 작업으로 평가할 수 있는 WebShop-Clarification 및 ALFWorld-Clarification을 도입하였다.
3. 분해 방법론: 학습이나 모델 접근 권한 없이도 능동적인 명확화를 가능하게 하기 위해, 행동 신뢰도와 요청 불확실성을 분리하는 프롬프트 전용 방법을 제안하였다.
4. 실증적 평가: 다섯 가지 LLM 백본(GPT-5.1, DeepSeek-v3.2-exp, GLM-4.7, Qwen3.5-35B, GPT-OSS-120B)에 대해 명확화 요청 및 결함 탐지 작업 모두에서 종합적인 평가를 수행하였다.

4. 결과

명확화 요청 (Clarification Seeking)

제안된 분해 방식은 미지정 작업을 식별하는 데 있어 베이스라인보다 성능이 크게 뛰어났다:

• ALFWorld-Clarification: 제안된 방법은 다섯 가지 백본의 평균 기준으로 ReAct+UE 대비 73%, UAM 대비 36% 향상된 명확화 F1 점수를 기록했다.
• WebShop-Clarification: 제안된 방법은 모든 백본에서 명확화 F1에서 선두를 차지했다.
• 일반화: 이러한 이득은 서로 다른 모델 패밀리에 걸쳐 일반화되었으며, 이는 분해가 특정 LLM 아키텍처에 국한된 것이 아님을 나타낸다.

결함 탐지 (Fault Detection)

분해 방식은 결함을 탐지하는 능력(궤적 실패 예측)을 희생하지 않았다:

• 모든 백본과 벤치마크에 걸쳐, 제안된 방법은 ReAct+UE 및 UAM과 대등한 수준의 결함 탐지 ROC-AUC 점수를 달성했다.
• WebShop 및 REAL에서, 제안된 방법은 마지막 단계(last-step) 및 평균 집계(average aggregation)에서 가장 높은 ROC-AUC를 달 기록했다.

작업 성공률 및 캘리브레이션 (Calibration)

• 역량 희석 (Capability Dilution): 불확실성 도구가 증가함에 따라 작업 성공률이 단조 감소하는 현상이 관찰되었다: ReAct+UE (28.6%) > UAM (27.8%) > 제안된 방법 (27.0%). 저자들은 이를 고정된 추론 예산이 작업 해결과 다수의 불확실성 평가 사이에서 분할되면서 발생하는 "역량 희석" 때문이라고 설명한다.
• 과잉 확신 (Overconfidence): 신뢰도 도표(Reliability diagrams)는 모든 방법에서 체계적인 과잉 확신을 보여준다. 즉, 예측된 신뢰도가 관찰된 성공률보다 지속적으로 높게 나타났다 (ECE 범위: 0.24 ~ 0.66).
• 집계 민감도 (Aggregation Sensitivity): 궤적 수준의 집계 방식(예: 곱, 평균, 마지막 단계)의 선택은 결함 탐지 점수에 상당한 영향을 미친다. 특히 ALFWorld에서 곱(product) 집계는 실패한 궤적이 체계적으로 더 길기 때문에, 진정한 신뢰 신호라기보다는 궤적 길이에 대한 대리 지표(proxy) 역할을 한다.

5. 의의 및 주장

본 논문은 제안된 분해 방식이 "미지정 불확실성"을 별도의 범주로 성공적으로 구체화하여, Kirchhof 등[13]과 Kim 등[14]의 호출에 응답했다고 주장한다. 목표 모호성을 위한 전용 채널을 제공함으로써, 에이전트는 침묵 속에 실패하거나 임의의 해석을 밀고 나가는 대신 능동적으로 명확화를 요청할 수 있다.

그러나 저자들은 프롬프트 기반 패러다임의 한계에 대해 겸허한 태도를 보인다:

• 프롬프트 기반의 한계: 관찰된 역량 희석과 체계적인 과잉 확신은, 모델이 고정된 토큰 예산 내에서 작업 해결과 자신의 신뢰도 평가를 동시에 수행해야 하는 프롬프트 기반 접근법의 고유한 특성이다.
• 향-후 방향: 본 논문은 가장 유망한 경로가 **네이티브 불확실성 추정(native uncertainty estimation)**이라고 주장한다. 단순히 분해된 점수를 프롬프트로 요청하는 것이 아니라, 모델이 작업 난이도와 목표 모호성을 내부적으로 구분하도록 학습(RLHF, DPO 또는 GRPO 활용)되어야 한다. 이를 통해 프롬프트 기반의 추출 필요성을 제거하고, 역량 희석을 없애며, 캘리브레이션된 자연어 형태의 불확실성 소통을 가능하게 할 수 있다.

결론적으로, 본 연구는 불확실성을 분해하는 것이 새로운 에이전트 능력을 가능하게 한다는 개념 증명(proof of concept) 역할을 하지만, 다음 단계는 이러한 메커니즘을 프롬프트에서 모델 자체로 옮겨 정렬 기반 학습을 통해 구현하는 것이라고 제언한다.