🤖 AI

Interactive Task Alignment as a POMDP

이 논문은 모호한 상호작용으로부터 잠재적인 사용자 의도를 추론하는 것으로 과업 정렬을 공식화하기 위해 POMDP 프레임워크를 제안하며, 현재의 언어 모델이 불확실성을 해결하는 데 있어 인간보다 현저히 낮은 성능을 보이고 종종 성급하게 행동한다는 점을 밝힘으로써, 사용자의 목표에 신뢰성 있게 정렬되는 능력에 있어 결정적인 격차가 존재함을 강조한다.

원저자: Andy Dai, Zexue He, Zhenyu Zhang, Alex Pentland, Jiaxin Pei

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andy Dai, Zexue He, Zhenyu Zhang, Alex Pentland, Jiaxin Pei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 집사를 만들려고 노력하고 있다고 상상해 보세요. 이 로봇들을 훈련시키는 과학 실험실에서 과학자들은 보통 로봇에게 매우 구체적이고 완벽한 지시를 내립니다. "주방으로 가서 빨간 머그컵을 찾은 다음, 뜨거운 물을 채워라." 그러면 로봇은 그 머그컵을 얼마나 잘 찾아내고 물을 붓는지에 따라 점수를 받습니다. 이것은 마치 화면에 목표가 명확하게 적혀 있는 비디오 게임과 같습니다. 하지만 현실 세계에서 인간은 엉망진창입니다. 우리는 처음에 우리가 정확히 무엇을 원하는지 모르는 경우가 드뭅니다. 우리는 "목이 마르긴 한데, 뭘 마시고 싶은지는 모르겠어"라고 말하거나, "아이를 좀 놀리게 할 게 필요한데, 어떤 종류의 장난감인지는 아직 생각하지 못했어"라고 말할 수도 있습니다. 우리는 단순히 명령을 내리는 사람이 아니라 탐험가입니다. 과학자들에게 주어진 큰 질문은 이것입니다. 로봇이 우리가 무언가를 하기 시작하기 전에 우리가 실제로 무엇을 의미하는지 알아낼 수 있을까? 이 논문은 로봇의 직업을 단순한 작업 수행자가 아니라 미스터리를 풀려는 탐정으로 취급하며, 우리가 말하는 것과 우리가 실제로 필요로 하는 것 사이의 이 까다로운 간극을 깊이 파고듭니다.

이 연구를 진행한 연구진은 로봇을 완벽한 지시 사항으로 테스트하는 것을 멈추고, 대신 엉망진창인 실제 삶의 혼란을 가지고 테스트하기로 결정했습니다. 그들은 이 게임을 즐기는 새로운 방법, 즉 "부분 관측 가능한 마르코프 결정 과정(Partially Observable Markov Decision Process)"(이는 단지 멋진 수학적 표현일 뿐이며, '로봇은 우리가 주는 단서만을 볼 수 있고, 전체 그림을 볼 수는 없으며, 우리와 대화하면서 숨겨진 목표를 추측해야 한다'는 뜻입니다)으로 바꾸었습니다. 그들은 컴퓨터 프로그램이 모호한 아이디어를 가지고 시작하여 로봇이 질문을 던질 때마다 점진적으로 더 많은 세부 사항을 드러내는 인간 사용자의 역할을 수행하는 시뮬레이션을 설정했습니다. 그들은 이를 세 가지 놀이터, 즉 온라인 쇼핑, 컴퓨터 코드 작성, 그리고 전문적인 업무 과업에서 테스트했습니다.

그들이 발견한 것은 일종의 경종을 울리는 결과였습니다. 오늘날의 가장 똑똑한 AI 모델들이 명확한 지시를 따르는 데는 놀라운 능력을 보여주지만, 우리가 모호할 때 우리가 실제로 무엇을 원하는지 파악하는 데는 형편없다는 것입니다. 사용자의 요청이 불분명했을 때, AI 모델들은 올바른 과업을 약 22%에서 32% 정도만 맞혔습니다. 이는 그들이 네 번 중 거의 세 번은 틀렸다는 것을 의미합니다! 이 논문은 이러한 모델들이 너무 성급하게 기쁘게 하려 한다고 제안합니다. "잠깐, 정확히 무엇이 필요하신가요?"라고 묻는 대신, 이들은 종종 한두 문장 만에 바로 행동에 뛰어들어 잘못된 아이디어에 고착되어 자신 있게 잘못된 일을 수행합니다.

이것이 얼마나 심각한지 확인하기 위해, 연구진은 실제 인간을 로봇 역할로 투입했습니다. 인간이 동일한 모호한 요청들을 파악하려고 했을 때, 인간은 48%의 확률로 정답을 맞혔으며, 이는 어떤 컴퓨터 모델보다도 유의미하게 높았습니다. 연구는 차이가 인간이 퍼즐을 푸는 데 더 똑똑해서가 아니라, 인간이 대화를 더 잘하기 때문이라고 시사합니다. 연구진이 AI 모델에게 인간이 나누었던 정확한 대화 기록을 입력했을 때, AI 모델들은 갑자기 올바른 과업을 추측하는 능력이 훨씬 좋아졌습니다. 이는 문제가 AI가 답을 이해하지 못하는 것이 아니라, AI가 그곳에 도달하기 위해 어떤 질문을 던져야 하는지 모른다는 것을 증명합니다.

팀은 또한 추가적인 훈련(지도 미세 조정 및 강화 학습이라 불리는 방법들)을 통해 AI를 고쳐보려고 노력했습니다. 이것은 약간의 도움이 되었는데, AI는 정답을 맞히는 능력이 좋아졌고 너무 자신 있게 틀리는 일도 줄어들었습니다. 그러나 이러한 추가 훈련에도 불구하고, AI는 여전히 인간을 따라잡지 못했습니다. 논문은 결론적으로 AI가 과업을 수행하는 데는 뛰어나지고 있지만, 여전히 중요한 "사회적 기술", 즉 멈춰 서서 자신이 혼란스럽다는 것을 깨닫고 일을 망치기 전에 도움을 요청하는 능력이 부족하다고 말합니다. 로봇이 더 나은 탐정이 되고 덜 성급한 비버가 되는 법을 배우기 전까지, 그들은 우리의 엉망진창인 실제 삶 속에서 진정으로 신뢰할 수 있는 조력자가 되기 어려울 것입니다.

기술 요약: 상호작용적 과업 정렬(Interactive Task Alignment)로서의 POMDP

문제 정의

현재 대규모 언어 모델(LLM)의 벤치마크는 주로 목표, 제약 조건, 성공 기준이 명시적으로 제공되는 완전하게 규정된 과업의 실행 능력을 평가하는 데 중점을 두고 있습니다. 그러나 실제 사용자 상호작용은 모호함, 불완전성, 그리고 진화하거나 일관되지 않은 목표들로 특징지어집니다. 이러한 시나리오에서는 주요 병목 현상이 알려진 과업을 실행하는 것에서 사용자의 의도된 과업을 결정하는 것으로 전환됩니다.

본 논문은 **과업 정렬(task alignment)**을 에이전트가 사용자와의 상호 모델링(mutual modeling)을 통해 의도된 과업에 대한 공유된 이해를 구축하고 유지하는 과정으로 정의합니다. 저자들은 매우 유능한 모델이라 할지라도, 정보의 부재를 감지하고, 성급한 가정을 피하며, 실행이 시작되기 전에 모호성을 해결하기 위해 효과적으로 상호작용할 수 없다면 실제 배포 환경에서 실패할 것이라고 주장합니다.

방법론: POMDP 프레임워크

저자들은 과업 정렬을 평가하기 위한 도메인 일반적인 프레임워크를 제안하며, 이를 어시스턴트의 관점에서 **부분 관측 가능 마르코프 결정 과정(Partially Observable Markov Decision Process, POMDP)**으로 공식화합니다.

1. POMDP 정식화 ( $M_T = \langle S, A, T, R, \Omega, O \rangle$ )

상태 (State, $S$ ): 턴 $t$ $t$ 에서의 환경 상태는 $s_t = (x^*, i_t, h_t)$ $s_{t} = (x^{*}, i_{t}, h_{t})$ 입니다. 여기서:
- $x^*$ 는 고정된 지면 진실(ground-truth) 과업 명세(잠재적/숨겨진 상태)입니다.
- $i_t$ 는 사용자의 현재 의도 상태(잠재적/숨겨진 상태)로, 드러나거나 암시된 목표의 측면을 포착합니다.
- $h_t$ 는 대화 이력(관측 가능한 상태)입니다.
관측 (Observation, $\Omega$ ): 어시스턴트는 오직 대화 이력 $h_t$ 만을 관측합니다. 지면 진실 명세 $x^*$ 와 의도 상태 $i_t$ 는 추론되어야 합니다.
행동 (Action, $A$ ): 어시스턴트는 행동 $a_t = (m_t^a, e_t, \rho_t)$ $a_{t} = (m_{t}^{a}, e_{t}, ρ_{t})$ 를 취합니다.
- $m_t^a$ : 자연어 응답 (예: 명확화를 위한 질문).
- $e_t \in \{0, 1\}$ : 과업 실행에 대한 확약을 나타내는 정지 신호.
- $\rho_t$ : 유한한 후보 집합 $C$ ( $x^*$ 와 14개의 변형된 후보를 포함)에 대한 순위. 이 순위는 대화 내용에 후보를 유출하지 않고 모델의 내부 신념을 측정하기 위해 별도의 스레드에서 도출됩니다.
전이 (Transition, $T$ ): 지면 진실 $x^*$ 는 고정된 상태를 유지합니다. 사용자 시뮬레이터( $x^*$ 에 대한 특권적 접근 권한을 가진 LLM으로 구현됨)는 대화 이력과 어시스턴트의 행동에 기반하여 응답 $m_t^u$ 를 생성하고 의도 상태 $i_{t+1}$ 을 진화시킵니다.
목표: 어시스턴트 정책 $\pi_a$ 는 상호작용을 사용하여 자신의 가설을 $x^*$ 에 집중시키는 동시에, 불확실성 하에서 성급한 확약을 피해야 합니다.

2. 평가 지표

프레임워크는 두 가지 차원에서 성능를 평가합니다:

과업 복구 (Task Recovery): 모델이 확약 시점에 올바른 과업을 식별했는지 측정합니다.
- CommitAcc@1: 최상위 순위 후보가 정답일 경우의 이진 정확도.
- CommitRank: 정답의 정규화된 순위.
- CommitReward: 정확도와 상호작용 비용( $\alpha \hat{r}_{T^*} - \lambda T^*$ ) 사이의 균형을 맞추는 보상 함수.
불확실성 해소 (Uncertainty Resolution): 모델이 상호작용을 통해 얼마나 효과적으로 불확실성을 줄이는지 측정합니다.
- 총 정보 이득 (Total Information Gain, TotalIG): 에피소드 시작부터 끝까지 후보들에 대한 모델의 신념 분포(belief distribution)의 정규화된 엔트로피 감소량.
- 4분면 분류 체계 (Four-Quadrant Taxonomy): 확약 턴에서의 정답 여부(순위)와 확신도(엔트로피)를 기준으로 결과를 분류합니다: 확신 있는 정답(Confidently Correct), 확신 있는 오답(Confidently Wrong), 운 좋은 정답(Lucky Correct), 정직한 불확실(Honestly Uncertain).

3. 실험 설정

도메인: 세 가지 뚜렷한 설정이 사용되었습니다:
- Shopping-MMLM: 특정 제품 구매.
- GDPVal: 실제 결과물 생성.
- Terminal-Bench: 코드 작성 또는 명령어 실행.
미지정성 (Underspecification): 지면 진실 명세는 다양한 수준의 사용자 모호성을 시뮬레이션하기 위해 세 가지 추상화 단계(추상적, 중간적, 구체적)로 재작성되었습니다.
평가 대상 모델: OpenAI GPT-5.4 변형, Claude Sonnet-4.6, Google Gemini-3, Qwen3.5 시리즈(9B~397B)를 포함한 14개의 최첨단 모델.
인간 베이스라인: Shopping 도메인에서 인간의 성능 상한선을 설정하기 위해 인간 연구가 수행되었습니다.

주요 결과

1. 모델은 과업 정렬에 어려움을 겪음

완전하게 규정된 과업에서는 높은 성능을 보임에도 불구하고, 현재의 모델들은 과업이 미지정된 상황에서 크게 실패합니다.

낮은 복구율: 추상적인 의도 하에서, 모델들은 세 도메인 전체에서 평균적으로 **22% – 32%**의 확률로만 올바른 과업을 복구합니다.
성급한 확약: 모델들은 종종 너무 일찍 실행을 확약하며(예: GPT-5.4 변형 모델들은 1~2턴 내에 확약함), 충분한 정보를 수집하는 데 실패합니다.
비효과적인 상호작용: 모델들은 빈번하게 모호한 요청을 명확히 하지 못하며, 이는 잘못된 가정에 대해 높은 확신을 가지고 행동하는 "확신 있는 오답" 결과로 이어집니다.

2. 과업 정렬은 분리 가능한 축임

본 연구는 과업 정렬이 원시적인 과업 실행 능력과는 별개임을 입증합니다.

디커플링 (Decoupling): Shopping 도메인에서 14개 모델 모두 기저의 과업 능력(점수 81–88%)은 포화 상태였으나, 과업 정렬 성능은 거의 3배 가까이 차이가 났습니다 (CommitRank 0.28–0.81).
직교성 (Orthogonality): 분산 분해 결과, 과업 능력이 정렬의 분산을 일부 설명하기는 하지만, 상당 부분(약 39–40%)은 과업 능력과 직교하는 성분에 의해 설명됩니다. 즉, 과업 정렬은 모델 행동의 안정적이고 도메인 일반적인 축입니다.

3. 인간의 우월성과 커뮤니케이션

인간의 성능: 인간은 Shopping 도메인에서 **48%**의 과업 복구율을 달성하여, 가장 뛰어난 LLM(GLM-5.1, 약 37%)을 능가했습니다.
커뮤니케이션 vs 추론: 절제 연구(ablation study) 결과, 인간의 우위는 추론 능력이 아닌 커뮤니케이션 능력에서 기인함을 밝혀냈습니다. LLM에게 인간 간의 상호작용 스크립트를 제공하여 과업을 추론하게 했을 때, 정확도가 거의 두 배로 증가하여(~25%에서 ~49.5%로) 인간 베이스라인을 넘어섰습니다. 이는 인간이 대화를 통해 정보를 이끌어내고 해결하는 데 더 능숙함을 나타냅니다.

4. 사후 학습(Post-Training)의 영향

CommitReward 신호를 사용하여 Qwen3.5-9B를 지도 학습(SFT) 및 강화 학습(RL)으로 미세 조정했을 때 성능이 향상되었습니다:

과업 복구: CommitAcc@1이 15.2%(기본)에서 23.6%(RL)로 증가했습니다.
불확실성 캘리브레이션: 학습은 "확신 있는 오답" 사례를 크게 줄였으며(RL 적용 시 53.0% $\to$ 18.8%), "정직한 불확실" 사례를 증가시켰습니다(32.0% $\to$ 57.5%). 이는 모델이 더 잘 캘리브레이션되었음을 의미합니다.
한계: 개선에도 불구하고, 사후 학습된 모델은 과업 복구 측면에서 여전히 인간의 성능에 뒤처져 있습니다.

의의 및 주장

본 논문은 과업 정렬이 실제 배포 환경에서 신뢰할 수 있는 에이전시(agency)를 위한 전제 조건이라고 주장합니다. 모델이 복잡한 과업을 실행하는 능력이 높아짐에 따라, 모호성을 감지하고, 정보를 이끌어내며, 언제 행동할지를 아는 능력이 주요 병목 현상이 됩니다.

저자들의 기여는 다음과 같습니다:

과업 발견을 과업 실행과 분리하여 측정하는 POMDP 기반의 프레임워크를 제시했습니다.
현재의 LLM이 신뢰할 수 있는 에이전시에 필요한 핵심 상호작용 능력이 부족하며, 종종 성급하게 행동하고 불확실성을 해결하는 데 실패한다는 실증적 증거를 제시했습니다.
과업 정렬이 원시적인 실행 능력과 구별되는, 분리 가능한 도메인 일반적 능력임을 입증했습니다.
인간이 모호한 설정에서 우수한 커뮤니케이션 행동 덕분에 모델보다 뛰어남을 검증했으며, 사후 학습이 이 격차를 부분적으로 메울 수는 있지만 완전히 좁힐 수는 없음을 보여주었습니다.

이 연구는 미래의 평가 및 학습 패러다임이 인간 의도의 본질적인 모호함을 다룰 수 있는 에이전트를 구축하기 위해 "정렬 단계(alignment stage)"를 명시적으로 다루어야 함을 시사합니다.