기술 요약: 생각하는 것이 말하는 것은 아니다: 사용자-서비스 LLM 에이전트의 정보 공개(Information Disclosure)

1. 문제 정의

대규모 언어 모델(LLM) 에이전트는 에이전트, 사용자, 그리고 상태가 유지되는 환경 간의 협업에 따라 작업 성공 여부가 결정되는 사용자-서비스 시나리오에 점점 더 많이 배치되고 있습니다. 정적인 추론 벤치마크와 달리, 이러한 상호작용에는 비대칭적 정보가 존재합니다. 즉, 에이전트는 종종 사용자가 관찰할 수 없는 작업 정책, 도구 결과, 환경 상태에 대한 접근 권한을 가집니다.

본 논문은 중요한 커뮤니케이션 차원의 실패 모드를 식별합니다: 내부 추론이 반드시 적시적이고 사용자에게 유효한 정보 공개로 이어지는 것은 아니라는 점입니다. 에이전트는 행동하기 전에 내부 추론을 수행하기 위해 사용자에게 보이지 않는 "생각(think)" 도구를 갖추는 경우가 많지만, 이 사적인 프로세싱이 사용자에게 의사결정에 중요한 정보를 외부로 전달(externalize)하는 데 빈번히 실패합니다. 결과적으로, 사용자는 불완전한 맥락 하에서 중대한 결정(예: 동작 확인, 옵션 선택)을 내리게 되어 작업 실패로 이어질 수 있습니다. 저자들은 이 격차가 에이전트의 추론 능력 자체의 문제가 아니라, 그 추론을 정보 공개(Information Disclosure, InfoDis)—즉, 상태 교정, 제약 조건, 옵션, 결과 및 검색된 환경 데이터의 선제적 소통—로 전환하는 데 실패했기 때문이라고 주장합니다.

2. 방법론

2.1. "생각(Think)" 도구의 경험적 검증

저자들은 먼저 다섯 가지 모델(GPT-4o, GPT-4.1, GPT-5, DeepSeek-V3.1, gpt-oss-120b)과 세 가지 사용자-서비스 시나리오(Retail, Airline ($\tau$-Bench 기반), TS-Phone (ToolSandbox 기반))를 대상으로 강제된 내부 사고의 효용성을 평가했습니다.

• 설정: 각 단계 직전에 강제된 "생각" 도구를 사용하는 에이전트와 그렇지 않은 에이전트를 비교했습니다.
• 지표: $\text{Pass}^k$ (k번의 독립적인 시행이 성공할 확률)로 측정된 작업 신뢰도.
• 결가: 강제된 사고가 성능을 일관되게 개선하지 못했습니다. 몇몇 사례(예: Retail 시나리오의 GPT-4.1)에서는 성공률이 오히려 크게 저하되었습니다. 또한, "생각 노력(think effort)"을 높이는 것(low, medium, high)이 사용자 대상 응답의 길이 또는 정보성으로 반드시 직결되지는 않았습니다.

2.2. 정보 공개(Information Disclosure)의 정의 및 프로빙

누락된 커뮤니케이션을 정량화하기 위해, 저자들은 **정보 공개(InfoDis)**를 에이전트가 선제적으로 전달하는, 사용자가 인지하지 못할 가능성이 높은 의사결정 관련 정보로 정의했습니다. 이를 다섯 가지 이진 카테고리로 구조화했습니다(표 2):

1. 상태 교정 (State Correction, SC): 현재 상태에 대한 사용자의 오해를 바로잡음.
2. 옵션 (Option, OP): 가능한 선택지들을 제시함.
3. 제약 조건 (Constraint, CN): 규칙, 정책 또는 자격 제한 등을 공개함.
4. 결과 (Consequence, CQ): 결과(재무적, 시간적, 되돌릴 수 없는 영향 등)를 설명함.
5. 선제적 검색 (Proactive Retrieval, PR): 에이전트가 가져온 환경 데이터를 명시적 요청 없이 공유함.

2.3. 근거 기반 프로빙 및 반사실적 개입

연구는 실패한 궤적(trajectory)을 분석하고 개입하기 위해 다단계 파이프라인을 사용했습니다:

• 근거 기반 어노테이션: 어노테이터들은 객관성을 보장하기 위해 내부 "생각" 흔적을 마스킹한 상태에서, 사용자에게 보이는 응답의 정확한 텍스트 구간을 기준으로 InfoDis 카테고리를 라벨링했습니다.
• 반사실적 개입: 실패한 궤적에 대해, 첫 번째 환경 편집(environment-edit) 동작 전의 마지막 사용자 결정 지점을 식별했습니다. 이를 매칭된 성공적인("golden") 궤적과 비교했습니다.
• 주입 전략: 골든 궤적에서 누락된 InfoDis 증거를 실패한 궤적에 주입했습니다. 이를 다음 두 가지 대조군과 비교했습니다:
  • +Verbosity: 특정 누락 증거를 추가하지 않고 응답 길이만 늘림.
  • +Think Content: 에이전트의 내부 "생각" 흔적에서 원문 텍스트를 주입함.
• 지표:
  • 첫 번째 편집 교정율 (First Edit Correction Rate, FECR): 개입 후 첫 번째 환경 편집 동작이 골든 궤적과 일치하도록 수정된 비율.
  • 회복률 (Recovery Rate, RR): 개입 후 최종 작업 결과가 성공으로 바뀐 비율.

2.4. 프롬프트 수준의 개입

마지막으로, 저자들은 시스템 프롬프트에 추가될 가벼운 **InfoDis 인식 프롬프트(InfoDis-aware prompt)**를 테스트했습니다. 이는 에이전트에게 사용자 결정 지점 이전에 의사결정에 관련된 상태, 제약 조건, 결과를 공개하도록 지시합니다.

3. 주요 결과

3.1. 내부 사고 vs. 사용자 커뮤니케이션

• 강제된 사고는 불안정한 효용성을 보였으며, 작업 성공률이나 신뢰도를 개선하는 데 자주 실패했습니다.
• 내부 사고 노력을 높이는 것이 사용자 대상 응답의 풍부함과 상관관계를 갖지 않았으며, 어떤 경우에는 강제된 사고에도 불구하고 응답 길이가 오히려 감소했습니다.

3.2. 정보 공개의 인과적 영향 (RQ1)

• **골든 정보 주입 (Golden Info Injection)**은 FECR에서 가장 뚜렷한 개선(마이크로 평균 11.74%)을 보였으며, 이는 +Verbosity(6.08%)와 +Think Content(6.50%)를 유의미하게 상회하는 결과였습니다.
• 이는 누락된 의사결정 관련 정보 공개가 에이전트의 즉각적인 다운스트림 환경 편집 동작에 인과적으로 영향을 미친다는 것을 나타냅니다.
• 원시 "생각" 내용을 주입하는 것은 타겟팅된 골든 정보를 주입하는 것보다 효과가 낮았는데, 이는 내부 추론 흔적이 사용자에게 공개할 정보를 자동으로 포함하거나 구조화하지 못함을 시사합니다.

3.3. 실패에서의 누락된 차원 (RQ2)

• 개입 빈도 분석 결과, **상태 교정(SC)**과 **제약 조건(CN)**이 실패한 궤적에서 가장 빈번하게 누락된 카테고리로 나타났습니다.
• **옵션(OP)**은 가장 적게 누락되었습니다.
• 이는 실패가 주로 사용자가 현재 상태의 실상이나 운영상의 제약(예: "항목 하나만 취소할 수는 없습니다")을 인지하지 못할 때 발생함을 시사합니다.

3.4. 프롬프트 수준의 개선 (RQ3)

• InfoDis 인식 프롬프트를 추가하는 것은 "생각" 도구가 없는 에이전트의 전반적인 성능을 향상시켰습니다.
• 결정적으로, 이는 강제된 사고를 사용하는 에이전트에서 관찰된 성능 저하를 완화했습니다. 예를 들어, GPT-4o의 강제된 사고 작업에서의 마이크로 $\text{Pass}^1$은 InfoDis 프롬프트 사용 시 52.32%에서 57.58%로 향상되었습니다.
• 이러한 이득은 Retail 시나리오에서 특히 두드러졌습니다.

4. 기여 및 의의

본 논문은 세 가지 주요 기여를 합니다:

1. 문제의 재정의: 저자들은 누락된 정보 공개를 별개의 추론-커뮤니케이션 문제로 규정하며, 사용자의 결정이 에이전트가 보유한 정보에 의존할 때 내부 추론만으로는 불충분하다고 주장합니다.
2. 방법론적 프레임워크: 자연스러운 대화에서 InfoDis를 조사하기 위한 근거 기반 프레임워크를 도입하고, 반사실적 개입을 사용하여 정보 공개와 다운스트림 작업 역학 사이의 인과 관계를 확립합니다.
3. 실용적 개입: 정보 공개 인식 프로프팅이 에이전트 성능을 개선하고 강제된 사고의 부정적 효과를 완화할 수 있는 가볍고 학습이 필요 없는 방법임을 입증합니다.

의의:
저자들은 사용자-서비스 에이전트의 핵심 과제가 단순히 내부 추론 능력을 강화하는 것이 아니라, 사적인 추론과 환경 지식을 적시적이고 사용자에게 유효한 정보 공개로 외부화하는 데 있다고 결론짓습니다. 본 연구는 미래의 에이전트 설계가 단순히 에이전트가 어떻게 생각할 것인가를 넘어, 협력적 작업 완수를 위한 충분한 공통 기반(common ground)을 구축하기 위해 사용자 결정 지점 이전에 무엇을 공개할 것인가를 최적화해야 함을 시사합니다.