기술 요약: ThoughtTrace: 실제 세계 LLM 상호작용에서의 사용자 사고 이해

문제 제기

대화형 AI 시스템은 대규모로 확장되었으나, 기존 데이터셋과 연구는 주로 사용자의 관찰 가능한 발화를 포착할 뿐 이를 이끄는 근본적인 인지 과정을 다루지 못합니다. 현재 접근법은 대화 기록을 주요 관찰 단위로 간주하여 사용자의 의도를 명시적으로 발화된 내용으로만 제한합니다. 이로 인해 사용자의 행동을 형성하는 잠재적 동기, 제약 조건 및 반응을 놓치는 인간-AI 상호작용에 대한 '표면적'인 관점이 초래됩니다. 최근 연구는 기계의 마음 이론 (ToM) 과 사용자 시뮬레이션을 탐구했으나, 이러한 노력들은 종종 구조화된 제한적 정신 변수나 합성 데이터에 의존하여 실제 세계 상호작용의 역동적이고 말하지 않는 인지적 맥락을 포착하지 못합니다.

방법론

저자들은 실제 세계의 다중 턴 인간-AI 대화와 사용자의 자기 보고식 잠재적 사고를 짝짓기 위해 설계된 대규모 데이터셋 및 프레임워크인 ThoughtTrace를 소개합니다.

데이터 수집

• 참가자 및 규모: 본 연구는 1,058 명의 고유한 사용자가 2,155 개의 대화에 참여하여 17,058 개의 상호작용 턴과 10,174 개의 사고 주석을 생성했습니다.
• 모델: 상호작용은 최첨단 모델 (예: GPT-5.4, Gemini 3.1 Pro Preview, Claude Opus 4.6) 부터 소형 오픈 가중치 모델에 이르기까지 20 개의 서로 다른 언어 모델에서 발생했습니다. 사용자는 상호작용 중인 특정 모델을 알지 못했습니다.
• 절차: 참가자들은 10 분 시간 제한 내에서 두 가지 개방형 자기 정의 과제 (예: 계획 수립, 문제 해결) 를 수행했습니다. 핵심적으로 자연스러운 채팅과 병행하여 사용자는 실시간으로 사적으로 사고를 주석했습니다:
  • 이유: 특정 사용자 메시지를 보낸 이유에 대한 설명 (예: 과제 동기, 맥락 기반).
  • 반응: 어시스턴트의 이전 메시지에 대한 내부적 응답 (예: 스타일 또는 내용과 관련된 만족도, 불만족도).
• 인구통계: 데이터셋은 연령, 성별, 교육 수준, 직업, AI 사용 빈도에 대한 풍부한 메타데이터를 포함하여 빈번한 AI 사용자의 대표적 스펙트럼을 보장합니다.

사고 분류 체계

저자들은 사고를 두 가지 주요 형태와 구체적인 하위 유형으로 분류했습니다:

1. 이유 (7 가지 유형): 과제 동기 및 목표, 과제 지속, 과제 재방향, 맥락 기반 및 제약 조건, 내용 기대, 스타일 기대, 사회적/기타.
2. 반응 (5 가지 유형): 명시적 긍정, 부분적 만족, 내용 관련성, 제시 스타일, 범위 적합성.

주요 기여

1. 새로운 데이터 양식: ThoughtTrace 는 자연스러운 다중 턴 대화와 풍부한 1 인칭 인지 흔적 (이유 및 반응) 및 인구통계 메타데이터를 짝짓는 최초의 대규모 데이터셋입니다.
2. 사고의 특성화: 본 논문은 사고가 네 가지 주요 속성을 가진 고유한 데이터 양식임을 확립합니다:
   • 메시지와 구별됨: 사고는 대화에서 발화되지 않은 상당한 잠재 정보를 포착합니다. 임베딩 분석은 메시지와 해당 이유/반응 사이에 의미적 전환이 유의미함을 보여줍니다.
   • 추론이 어려움: 최첨단 LLM(GPT-5.4, Gemini 3.1, Claude Opus 4.6) 은 맥락만으로 이러한 사고를 추론하는 데 어려움을 겪으며, 인간 주석과 비교하여 의미적 유사성 점수가 낮습니다 (1-5 점 척도에서 이유는 평균 약 2.9, 반응은 약 2.5).
   • 다양한 내용: 사고는 고차원적 동기부터 구체적인 불만 신호에 이르기까지 광범위한 의도 스펙트럼을 포괄합니다.
   • 단계 의존성: 사고 역학은 대화 단계에 따라 변화합니다 (예: 초기 턴에서는 과제 동기가 지배적이지만, 후기에는 과제 지속 및 맥락 기반 이유가 우세함).
3. 실용성 입증: 본 논문은 하류 모델링 작업에 대한 사고의 실용적 가치를 검증합니다.

실험 결과

1. 사용자 행동 예측

저자들은 사고 주석에 대한 접근이 LLM 의 다음 사용자 메시지 예측 능력을 향상시키는지 평가했습니다.

• 설정: 세 가지 최첨단 모델은 (a) 대화 기록만 또는 (b) 사용자의 주석된 이유 및 반응이 보강된 대화 기록을 기반으로 다음 사용자 메시지를 예측하도록 과제를 부여받았습니다.
• 결과: 사고 보강 예측은 기록만 있는 기준선보다 유의미하게 우수했습니다. 평균 의미적 유사성 점수가 21.6 에서 30.6 으로 증가하여 41.7% 의 상대적 향상을 보였습니다. 이는 잠재적 사고가 표면적 대화에서 회복할 수 없는 사용자 needs 를 예측하기 위한 실행 가능한 신호를 제공함을 나타냅니다.

2. 모델 정렬 개선

저자들은 사고가 표준 메시지 기반 피드백보다 개인화된 어시스턴트 훈련에 더 나은 신호를 제공하는지 테스트했습니다.

• 설정: 불만족스러운 어시스턴트 응답의 '재작성 (rewrites)'을 생성했습니다.
  • 메시지 기반: 사용자의 후속 메시지에 기반한 재작성 (표준 접근법).
  • 사고 기반: 사용자의 명시적 불만족 반응과 근본적인 이유에 기반한 재작성.
  • 이러한 데이터는 Direct Preference Optimization(DPO) 을 통해 Qwen3.5-4B 모델을 훈련하는 데 사용되었습니다.
• 결과: 사고 기반 재작성으로 훈련된 모델은 Arena-Hard 벤치마크에서 47.9% 의 승리율을 달성하여 기본 모델 (+25.6%) 과 WildChat 기준선 (+6.6%) 을 능가했습니다. 특히, 사고 기반 재작성은 동일한 데이터셋에서 메시지 기반 재작성보다 +4.5% 더 우수하여, 사고가 사용자가 후속 메시지에서 명시적으로 표현하는 것보다 더 풍부한 불만 신호를 인코딩함을 시사합니다. 또한, 사고는 메시지 단독보다 2.2 배 더 많은 불만 사례를 표면화했습니다.

중요성 및 주장

본 논문은 ThoughtTrace 를 인간-AI 상호작용 뒤의 인지 역학을 연구하기 위한 기초 자원으로 위치시킵니다. 그 중요성은 세 가지 영역에 있습니다:

• 사용자 모델링: 대화 맥락이 잠재적 사고를 어떻게 형성하고 이러한 사고가 어떻게 이후 사용자 발화를 주도하는지 체계적으로 연구할 수 있게 하여, 표면적 행동을 넘어선 내부 의도로 이동합니다.
• 모델 훈련: 모델이 사용자의 잠재적 목표, 선호도 및 반응을 학습하고 정렬할 수 있는 새로운 감독 신호를 제공하여, 더 능동적이고 개인화된 어시스턴스로 이어질 가능성을 제시합니다.
• 평가: 사고 예측을 위한 벤치마크를 지원하고 사용자 만족도에 대한 사고 중심 지표를 제공하여, 표면적 정확도에서 잠재적 의도와 주관적 경험으로 평가를 전환합니다.

저자들은 사용자에게 사고를 외부화하도록 요청할 때 발생할 수 있는 반응성 (논리를 양극화할 수 있음) 과 데이터셋이 의식적으로 접근 가능한 인지 과정만 포착하여 무의식적 과정은 관찰되지 않는다는 한계를 인정합니다. 그러나 그들은 이러한 의식적으로 표현된 사고가 AI 어시스턴스 개선을 위한 가치 있고 이전에 기록되지 않았던 신호를 대표한다고 주장합니다.