Affect-Aware Human-Agent Conversations: Towards Empathic LLM Interaction

기술 요약: 정서 인지형 인간-에이전트 대화

문제 정의
대규모 언어 모델(LLM)은 대화 능력은 갖추고 있으나, 진정한 정서적 경험은 결여되어 있으며 대신 공감을 시뮬레이션하기 위해 확률적 패턴 인식에 의존한다. 이는 알고리즘의 정서적 단서 인식을 진정한 공명으로 오해하게 만드는 "공감의 환상(compassion illusion)"을 생성한다. 현재의 인간-AI 상호작용은 주로 텍스트 기반이며, 인간의 해석에 핵심적인 비언어적 정서 단서를 배제하고 있다. 결과적으로 LLM의 응답은 명시적인 텍스트 입력에만 의존할 뿐, 인간 의사소통의 풍부하고 상황적인 맥락을 반영하지 못하는 "관계적 접지(relational grounding)"의 부재를 보인다. 이전 연구에서 "공감적 프롬프팅(Empathic Prompting)"을 개념 증명으로서 도입했으나, 이는 견고한 실시간 통합이나 포괄적인 사용자 검증 없이 탐색적이고 신속한 파일럿 구현에 국한되었다.

방법론
본 연구는 얼굴 정서 기술자(facial affective descriptors)를 통해 인간-LLM 대화를 풍부하게 하도록 설계된 실시간 정서 인지 프레임워크인 **공감적 확장 프롬프팅(Empathic Extended Prompting)**을 제안하고 평가한다.

• 시스템 아키텍처: 시스템은 클라이언트-미들웨어-서버 아키텍처를 활용한다.

  • 클라이언트: 카메라 스트림을 통해 사용자의 얼굴 표정을 포착한다.
  • 미들웨어: 비디오를 처리하여 로우 데이터인 액션 유닛(Action Units) 대신 고차원 정서 기술자(지배적 감정, 강도, 밸런스, 각성도)를 추출하는 Noldus FaceReader를 사용한다. 커스텀 미들웨어는 이러한 기술자를 필터링, 동기화 및 압축된 JSON 형식으로 직렬화하며, 사용자의 상태에 대한 단기 기억을 유지하기 위해 **정서 파라미터 큐(EPQ)**에 저장한다.
  • 서버: 사용자의 텍-입력 시, 서버는 가장 최근의 정서 샘플을 검색한다. 3초간의 시간적 창(temporal window)을 적용하여 지배적 감정에 대한 다수결 투표를 수행하고 강도, 밸런스, 각성도의 평균값을 계산한다. 이 수치들은 LLM이 해석할 수 있도록 이산적 언어 레이블(예: "높음" 강도, "긍정적" 밸런스)로 매핑된다.
  • 프롬프트 구성: 시스템은 실시간 정서 상태($F^t_e$)와 프라이밍 단계의 시간적 히스토그램에서 유도된 세션 수준 정서 사전 정보($P^t_e$)를 사용자의 텍스트($M_t$) 앞에 붙여 증강된 사용자 턴($\tilde{M}_t$)을 구축한다. 이 증강된 맥락은 공감적 상호작용 규칙을 정의하는 지속적인 시스템 프롬프트와 결합되어 LLM으로 전송된다.

• 실험 설계: N = 20명의 참가자를 대상으로 피험자 내 설계(within-subjects study)가 수행되었다.

  • 조건: 참가자들은 두 가지 조건 중 하나에서 LLM과 상호작용했다: 실험군(정서 인지형) 및 대조군(텍는 기반의 공감 텍스트 전용 베이스라인).
  • 절차: 세션은 특정 정서 상태를 유도하기 위해 검증된 비디오 클립(라이온 킹 - 슬픔, 월-E - 기쁨)을 사용하는 정서적 프라이밍 단계로 시작되었다. 이후 참가자들은 자신의 정서적 경험에 대해 5분간 반구조화된 대화를 나누었다. 조건과 비디오 자극의 순서는 상쇄 설계(counterbalanced)되었다.
  • 모델: 개인정보 보호와 일관성을 보장하기 위해 OLLAMA를 통해 로컬에 호스팅된 deepseek-r1:32b 모델이 대화의 백본 역할을 수행했다.
  • 측정 도구: 평가는 시스템 사용성 척도(SUS), 기술에 대한 지각된 공감 척도(PETS), 네트워크드 마인즈 사회적 실재감 측정, 그리고 Godspeed 설문 시리즈(호감도, 유능함, 안전성 중심)를 포함했다. 강제 선택형 순위 매기기를 통해 명시적 선호도를 평가했다.

주요 기여

1. 실시간 정서 통합: 본 연구는 생체 데이터를 모델에 직접 노출하지 않으면서도 얼굴 정서 기술자를 지속적으로 추출, 처리 및 LLM 맥맥에 주입하는 기능적 파이프라인을 구현한다.
2. 정교한 프롬프팅 전략: 단순히 단서를 추가하는 기존 방식과 달리, 이 프레임워크는 명시적인 공감적 상호작용 모델에 시스템 프롬프트를 접지한다. 정서적 단서는 단순한 메타데이터로서가 아니라, 모델의 대화적 태도(예: 각성에 따른 속도 조절, 텍스트-얼굴 불일치 은폐 등)를 결정하는 데 영향을 미친다.
3. 경험적 검증: 본 논문은 실시간 정서적 맥락이 부정적인 효과(불쾌한 골짜기 또는 사용성 저하 등)를 유발하지 않고 상호작용의 질을 개선하는지 조사하기 위해, 정서 인지 시스템을 텍스트 전용 베이스라인과 비교하는 엔드 유저 검증 연구를 제공한다.

결과

• 지각된 품질: 정서 인지 조건은 주요 상호작용 차원에서 더 높은 기술적 점수를 보였다. 특히 Godspeed 유능함($\Delta = +0.31$), PETS 이해 및 신뢰($\Delta = +0.21$), PETS 정서적 반응성($\Delta = +0.16$), Godspeed 호감도($\Delta = +0.13$)에서 주목할 만한 개선이 관찰되었다.
• 사용성 및 안전성: 사용성 점수(SUS)는 두 조건 모두에서 높고 수용 가능한 수준을 유지했다 (대조군: 81.25, 실험군: 79.38). 이는 정서 처리의 추가가 인터페이스 경험을 저해하지 않았음을 나타낸다. 안전성 지각 또한 두 조건 간에 안정적으로 유지되었다.
• 통계적 유의성: 거시적 구성 요소 수준에서, 쌍체 윌콕슨 부호 순위 검정(paired Wilcoxon signed-rank tests)은 조건 간의 통계적으로 유의미한 차이를 밝혀내지 못했는데, 이는 이미 지지적인 응답을 생성하는 현대의 지시어 튜닝된 LLM의 천장 효과(ceiling effects) 때문인 것으로 보인다. 그러나 기술적 경향성은 정서적 지능과 기분 반응성 측면에서 일관되게 정서 인지 조건을 선호했다.
• 부정적 효과: 실시간 얼굴 신호를 주입하는 것이 부정적인 상호작용 효과를 일으키거나, 지각된 안전성을 낮추거나, 불쾌한 골짜기와 같은 인식을 생성한다는 증거는 발견되지 않았다.

의의 및 주장
본 논문은 실시간 정서적 맥락을 통합하는 것이 LLM 대화에 관계적 접지를 더할 수 있으며, 패러다임을 "도구로서의 AI"에서 "협업자로서의 AI"로 전환할 수 있다고 주장한다. 저자들은 목표가 LLM을 진정으로 공감하게 만드는 것(확률적 특성상 불가능함)이 아니라, 사용자가 느끼는 공감적 조율에 대한 지각을 개선하는 것임을 강조한다. 지속적인 정서 피드백에 따라 대화적 태도를 조정함으로써, 시스템은 더욱 상황에 적합한 상호작용을 지원한다. 연구 결과는 멀티모달 정서적 접지가 사용성을 해치거나 부정적인 심리적 반응을 유발하지 않으면서도, 지각된 정서 지능과 반응성을 향상시킨다는 것을 시사하며, 이는 더 자연스러운 인간-에이전트 협업을 위한 실행 가능한 경로를 제시한다.