기술 요약: 로봇이 자신의 상호작용을 평가할 때

문제 정의

인간-로봇 상호작용(HRI) 평가는 현재 단방향적이다. 즉, 인간이 표준화된 도구(예: Godspeed, RoSAS, HRI-CUES)를 사용하여 로봇을 평가하는 반면, 로봇의 관점은 검토되지 않은 채 남아 있다. 사회적 로봇이 대화 능력을 위해 대규모 언어 모델(LLM)에 점점 더 의존함에 따라, 이러한 모델이 로봇 자신의 관점에서 상호작용을 타당하게 평가할 수 있는지에 대한 중요한 격차가 존재한다. 인접 연구들은 LLM이 행동 연구에서 인간 참가자의 대리인 역할을 할 수 있음을 시사하지만, 이들은 종lama 긍정 편향(positivity bias)을 보이고 개별 수준의 예측에는 어려움을 겪는다. 더욱이, 이전의 어떤 연구도 LLM을 외부 관찰자가 아닌 상호작용 내의 '참가자'(역전된 평가 패러다임)로 조사한 적이 없다. 핵심 문제는 LLM 기반 로봇이 상호작용의 질, 특히 몰입(engagement)과 같은 구성 개념과 '생소함(strangeness)' 또는 불편함과 같은 내부 정서 상태에 관한 구성 개념에 대해 유효한 자기 평가를 생성할 수 있는지 여부를 결정하는 것이다.

방법론

저자들은 세 가지 연구 질문을 조사하기 위해 두 가지 연구를 수행했다: (1) LLM 생성 평가는 인간의 실제 값(ground truth)과 수렴하는가? (2) LLM은 어떤 구성 개념에서 성공하거나 실패하는가? (3) 이 패러다임은 실제 구현된(embodied) 상호작용에서 어떻게 작동하는가?

연구 1: 회고적 분석

• 데이터셋: Furhat 로봇(GPT-3.5 기반)과 대화한 25명의 노인으로부터 얻은 전사 데이터(HRI-CUES 데이터셋)를 사용하였다. 전사본은 스웨덴어에서 영어로 번역되었다.
• 모델: 다섯 가지 LLM을 평가하였다: GPT-3.5, GPT-4o-mini, GPT-4, Claude Sonnet 4.5, Claude Haiku 4.5.
• 절차: LLM에 로봇 페르소나, 상호작용 전사본, 그리고 "뒤집힌(flipped)" 설문 항목(예: "나는 로봇과 대화하는 것이 즐거웠다"가 "인간은 나와 대화하는 것을 즐기는 것처럼 보였다"로 변경됨)을 프롬프트로 제공하였다.
• 도구: HRI-CUES(만족도, 즐거움, 흥미, 편안함/생소함), Godspeed 설문지, RoSAS를 사용하였다.
• 통제 변수: 아이템 무작위화, 페르소나 변형, 온도 샘플링(temperature sampling), 그리고 프롬프트 아티팩트나 길이 혼란(confound)을 배제하기 위한 합성 대화 생성을 포함한 강건성 통제를 실시하였다.
• 멀티모달 확장: 단계 3에서는 Claude Sonnet 모델에 감정 레이블과 합성 얼굴 이미지를 텍스트 입력에 추가했을 때의 효과를 테스트하였다.

연구 2: 실시간 구현 파일럿

• 설정: Claude Sonnet 4.5를 실행하는 Nao 휴머노이드 로봇("Noah")이 4명의 연구실 구성원과 자유 주제 대화를 나누었다.
• 실시간 평가: 로봇은 매 턴마다 얼굴 이미지와 음성을 캡처하여 API로 전송함으로써 대화 답변을 생성하고 즉각적인 HRI-CUES 점수를 생성하였다.
• 비교: 참가자들은 상호작용 중 및 상호작용 후에 독립적인 평가를 제공하였으며, 이를 통해 인간과 로봇의 턴 단위 발산(divergence)을 비교하였다.

주요 결과

1. 신뢰성 및 몰입 타당성

LLM은 높은 내부 일관성과 신뢰성을 보여주었다.

• 신뢰성: 검사-재검사 신뢰도(ICC)는 모든 모델에서 우수하였다 (Claude ≥ .99; GPT-4o/4o-mini .94–.95; GPT-3.5 .82).
• 몰입 차원: LLM은 몰입 구성 개념에 대해 인간의 실제 값과 중간에서 강한 수준의 일치도를 보였다. **즐거움(Enjoyment)**에 대한 상관관계는 $r = .46$에서 $.72$였고, **만족도(Satisfaction)**는 $r = .18$에서 $.65$였다. 능력이 높은 모델일수록 일반적으로 더 강한 타당성을 보였다.
• 긍정 편향: 일반적인 긍정 편향이 관찰되었는데, LLM은 만족도, 흥흥미, 편안함을 인간의 자기 보고보다 더 높게 평가하였다. 다만, 즐거움만이 실제 값보다 낮게 평가된 유일한 차원이었다.

2. "생소함의 실패(Strangeness Failure)"

가장 중요한 발견은 편안함/생소함(Comfort/Strangeness) 차원에서의 체계적인 실패였다.

• 역전된 상관관계: 다섯 가지 모델 모두에서, 편안함(생소함의 역코딩)에 대한 LLM 평가는 인간의 실제 값과 유의미한 음의 상관관계를 보였다 ($r = -0.44$ ~ $-0.67$).
• 메커니즘: 저자들은 LLM이 "몰입"과 "편안함"을 혼동한다고 주장한다. 참가자들이 로봇의 본질에 대해 호기심, 철학적 탐구, 또는 놀라움을 표현할 때, LLM은 이를 생소함이나 불편함의 지표가 아닌 긍정적인 몰입 신호로 해석하였다.
• 지속성: 이 실패는 다음 상황에서도 지속되었다:
  • 서로 다른 모델 아키텍처 (OpenAI vs Anthropic).
  • 합성 제어 (감정이 명시적으로 레이블링된 경우에도 "생소함" 항목은 여전히 체계적으로 역전됨).
  • 실제 구현된 배치 (연구 2), 로봇이 철학적 대화를 매우 편안한 것으로 평가하는 동안 인간은 이를 매우 생소하게 느꼈다.

3. 멀티모달 및 척도 일반화

• 척도 호환성: LLM은 Godspeed 및 RoSAS 척도를 일관성 있게 파싱하고 완료하였다.
• 멀티모달 입력: 감정 레이블이나 합성 얼굴 이미지를 추가하는 것은 모델별 변화를 일으켰으나 (예: GPT-4o는 감정 레이블을 몰입의 증거로 취급했고, Claude는 모호성을 줄이는 요소로 취급함), 생소함의 실패를 해결하지는 못했다. 불편함에 대한 타당성 격차는 그대로 유지되었다.
• 실시간 상호작용: 연구 2에서 로봇은 행동적 이탈(예: 참가자가 명시적으로 대화를 원하지 않는다고 말할 때)을 성공적으로 추적했으나, 깊은 철학적 토론의 "생소함"을 감지하는 데는 실패하여 이를 고품질의 상호작용으로 오해하였다.

주요 기여

1. 역전된 평가 프레임워크: 본 논문은 전통적인 인간 중심의 평가 패러다임을 넘어, LLM 기반 로봇이 자신의 관점에서 표준화된 HRI 설문지를 완성하는 방법론을 확립하였다.
2. LLM 사회적 지각의 경계 조건: 이 연구는 HRI 평가에서 LLM 유틸리티의 명확한 한계를 정의한다. LLM은 행동적 몰입 차원(즐거움, 만족도)을 평가하는 데는 유효하지만, 언어적으로 명시되지 않은 '생소함'이나 '불편함'과 같은 내부 정서 상태를 평가하는 데는 유효하지 않다.
3. "생소함의 실패"에 대한 실증적 증거: 본 논문은 (1,522회의 평가, 5개의 모델, 실시간 배치를 통해) LLM이 편안함/생소함 차원을 체계적으로 역전시켜, 호기심과 참신함을 편안함으로 오해한다는 강력한 증거를 제시한다.
4. 관찰자와 참가자 프레이밍의 구분: 저자들은 LLM이 HRI 시나리오의 외부 관찰자로서 수행할 때는 잘 작동할 수 있지만, 참가자로 행동할 때는 일부 일치성을 희생하더라도 현장 중심의 양방향 평가 능력을 갖추려 할 때 성능이 저하됨을 입증하였다.

의의 및 주장

본 논문은 LLM 기반의 자기 평가만으로는 포괄적인 HRI 평가에 불충분하다고 주장한다. "생소함의 실패"는 현재의 LLM이 참여자의 주관적 경험이나 로봇의 물리적 존재감, 혹은 본질에 의존하는 구성 개념을 평가하는 데 필요한 내부 정서 상태에 접근할 수 없음을 나타낸다.

저자들은 로봇이 사회적으로 효과적으로 적응하기 위해(대화, 이동, 간병 등) LLM의 추론에만 의존해서는 안 된다고 주장한다. 대신, 참여자가 언어로 표현하지 않는 내부 상태를 포착하기 위해 생체 신호(예: 심박수), 시선 추적, 또는 근접학(proxemics)과 같은 **보조적인 감지 양식(sensing modalities)**이 반드시 필요하다. 역전된 평가 패러다임은 몰입 관련 구성 개념에 대해서는 유효한 보완책이 될 수 있으나, 불편함과 생소함에 대한 사각지대를 해결하기 위해서는 비언어적 데이터로 보강되어야 한다.