How Reliable Are Multimodal Signals of Conversational State? Evidence from Remote Dyadic Collaborative Tasks

당신이 사람의 기분을 파악할 수 있는 로봇을 만들려고 한다고 상상해 보세요. 당신은 로봇이 사람들이 스트레스를 받고 있는지, 대화를 독점하고 있는지, 혹은 생각하는 데 어려움을 겪고 있는지 알기를 원합니다. 이를 위해 과학자들은 사람들이 어떻게 말하는지, 어떤 소리를 내는지, 그리고 어떤 단어를 선택하는지를 살펴봅니다. 이 분야는 '멀티모달 분석(multimodal analysis)'이라고 불리는데, 이는 단순히 "여러 가지 단서를 동시에 살펴보는 것"을 뜻하는 멋진 표현입니다. 여기서 큰 질문은, 이 단서들이 신뢰할 만한가 하는 점입니다. 만약 로봇이 특정 유형의 퍼즐 게임을 통해 스트레스를 감지하는 법을 배웠다면, 사람들이 그저 주말에 대해 수다를 떨 때도 그 기능이 여전히 작동할까요? 아니면 로봇이 잘못된 것을 학습했기 때문에 혼란에 빠지게 될까요? 이것이 컴퓨터에게 인간의 대화를 이해하도록 가르치려 할 때 연구자들이 직면하는 퍼즐입니다. 그들은 자신들이 사용하는 신호가 우리의 감정을 나타내는 실제 지표인지, 아니면 단지 스트레스처럼 보일 뿐인 우연한 패턴인지 알아내야 합니다.

이 논문에서 타히야 초두리(Tahiya Chowdhury)라는 연구자는 이러한 단서들을 조사하는 탐정 역할을 수행합니다. 그녀는 어떤 신호가 가장 신뢰할 수 있는지 확인하기 위해 세 단계의 테스트를 설정합니다. 그녀는 세 가지를 살펴봅니다: 정확도(단서가 올바른 것을 예측하는가?), 일반화 가능성(다른 상황에서도 작동하는가?), 그리고 신뢰도(단서가 일관적인가, 아니면 말하는 사람에 따라 변하는가?). 그녀는 53쌍의 사람들(dyads)이 지도 퍼즐 풀기부터 농담 나누기까지 아홉 가지의 서로 다른 과제를 줌(Zoom)을 통해 함께 수행하는 과정을 대상으로 이 단서들을 테스트했습니다.

그녀가 발견한 내용은 다음과 같으며, 결과는 약간의 반전이 있습니다.

먼저, 그녀는 **단어(언어적 특징)**를 살펴보았습니다. 이들은 정확도 측면에서 그룹의 "스타 운동선수"였습니다. 만약 목표가 한 사람이 얼마나 많은 정신적 노력을 기울이고 있는지를 추측하는 것이라면, 그들이 선택한 단어가 가장 좋은 예측 변수였습니다. 이는 마치 탐정이 피의자의 어휘만 듣고도 그 기분을 추측하는 것과 같습니다. 하지만 이 단어들은 "여행자"가 되기에는 엉망이었습니다. 연구자가 새로운 유형의 과제로 테스트했을 때, 정확도는 폭락했습니다. 알고 보니 이 단어들은 "스트레스"를 측정하는 것이 아니라, 그 특정 게임에 필요한 구체적인 어휘를 측정하고 있었던 것입니다. 만약 누군가에게 지도 퍼즐을 풀라고 하면 그들은 지도를 다루는 단어를 사용했고, 농담을 하라고 하면 농담 관련 단어를 사용했습니다. 로봇은 그것이 스트레스를 측정하고 있다고 생각했지만, 실제로는 그날의 특정 사전 내용을 암기하고 있었던 것입니다.

다음으로, 그녀는 **소리(음향적 특징)**를 조사했습니다. 오랫동안 과학자들은 목소리의 높낮이나 목소리 크기가 뇌가 얼마나 열심히 작동하는지를 보여주는 확실한 징후라고 생각했습니다. 이는 마치 운전자가 스트레스를 받을 때 자동차 엔진이 항상 더 높게 회전한다고 가정하는 것과 같습니다. 하지만 초두리가 테스트를 진행했을 때, 그녀는 거대한 환상을 발견했습니다. 그녀가 개인의 특성을 조정하기 전에는 소리가 신뢰할 만해 보였습니다. 하지만 그녀가 데이터를 "정규화(normalize)"하는 즉시—즉, "이 사람이 다른 과제를 수행했다면 소리가 변했을까?"라고 질문하자—신뢰도는 사라졌습니다. 소리는 실제로 스트레스 수준이 아니라, 그 사람 고유의 성대와 말하기 스타일를 측정하고 있었습니다. 그것은 마치 탐정이 "단서"라고 믿었던 것이 사실은 용의자의 키였음을 깨닫는 것과 같았습니다. 키는 행복하든 슬프든 변하지 않으니까요. "누구인가"를 제거하자, "어떻게 하는가"도 사라졌습니다.

마지막으로, 그녀는 **상호작용(상호작용 특징)**을 살펴보았습니다. 이것은 사람들이 어떻게 차례를 주고받는지, 누가 누구를 방해하는지, 그리고 누가 대화를 주도하는지에 대한 단서입니다. 이 단서들은 가장 정직했습니다. 이들은 말하는 사람의 정체성에 따라 변하지 않았는데, 왜냐하면 이들은 사람들 자체가 아니라 사람들 사이의 관계에 관한 것이기 때문입니다. 비록 이 단서들이 단독으로는 스트레스를 예측하는 데 가장 정확하지는 않았지만, 서로 다른 과제 전반에 걸쳐 일관성을 유지한 유일한 요소였습니다. 한 가지 특정 상호작용 단서가 눈에 띄었는데, 바로 **발화 점유(floor dominance)**입니다. 이는 누가 "발언권(floor)"을 쥐고 있는지를 측정하는 것입니다. 연구에 따르면, 한 쌍의 사람 중 한 명이 대화를 독점할 때, 다른 한 사람은 훨씬 더 높은 정신적 부하를 짊어질 가능성이 컸습니다. 이는 시소와 같습니다. 한 사람이 자신의 쪽을 강하게 누르고 있다면(말을 많이 한다면), 다른 사람은 정신적 작업을 따라가는 데 어려움을 겪고 있을 가능성이 높습니다.

또한 이 논문은 "대화적 권력(conversational power, 누가 권력을 느끼거나 약함을 느끼는지)"을 예측하려고 시도했지만, 여기서 로봇은 완전히 실패했습니다. 어떤 단서를 사용하더라도, 컴퓨터는 동전을 던져 맞출 확률만큼만 정확하게 예측할 수 있었습니다. 이는 전체 과제의 요약본을 바탕으로 권력을 예측하려는 시도가 너무 모호하다는 것을 시사합니다. 즉, 권력의 역학 관계는 너무 미묘하며, 이러한 광범위한 측정치로는 포착할 수 없을 만큼 빠르게 변한다는 것입니다.

그렇다면 우리를 이해하는 로봇을 만들기 위한 교훈은 무엇일까요? 이 논문은 우리가 "쉬운" 단서들을 신뢰하는 것을 멈춰야 한다고 제안합니다. 우리는 사람들이 사용하는 단어를 그대로 믿을 수 없습니다. 왜냐하면 단어는 주제에 따라 변하기 때문입니다. 우리는 목소리의 소리만을 믿을 수도 없습니다. 왜냐하면 소리는 사람에 따라 변하기 때문입니다. 가장 신뢰할 수 있는 신호는 사람들이 서로 어떻게 상호작용하는지, 특히 누가 말하고 누가 듣고 있는지를 관찰하는 데서 옵니다. 만약 우리가 과제가 바뀌고 서로 다른 사람들이 나타나는 실제 세상에서 작동하는 시스템을 구축하고 싶다면, 우리는 이러한 상호작용 패턴에 집중해야 하며, 우리가 실수로 마음의 상태 대신 사람의 목소리를 측정하고 있는 것은 아닌지 확인해야 합니다. 이 연구는 어떤 신호를 신뢰하기 전에, 그 신호가 "정체성 테스트"를 통과하는지, 그리고 새로운 상황에서도 작동하는지를 반드시 확인해야 한다고 결론짓습니다. 그렇지 않으면 우리는 단지 누가 말하고 있는지는 아주 잘 맞히지만, 그들이 무엇을 느끼고 있는지는 맞히지 못하는 로봇을 만들고 있는 것일 뿐입니다.