Quantifying the perceptual value of lexical and non-lexical channels in speech

당신이 친구의 대화에서 다음에 무슨 말을 할지 추측하려고 노력하고 있다고 상상해 보세요. 당신은 이 추측을 돕기 위해 두 가지 주요 도구를 가지고 있습니다:

1. "무엇을" (어휘 채널): 그들이 실제로 말하고 있는 단어들입니다.
2. "어떻게" (비어휘 채널): 목소리의 톤, 리듬, 휴지(pause), 그리고 목소리에 담긴 감정(운율)입니다.

보통 우리는 "무엇을"이 가장 중요하다고 생각합니다. 누군가 "나 가게에 가요"라고 말하면, 당신은 그가 어디로 가는지 정확히 알 수 있습니다. 하지만 만약 "무엇을"이 혼란스럽거나, 모호하거나, 충분한 단서를 주지 못한다면 어떨까요? "어떻로"가 그것을 파악하는 데 도움이 될까요? 아니면 오히려 당신을 더 혼란스럽게 만들까요?

에든버러 대학교의 이 논문은 "어떻게"가 대화를 이해하는 데 정확히 어느 정도의 가치를 더하는지를 측정함으로써 이 질문에 답하고자 합니다.

실험: "다음 문장 맞히기" 게임

연구진은 이를 테스트하기 위해 게임을 설정했습니다. 그들은 실제 대화를 가져와 참가자들에게 세 번의 대화 순서(설정)를 보여주었습니다. 그런 다음, 참가자들에게 다섯 가지 가능한 다음 대화 방식을 제시했습니다.

• 설정: 참가자들은 처음 세 줄의 텍스트를 보았습니다.
• 과제: 참가자들은 각 다섯 개의 다음 문장이 실제 문장일 확률이 얼마나 높은지 평가해야 했습니다.
• 반전: 연구진은 이 게임을 두 가지 방식으로 진행했습니다:
  1. "텍스트 전용" 그룹: 설정과 다섯 개의 가능한 다음 문장을 텍스트로 보았습니다. 그들은 오직 글자에 기반하여 추측해야 했습니다.
  2. "오디오" 그룹: 설정은 텍스트로 보았지만, 다섯 개의 가능한 다음 문장은 오디오 클립으로 재생되었습니다. 그들은 톤, 휴지, 그리고 리듬을 들을 수 있었습니다.

테스트를 공정하게 만들기 위해, 연구진은 스마트한 컴퓨터 프로그램(언어 모델)을 사용하여 "다음 문장"들을 생성했습니다. 이를 통해 모든 옵션이 문법적으로 올리 바르고 의미도 통하지만, 서로는 모두 다르게 만들었습니다. 이는 연구진이 단어만으로는 명확한 답을 낼 수 없는 상황을 테스트할 수 있게 해주었습니다.

결과: "어떻게"가 도움이 될 때와 방해가 될 때

결과는 매우 흥란하고, 약간은 놀라운 두 가지 패턴을 보여주었습니다.

1. 단어가 혼란스러울 때, 목소리는 구원자가 됩니다.
텍스트만으로는 모호했던(정답을 맞히기 어려웠던) 상황에서, 오디오를 들은 그룹이 훨씬 더 좋은 성적을 거두었습니다. 목소리의 톤, 휴지, 그리고 리듬이 텍스트에는 없던 추가적인 단서를 제공했습니다. 이것은 마치 문자 메시지로 누군가가 농담을 하는지 진지한지를 맞히는 것(어려움)과, 특정 톤으로 말하는 것을 직접 듣는 것(쉬움)의 차이와 같습니다. "어떻게"가 그들이 가능성을 좁힐 수 있도록 도왔습니다.

2. 단어가 명확할 때, 목소리는 오히려 방해가 될 수 있습니다.
여기 놀라운 부분이 있습니다. 텍스트만으로도 다음에 올 말이 매우 명확했던 상황에서는, 오디오를 들은 그룹이 텍스트 전용 그룹보다 오히려 성적이 낮았습니다.

왜 그럴까요? 연구진은 텍스트가 이미 명확할 때 목소리를 추가하는 것이 추가적인 소음이나 "인지 부하"를 더하기 때문이라고 제안합니다. 이것은 마치 누군가 배경에서 시끄러운 음악을 틀어놓은 상태에서 간단한 수학 문제를 풀려고 하는 것과 같습니다. 음악(목소리)은 수학 문제를 푸는 데 도움이 되지 않고, 오히려 집중하는 것을 방해할 뿐입니다. 참가자들은 추가된 정보에 의해 주의가 분산되어 더 많은 실수를 저질렀습니다.

"합의"의 발견: 우리 모두는 똑같이 듣는다

연구진은 또한 "엔트로피"라고 불리는 개념, 즉 사람들이 서로 얼마나 동의하는지를 측정하는 방법을 살펴보았습니다.

• 높은 엔트로피: 모두가 제각각 다른 답을 내놓는 상태 (혼돈).
• 낮은 엔트로피: 모두가 같은 답을 내놓는 상태 (합의).

그들은 오디오 그룹이 (목소리가 명확한 텍스트로부터 주의를 분산시켜) 틀린 답을 냈을 때조차도, 그들이 모두 "같은" 틀린 답을 냈다는 것을 발견했습니다.

비유: 한 무리의 사람들이 그림을 보고 있다고 상상해 보세요.

• 텍자 전용: 설명이 모호하기 때문에 사람들은 각자 서로 다른 것을 봅니다.
• 오디오: 목소리의 톤이 사람들의 상상력을 특정한 방향으로 안내하기 때문에, 사람들은 모두 "같은 것"을 봅니다. 비록 그 방향이 사실(fact)과는 기술적으로 "틀린" 방향일지라도 말입니다.

이는 "어떻게"(운율)가 강력하다는 것을 증명합니다. 그것은 단순히 정보를 더하는 것이 아니라, 공유된 기대를 만들어냅니다. 설령 그 공유된 기대가 실수로 이어진다 하더라도, 우리는 모두 그 실수를 함께 저지릅니다. 왜냐하면 우리는 톤을 똑같은 방식으로 해석하기 때문입니다.

핵심 요약

이 연구는 우리의 뇌가 대화에서 다음에 올 내용을 예측하기 위해 두 가지 서로 다른 채널을 사용한다는 것을 보여줍니다.

• 만약 단어가 모호하다면, 우리 뇌는 그것을 파악하기 위해 목소리에 크게 의존합니다.
• 만약 단어가 명확하다면, 우리 뇌는 때때로 목소리를 무시하거나 그것에 의해 혼란을 느낍니다.

가장 중요한 점은, "목소리" 채널이 강한 합의감을 만들어낸다는 것입니다. 우리는 모두 톤과 리듬을 동일한 방식으로 해석하는 경 경향이 있으며, 이는 우리가 항상 사실에 대해 100% 옳지는 않더라도 서로 같은 이해를 바탕으로 소통할 수 있게 도와줍니다.