💬 NLP

A Cross-lingual Comparison of Human and Classification Model Entrainment Behavior in Code-switched Speech Settings

본 논문은 중국어-영어, 힌디어-영어, 스페인어-영어 대화에 걸친 코드 스위칭(code-switched) 발화 내 인간 동조(human entrainment)에 대한 교차 언어적 분석을 제시하며, 어휘적 동조는 일반화되는 반면 음향 및 스타일적 동조는 맥락에 따라 달라진다는 점을 밝히고, 현재의 분류 모델들이 인간의 행동에 가장 두드러지는 특정 특징들을 우선시하는 데 실패한다는 것을 입증한다.

원저자: Debasmita Bhattacharya, Siying Ding, Alayna Nguyen, Julia Hirschberg

게시일 2026-07-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Debasmita Bhattacharya, Siying Ding, Alayna Nguyen, Julia Hirschberg

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 사람들이 대화를 나누고 있는 파티에 있다고 상상해 보세요. 당신은 두 사람이 정말 잘 통할 때, 서로를 닮아가는 모습을 목격할 수도 있습니다. 한 사람이 빠르게 말하면 다른 사람도 속도를 높이고, 한 사람이 "음", "그게 그러니까" 같은 표현을 많이 사용하면 다른 사람도 똑같이 하기 시작합니다. 심지어 그들은 비슷한 슬랭(속어)을 사용하거나 목소리 톤을 맞춰서 서로 비슷하게 들리도록 만들기도 합니다. 과학계에서는 이를 **동조(entrainment)**라고 부릅니다. 이것은 사람들이 유대감을 쌓고, 이해받고 있다고 느끼며, 대화가 매끄럽게 흐르도록 하기 위해 무의식적으로 서로의 스타일을 복사하는 무의식적인 춤과 같습니다.

과학자들은 이 "춤"을 오랫동안 연구해 왔지만, 주로 영어와 같이 단일 언어를 사용하는 사람들을 대상으로 했습니다. 하지만 세상에는 문장 중간에 스페인어와 영어를 섞거나, 힌디어와 영어를 섞는 등 언어를 왔다 갔다 하는 코드 스위칭(code-switching)을 하는 사람들로 가득합니다. 여기서 큰 질문이 생깁니다. 이 거울링 댄스는 언어를 혼합해서 사용할 때도 여전히 일어날까요? 그리고 반전이 있습니다. 우리는 이 거울링을 감지하기 위해 정교한 컴퓨터 프로그램(AI)을 만들어 왔습니다. 하지만 이 컴퓨터들이 실제로 인간이 하는 방식을 이해하고 있는 걸까요, 아니면 그저 잘못된 단서를 바탕으로 추측하고 있는 걸까요?

이 논문은 그 질문을 깊이 있게 파고듭니다. 연구진은 사람들이 만다린어와 영어를 섞거나, 힌디어와 영어를 섞거나, 스페인어와 영어를 섞는 실제 대화들을 살펴보았습니다. 그들은 이 "거울링 댄스"가 이러한 다양한 언어 쌍 사이에서 동일하게 나타나는지 확인하고자 했습니다. 그런 다음, 여러 컴퓨터 모델을 테스트하여 AI가 인간과 동일한 부분에 주목하고 있는지 확인했습니다.

다음은 연구 결과입니다:

인간의 춤: 대체로 비슷하지만, 지역적 특색이 있음
사람들이 언어를 섞어서 말할 때, 그들은 서로를 모방하지만 그 방식은 관련된 언어에 따라 달라집니다.

단어: 세 가지 언어 쌍 모두에서, 사람들은 일관되게 서로의 단어 선택을 모방했습니다. 한 사람이 흔히 쓰이는 단어나 특정 채움말(filler sounds)을 많이 사용하면, 상대방도 그것을 따라 하는 경향이 있었습니다. 이 부분의 춤은 어떤 언어가 섞이든 매우 일관적이었습니다.
목소리와 리듬: 이 부분이 흥미로워졌습니다. 스페인어-영어 및 만다린어-영어 그룹에서는 사람들이 목소리의 높낮이나 속도를 일관되게 모방하는 모습이 거의 나타나지 않았습니다. 그러나 힌디어-영어 그룹에서는, 발화자 간의 즉각적인 턴(turn-level) 수준에서 모방이 훨씬 강하게 나타났으며, 화자들이 목소리 특징에서 지속적으로 수렴하는 모습을 보였습니다. 연구진은 만다린어가 독특한 성조(음의 높낮이가 단어의 의미를 바꾸는 특성)를 가지고 있기 때문에 "목소리 춤"이 다르게 나타나는 것이며, 힌디어-영어 화자들은 스페인어-영어에서 보이는 패턴과 더 밀접하게 일치한다고 제안합니다. 하지만 힌디어-영어에서도 이 강한 모방이 광범위한 대화 수준까지 확장되지는 않았다는 점, 즉 화자들이 전체 대화에 걸쳐 일관된 수렴을 보이지는 않았다는 점을 유의해야 합니다.
스위칭 스타일: 언어를 전환하는 방식 또한 다양했습니다. 스페인어-영어 및 만다린어-영어에서는 사람들이 언어를 전환하는 빈도와 방식을 모방했습니다. 하지만 힌디어-영어에서는 언어 전환의 모방이 훨씬 약했습니다. 저자들은 힌디어-영어 화자들이 언어를 너무 자연스럽고 빈번하게 전환하기 때문에, 한 사람이 다른 사람의 스타일에 영향을 미칠 수 있는 "여지"가 적기 때문이라고 설명합니다. 마치 모두가 이미 같은 방식으로 춤을 추고 있어서, 서로를 따라 하는 것이 눈에 띄지 않는 것과 같습니다.

로봇의 춤: 잘 맞히지만, 제대로 이해하지는 못함
연구진은 컴퓨터 모델이 인간이 하는 방식대로 춤을 보고 있는지 물었습니다.

결과: 컴퓨터들은 사람들이 서로를 모방하고 있는지 감지하는 데는 꽤 유능했습니다. 그들은 "모방하는" 대화와 "모방하지 않는" 대화를 준수한 정확도로 구별해 낼 수 있었습니다.
함정: 하지만 컴퓨터들은 그 결정을 내리기 위해 잘못된 단서를 우선시하고 있었습니다. 연구진이 AI가 어떤 단서를 사용하는지 내부를 들여다보았을 때, 불일치를 발견했습니다. 인간은 특정 단어와 전환 스타일을 모방했지만, 컴퓨터는 종-종 인간의 행동에서 가장 두드러지는 특징이 아닌, 목소리의 미세한 피치 변화나 강도와 같은 덜 중요한 세부 사항들에 집중하며 다른 단서들을 우선시했습니다.
비유: 도둑을 찾아내려는 보안 요원을 상상해 보세요. 도둑은 항상 밝은 빨간색 모자를 쓰고 있습니다(인간의 단서). 하지만 보안 요의 카메라는 도둑의 신발 끈에 너무 집중한 나머지(컴퓨터의 단서), 모자를 완전히 놓치고 있습니다(보안 요는 도둑을 잡지만, 잘못된 논리를 사용하고 있습니다).

이것이 왜 중요한가
이 논문은 우리의 AI가 연결이 일어나고 있다는 것은 포착할 수 있지만, 그 연결이 어떻게 구축되는지에 대한 인간적인 방식은 이해하지 못하고 있음을 시사합니다. 이는 마치 공식 자체를 이해하기보다 정답지를 암기해서 수학 시험에서 정답을 맞히는 학생과 같습니다.

저자들은 이것이 미래에 문제가 될 것이라고 지적합니다. 만약 우리가 언어를 섞어 쓰는 사람들과 자연스럽게 대화할 수 있는 AI 비서를 만들고 싶다면, 우리는 단순히 가짜 춤이 아니라 진짜 춤을 이해해야 합니다. 만약 AI가 잘못된 단서에 의존한다면, 새로운 집단이나 다른 언어 조합을 만났을 때 실패할 수 있습니다. 이 논문은 아직 문제를 해결했다고 주장하는 것이 아니라, 우리가 컴퓨터가 진정으로 자연스러운 대화 상대가 되기를 원한다면 컴퓨터에게 인간이 주목하는 것과 똑같은 것에 주목하도록 가르칠 필요가 있다는 점을 제안하고 있습니다.

기술적 요약: 코드 스위칭(Code-switched) 음성 환경에서의 인간 및 분류 모델 동조(Entrainment) 행동에 대한 교차 언어적 비교

문제 정의

대화적 동조(Conversational entrainment)—대화 상대방에게 자신의 의사소통 양식(어휘, 음향-운율, 제스처 등)을 무의식적으로 적응시키는 현상—은 단일 언어 및 문어 맥락에서는 잘 입증되어 있으나, 구어체 코드 스위칭(CSW) 환경에서는 여전히 미개척 분야로 남아 있다. 기존 연구들은 CSW 동조를 조사해 왔으나, 주로 스페인어-영어 언어 쌍과 문어 양식에 국한되어 있었다. 또한, 이러한 스타일적 현상을 탐지하거나 생성하기 위해 사용되는 머신러닝 분류기가 인간의 동조 행동을 이끄는 것과 동일한 특징(features)에 의존하는지 여부는 불분명하다. 본 논문은 다음 두 가지 주요 질문을 다룬다:

RQ1: 동조 패턴이 서로 다른 유형론적 거리와 문화적 맥락을 가진 언어 쌍(구체적으로 만다린-영어, 힌디어-영어, 스페인어-영어) 간에 어느 정도로 일반화되는가?
RQ2: 분류 모델은 자발적인 코드 스위칭 의사소통 중에 인간이 사용하는 것과 동일한 동조 특징에 주목하는가?

방법론

본 연구는 코퍼스 분석, 인간 행동의 통계적 모델링, 그리고 머신러닝 평가를 포함하는 다단계 접근 방식을 채택한다.

코퍼스

저자들은 세 가지 유형의 비형식적 다국어 음성 코퍼스를 분석한다:

Bangor Miami (BM): 스페인어-영어 자발적 대화 (35시간, 56개 대화).
SEAME: 만다린-영어 자발적 대화 (192시간, 256개 대화).
MaSaC: 힌디어-영어 상황극 TV 드라마 음성 (13시간, 1,190개 대화).
참고: MaSaC는 대본에 기반한 것이지만, 자연스러운 현상을 나타내는 대리 지표로서 처리되었다(힌디어-영어의 개방형 자연 음성 데이터 부족 때문). 저자들은 BM 및 SEAME의 세밀도와 일치시키기 위해 MaSaC에 CSW 전략 레이블(삽입형, 교대형, 기타)을 수동으로 주석 처리하였다.

인간 동조 분석

저자들은 Bhattacharya 등(2024a)과 Levitan 및 Hirschberg(2011)의 분석 프레임워크를 재현하여 턴 단위(turn-level) 및 **대화 단위(conversation-level)**에서 동조를 측정한다.

특징(Features):
- 어휘적(Lexical): 상위 100개/25개 빈도 단어, 대화 수준 빈도 단어, 긍정 응답 단서, 필러(fillers), 그리고 전반적인 언어 사용에 대한 퍼플렉시티(perplexity) 기반 척도.
- 음향-운율적(Acoustic-Prosodic): 피치(pitch), 강도(intensity), 지터(jitter), 시머(shimmer), 조화 대 잡음비(HNR), 그리고 발화 속도.
- CSW 스타일: CSW 존재 여부, CSW 비율, 그리고 CSW 전략 유형.
지표: 동조는 근접성(화자 간 유사성), 수렴(유사성을 향한 이동), 그리고 동기화(시간적 협응)를 통해 정량화된다. 통계적 유의성은 p-value를 통해 결정된다.

모델 평가

저자들은 동조 현상이 유의미하게 나타나는지 탐지하기 위한 일련의 이진 분류기(고전적 ML 및 트랜스포머 기반 모두 포함)를 평가한다.

모델: SVC, 결정 트리, 랜덤 포레스트, MLP, XGBoost, 그리고 MLP와 결합된 다양한 사전 학습 임베딩(XLM-R, mBERT, WavLM, mHuBERT)을 포함한다.
태스크: 턴 단위 및 대화 단위의 세밀도에서 수행되는 이진 분류(동조 발생 vs. 비동조 발생).
분석:
- 특징 중요도(Feature Importance): 모델 예측을 주도하는 특징을 결정하기 위해 내장된 속성과 샤플리 값(Shapley values)을 사용한다.
- 절제 연구(Ablation Studies): 특징을 체계적으로 제거하여 정확도 변화( $\Delta$ acc)에 미치는 영향을 측정한다.
비교: 모델의 특징 의존도는 인간의 동조 분석에서 식별된 유의미한 특징들과 비교된다.

주요 결과

1. 교차 언어적 인간 동조 패턴 (RQ1)

어휘적 동조: 언어 쌍 전반에 걸쳐 대체로 일관되게 나타난다. 만다린-영어와 스페인어-영어는 모든 단어 클래스에서 강력한 어휘적 동조를 보인다. 힌디어-영어(MaSaC)는 빈도 높은 단어에 대해서는 어휘적 동조를 보이지만, 대화 수준 빈도 단어, 긍정 응답 단서, 필러에 대해서는 그러하지 않다. 저자들은 후자의 경우 MaSaC의 대본 기반 특성과 짧은 대화 길이를 원인으로 꼽으며, 이러한 카테고리들이 대화에 등장하지 않을 수 있음을 언급했다.
음향-운율적 동조: 상당한 변동성을 보인다.
- 만다린-영어 (SEAME): 음향-운율적 동조가 제한적이며, 소수의 특징에서만 유의미하게 나타난다.
- 힌디어-영어 (MaSaC): 대부분의 음향-운율적 특징에 대해 턴 단위의 근접성과 수렴에 대한 강력한 증거를 보인다.
- 스페인어-영어 (BM): 대화 수준의 근접성/수렴 부재 패턴을 반영한다.
- 가설: 저자들은 만다린어 특유의 성조 특성과 독특한 억양 규범이 힌디어 및 스페인어와 비교했을 때 음향적 동조가 부족한 이유를 설명할 수 있다고 제안한다.
CSW 스타일 동조:
- 만다린-영어 및 스페인어-영어: 근접성 및 동기화를 통해 대부분의 CSW 특징(존재 여부, 비율, 전략)에 대해 동조를 보인다.
- 힌디어-영어: 현저히 다르며, 턴 단위의 수렴만을 보이고 전반적인 동조는 덜 두드러진다. 저자들은 힌디어-영어 화자들이 이미 독립적으로 코드 스위칭을 널리 사용하고 있기 때문에(높은 M- 및 I-지수), 스타일적 영향력을 발휘할 "여지"가 적어 발생하는 천장 효과(ceiling effect) 때문이라고 가설을 세웠다.

2. 분류 모델 행동 (RQ2)

특징 불일치(Feature Misalignment): 분류기들은 동조를 탐지하는 데 있어 적절한 정확도를 달-성하지만, 인간의 행동에 가장 유의미한 특징 이외의 특징들을 우선적으로 선택한다.
- 대화 단위: 모델은 종종 음향-운율적 특징이나 단일 CSW 지표에 높은 중요도를 부여하며, 더 넓은 범위의 인간 관련 특징들을 무시한다. 어떤 경우에는 모델이 인간의 동조에 대해 거의 변별력을 제공하지 못하는 특징에 의존하기도 한다.
- 턴 단위: 특징 절제 연구 결과, 특정 동조 특징을 제거해도 정확도에 거의 변화가 없는 것으로 나타났다. 이는 모델이 일관되거나 인간 중심적인 특징 집합이 아닌, 분산되어 있거나 중복되거나 혹은 가짜 신호(spurious signals)에 의존하고 있음을 시사한다.
세밀도 효과: 모델은 턴 단위보다 대화 단위에서 더 나은 성능을 보인다. 저자들은 턴 단위의 역동성이 더 미세하고 가변적이어서 집계된 통계량을 통해 포착하기 어렵기 때문이라고 제사한다.

주요 기여

교차 언어적 검증: 스페인어-영어의 기존 연구를 확장하여 만다린-영어, 힌디어-영어, 스페인어-영어에 걸쳐 구어체 CSW 동조 패턴을 검증한 첫 연구이다.
인간 중심적 프레임워크: 다국어 스타일 맥락에서 분류기의 의사결정을 평가하기 위해 인간의 행동 패턴을 벤치마크로 사용하는 새로운 접근법을 제시한다.
모델-특징 불일치: 모델이 동조를 탐지할 수는 있지만, 인간과는 다른 메커니즘을 사용하여 수행한다는 점을 입증하며, 왜 모델이 성공하는지에 대한 이해의 격차를 보여준다.
데이터 공개: 향후 구어체 CSW 연구를 지원하기 위해 새로운 CSW 스타일 레이블이 포함된 수동 주석 처리된 MaSaC 코퍼스를 공개한다.

의의 및 주장

본 논문은 경험적으로 입증된 인간의 행동 패턴이 모델의 의사결정을 조사하는 데 귀중한 렌즈를 제공한다고 주장한다. 연구 결과는 높은 분류 성능이 모델이 자연스러운 생성을 지원할 수 있는 방식으로 동조라는 근본적인 현상을 포착했음을 의미하는 것은 아님을 시사한다.

저자들은 다음과 같이 겸허히 결론짓는다:

어휘적 동조는 강력하게 일반화되지만, 음향-운율 및 CSW 스타일 패턴은 언어적 특성과 문화적 규범에 따라 달라진다.
현재의 모델들은 만약 생성 모델을 유도하는 데 사용될 경우 특징 수준의 불일치를 전파할 수 있는데, 이는 모델이 인간의 유의미함과는 구별되는 신호에 의존하기 때문이다.
향-후 연구는 생성 모델이 코드 스위칭 음성에서 유사한 과제에 직면하는지, 그리고 개입(예: 프롬프팅 또는 훈련 전략)이 인간과 유사한 동조를 장려할 수 있는지 조사해야 한다.

본 연구는 영어 관련 CSW 쌍에 대한 의존, 힌디어-영어에 대한 대본 기반 데이터 사용, 그리고 동조를 이진 분류 작업으로 단순화한 점 등의 한계를 인정한다. 또한 통계적 유의성이 코그니티브(cognitive)한 중요성을 나타내는 불완전한 대리 지표임을 강조하며, 모델을 인간의 상호작용과 더 잘 일치시키기 위해 행동 데이터(예: 청자 판단)를 사용하는 후속 연구를 촉구한다.