💬 NLP

On the Structure of Address in Multi-Party Dialogue: From Discrete Labels to Continuous Levels

이 논문은 호출의 점진적인 성격을 더 잘 포착하는 연속적 프레임워크를 제안함으로써 호출 대상 탐지를 이산적 분류 작업으로 보는 전통적인 관점에 도전하며, 이것이 턴 테이킹 및 시선과 백채널 같은 청자 행동에 대해 더 우수한 예측력을 가짐을 입증한다.

원저자: Taiga Mori, Koji Inoue, Divesh Lala, Tatsuya Kawahara

게시일 2026-07-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Taiga Mori, Koji Inoue, Divesh Lala, Tatsuya Kawahara

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 북적이는 커피숍으로 걸어 들어가는 모습을 상상해 보세요. 그곳에는 세 명의 친구가 아주 예의 바르지만 약간은 혼란스러워 보이는 로봇과 함께 이야기를 나누고 있습니다. 컴퓨터 과학, 특히 '자연어 처리(Natural Language Processing)'라고 불리는 분야에서 연구자들은 기계에게 인간의 대화를 이해하도록 가르치기 위해 노력합니다. 그들이 직면한 가장 까다로운 퍼즐 중 하나는 사람이 누구에게 말을 걸고 있는지를 파악하는 것입니다. 화자가 로봇에게 말하고 있는 걸까요? 왼쪽에 있는 친구에게일까요? 아니면 오른쪽에 있는 친구에게일까요? 혹은 그룹 전체를 향해 말하고 있는 걸까요?

오랫동안 과학자들은 이것을 단순한 "하나 고르기" 게임처럼 취급해 왔습니다. 그들은 모든 문장이 반드시 단 하나의 대상만을 향해야 한다고 가정했습니다. 마치 공을 던지면 반드시 하나의 특정 바구니에만 떨어져야 하는 것과 같습니다. 만약 당신이 그룹 전체에게 말하고 있다면, 컴퓨터는 그 문장에 대해 단 하나의 라벨만을 선택해야 했습니다. 하지만 이는 오직 "주황색" 또는 "파란색"이라는 단어만을 사용하여 노을을 묘사하려는 것과 비슷합니다. 실제 대화는 무질서하고 유동적이며, 종종 여러 사람에게 서로 다른 강도로 전달되는 것처럼 느껴집니다. 누구에게 말을 거는지를 이해하는 것은 컴퓨터가 언제 끼어들어 말해야 할지, 혹은 언제 그냥 듣고 고개를 끄덕여야 할지를 아는 데 매우 중요합니다. 만약 로봇이 당신이 친구에게 말하고 있다고 생각했는데 사실 당신이 로봇에게 질문을 던진 것이라면, 로봇은 대답해야 할 때 침묵하거나, 최악의 경우 친구의 말을 가로막을 수도 있습니다.

이것이 바로 교토 대학교의 모리 타이가(Taiga Mori)와 그의 팀이 진행한 새로운 연구로 이어집니다. 그들은 "누구에게 말을 거는가"를 단순한 온/오프 스위치로 취급하는 대신, 이를 '조광기(dimmer switch)'처럼 바라보기로 했습니다. "이 문장이 A라는 사람을 향한 것인가 아닌가?"라고 묻는 대신, "이 문장은 A에게 얼마나 향하고 있으며, B에게는 얼마나 향하고 있는가?"라고 물었습니다.

답을 찾기 위해 연구진은 일본인 친구 세 명 사이의 녹음된 대화 36개를 들었습니다. 그들은 단순히 한 사람에게 누가 대화의 대상인지 추측해 보라고 시키지 않았습니다. 대신 세 명의 서로 다른 청취자가 모든 문장을 듣고 각자의 추측을 적게 했습니다. 그 결과, 추측하는 사람들 사이에 의견 차이가 발생하는 것을 발견했습니다. 어떤 사람은 어떤 문장이 그룹 전체를 향한 것이라고 생각한 반면, 다른 사람은 그것이 단 한 명의 친구만을 향한 것이라고 생각했습니다. 기존의 방식대로라면 이러한 불일치를 "노이즈"나 "실수"라고 불렀을 것입니다. 하지만 연구진은 이 불일치가 오류가 아니라, 오히려 '말을 건다'는 느낌이 본래 모호하고 연속적이라는 사실을 알려주는 단서라고 의심했습니다.

그래서 그들은 이러한 모호한 인간의 추측을 "연속적인 주소 수준(continuous address level)"으로 변환하기 위한 특별한 수학적 모델을 구축했습니다. 0에서 1까지 움직이는 슬라이더를 상상해 보세요. 만약 화자가 당신에게 직접적으로 말을 걸고 있다면 슬라이더는 1.0에 위치합니다. 만약 화자가 당신을 무시하고 있다면 0.0에 위치합니다. 하지만 만약 화자가 주로 당신에게 말하면서도, 은근히 당신의 친구도 포함하고 있다면 어떨까요? 슬라이더는 0.7 정도에 놓일 수 있습니다. 이 새로운 "슬라이더" 시스템을 통해 그들은 화자와 청취자 사이의 연결 강도를 측정할 수 있었습니다.

그다음, 그들은 이 "슬라이더" 아이디어가 기존의 "예/아니오" 라벨보다 더 효과적인지 테스트했습니다. 그들은 세 가지 요소를 살펴보았습니다: 누가 다음에 말할 것인가, 청취자들이 어디를 보고 있는가, 그리고 "어-허", "그래"와 같은 짧은 소리(백채널, backchannels)를 얼마나 자주 내는가입니다.

결과는 매우 명확했습니다. 다음에 누가 말할지를 예측할 때, "연속적인 수준"을 사용하는 모델이 단순한 "예/아니오" 라벨을 사용하는 모델보다 훨씬 더 뛰어난 예측력을 보였습니다. 즉, 청취자가 비록 '주된' 대상은 아닐지라도, 만약 그들에게 어느 정도 '말이 걸려 있다면', 그들은 대화에 참여할 가능성이 더 높다는 것입니다. 기존의 "예/오" 시스템은 이러한 미묘한 기회들을 놓치고 있었습니다.

시선 처리에서도 같은 현상이 나타났습니다. 연구에 따르면, 청취자가 말을 건다고 느끼는 정도가 높을수록(슬라이더 수치가 높을수록) 화자를 더 많이 쳐다보았습니다. 하지만 이는 단순히 보거나 보지 않거나 하는 스위치가 아니었습니다. 시선의 양은 조광기의 볼륨 노 {volume knob}를 돌리는 것처럼, 주소의 강도에 맞춰 점진적으로 변화했습니다.

마지막으로, 그들은 이 짧은 "어-허" 소리들을 살펴보았습니다. 역시 "슬라이더" 모델이 더 잘 예측했습니다. 청취자가 대화에 포함된다고 느낄수록, 그들은 더 많은 지지적인 소리를 내는 경향이 있었습니다. 다만, 이 부분에서의 개선 폭은 말하기나 시선 처리만큼 크지는 않았는데, 이는 누군가 소리를 내는 데 있어 말을 거는 것 외에도 다른 요소들이 영향을 미친다는 점을 시사합니다.

저자들은 이것이 우리가 대화형 로봇을 구축할 때 재고해야 함을 의미한다고 제안합니다. 컴퓨터에게 "나는 A에게 말하고 있다"라고 강요하는 대신, "나는 주로 A에게 말하고 있지만, B에게도 조금은 말하고 있다"라고 말할 수 있어야 합니다. 이러한 연속적인 관점은 우리가 사용했던 경직된 상자들보다 인간의 대화가 가진 무질서하고 아름다운 현실을 훨씬 더 잘 포착합니다. 이는 그룹 대화에서 화자가 단순히 한 사람에게만 말을 거는 것이 아니라, 한 사람에게는 밝게, 다른 사람에게는 희미하게, 혹은 방 전체를 아우르며 빛을 비추는 스포트라이트처럼 주의력을 분배한다는 것을 시사합니다.

기술 요약: 다자간 대화에서의 발화 대상(Address) 구조에 관하여

문제 제기
시스템과 다수의 사용자가 참여하는 다자간 대화에서, 발화의 수신자(addressee)를 식별하는 것은 근본적인 과제이다. 기존 연구들은 주로 수신자 탐지를 개별 참여자나 그룹을 나타내는 단일 레이블을 선택하는 이산적 다중 클래스 분류 문제로 취급해 왔다. 이러한 정식화는 발화 대상이 본질적으로 이산적이며, 주로 차례 주고받기(turn-taking)를 예측하는 데 활용된다는 가정에 의존한다. 그러나 이러한 접근 방식은 주석가 간의 불일치를 단순한 오류로 취정하며, 발화 대상을 고립된 현상으로 간주하여 시선(gaze)이나 백채널(backchannel)과 같은 청자의 행동과의 잠재적 관계를 간과한다. 본 논문은 이산적 발화 대상이라는 가정에 도전하며, 대신 발화 대상이 연속적이고 단계적인(graded) 현상일 수 있음을 제안한다.

연구 방법론
본 연구는 세 명의 참여자(triads)가 참여하는 36개의 일본어 일상 대화 데이터셋인 Teidan 코퍼스를 활용한다. 데이터에는 발화, 백채널, 청자의 시선에 대한 수동 주석이 포함되어 있다.

데이터 구축:
- 이산적 레이블(Discrete Labels): 저자들은 세 명의 주석가가 내린 범주적 판단(예: A에게 발화, B에게 발화, C에게 발화, 모두에게 발화, 아무에게도 발화하지 않음)의 다수결에 기초하여, 각 턴(turn)에 대해 각 청자에 대한 이진 "발화 대상 레이블"을 구축하였다.
- 연속적 수준(Continuous Levels): 모호성과 단계적 구조를 포착하기 위해, 저자들은 잠재 변수 모델을 사용하여 "발화 수준"을 추론하였다. 이 모델은 발화성(addressivity)을 단위 구간 내로 제한된 연속적인 잠재 변수( $\theta$ )로 취급한다. 주석 레이블은 잠재적 발화성 벡터로부터 생성된 범주적 관측치로 모델링되었으며, 여기서 특정 레이블은 2차원 공간상의 이상적인 점에 대응한다(예: "모두에게(Everyone)"는 $(1,1)$ 에, "없음(None)"은 $(0,0)$ 에 대응). 이 모델은 주석가의 편향을 고려하며, cmdstanr를 통한 베이지안 샘플링을 사용하여 잠재적 발화성 값의 사후 중앙값(posterior medians)을 추정한다.
모델링 및 분석:
본 연구는 이러한 두 가지 표현(이산적 레이블 vs. 연속적 수준)과 세 가지 관찰 가능한 행동 사이의 관계를 조사하였다:
- 차례 주고받기(Turn-taking): 청자가 다음 화자가 되는지 여부.
- 시선(Gaze): 청자가 현재 화자를 바라보는 시간의 비율.
- 백채널(Backchannels): 청자가 생성하는 반응적 발화(예: "네", "아하")의 횟수.
brms(베이지안 샘pling)를 사용하여 일반화 선형 혼합 효과 모델(GLMM)을 적합시켜 이러한 행동들을 예측하였다. 고정 효과는 이산적 발화 레이블 또는 연속적 발화 수준이었으며, 턴, 세션, 화자, 청자에 대한 랜덤 절편(random intercepts)을 포함하였다. 모델 성능은 leave-one-out 교차 검증을 통한 기대 로그 예측 밀도(ELPD)를 사용하여 비교되었다.

주요 기여

경험적 재정식화: 본 연구는 발화 대상 모델링이 이산적 분류 문제에서 연속적 추정 문제로 재정식화되어야 한다는 경험적 증거를 제공하며, 주석의 모호함이 단순한 노이즈가 아니라 발화 행위의 본질적 특성을 반영한다는 점을 인정한다.
발화 수준의 조작적 정의: 저자들은 잠재 변수 모델을 사용하여 범주적 주석으로부터 참여자별 연속적 발화 표현을 추론하는 방법을 제안한다.
행동적 상관관계: 본 연구는 이러한 연속적 측정이 관찰 가능한 청자의 행동(시선 및 백채널)과 상관관계가 있음을 입증하여, 이들이 상호작용 구조의 표현으로서 타당함을 검증한다.

결과

예측 적합도: 세 가지 과업(다음 화자 선택, 시선, 백채널 생성) 모두에서 연속적 발화 수준을 사용한 모델이 이산적 발화 레이블을 사용한 모델보다 더 나은 예측 적합도(높은 ELPD)를 달 나타냈다.
- 다음 화자 선택의 경우, 연속적 모델은 상당한 개선( $\Delta$ ELPD = 14.4)을 보였다.
- 청자의 시선의 경우, 개선 폭이 더욱 두드러졌다 ( $\Delta$ ELPD = 39.2).
- 백채널의 경우에도 연속적 모델이 이산적 모델보다 우수한 성능을 보였으나, 그 차이는 더 작았으며, 이는 백채널이 발화성 이외의 추가적인 요인에 의해 영향을 받음을 시사한다.
행동적 연관성: 이산적 및 연속적 척도 모두 목표 행동과 양의 상관관계를 보였다(높은 발화성은 다음 화자가 될 가능성, 더 긴 시선 지속 시간, 더 많은 백채널과 상관관계가 있음). 그러나 연속적 표현이 이러한 관계의 단계적 특성을 더 효과적으로 포착하였다. 예를 들어, 이산적 프레임워크에서 "발화 대상이 아님"으로 분류된 청자가 여전히 높은 시선 지속 시간을 보이거나 다음 화자가 될 수 있는데, 이는 연속적 수준에서는 포착되는 뉘앙스이다.
질적 분석: 대화 발췌문의 사례 연구는 하나의 발화가 동시에 여러 참여자에게 응답하는 기능(예: 한 명의 질문에 답하면서 동시에 다른 명의 전제에 대응하는 것)을 할 수 있음을 보여주었으며, 이는 이산적 레이블이 포착하지 못하는 부분적 또는 단계적 발화성의 존재를 뒷받침한다.

의의 및 시사점
본 논문은 주석을 단일 레이블로 집계하는 전통적인 프레임워크가 발화 행위를 지나치게 단순화한다고 주장한다. 변이를 보존하고 발화를 연속적으로 표현함으로써, 연구자들은 더 나은 기술적 적절성과 실용적 유용성을 달성할 수 있다.

확장성: 참여자별 발화 수준을 추정하는 프레임워크는 특정 참여자 수에 덜 의존하므로, 고정된 범주 분류에 비해 더 확장 가능한 모델 설계를 지원할 수 있다.
온라인 추론: 화자의 턴 동안 발화와 청자의 행동 사이의 강한 연결은 발화 예측이 단순히 턴 완료 후의 사후 작업으로 취급되어서는 안 된다는 점을 시사한다. 대신, 청자의 시선, 백채널, 차례 주고받기를 공동으로 모델링하여 온라인상에서 추론되어야 한다.
이론적 전환: Sacks 등(1974)의 차례 주고받기 모델을 재고할 때, 본 연구의 결과는 화자가 단순히 하나의 이산적인 다음 화자를 선택하는 것이 아니라, 다중 양식적 자원을 사용하여 참여자들에게 발화의 정도를 연속적으로 배분한다는 것을 시사한다.

저자들은 일본어 삼자 대화로 제한된 점과 행동 분석에서 전체 사후 불확실성보다는 사후 중앙값을 사용했다는 점을 한계점으로 언급하였다. 그들은 향후 연구가 이러한 발견의 언어 및 도메인 간 일반화 가능성을 조사하고, 연속적 발화성 표현을 검증하기 위한 정교한 방법을 개발해야 한다고 결론지었다.

유사한 논문