💬 NLP

Information Dynamics of Language Communication

이 논문은 대화 내 의미적 콘텐츠의 방향성 흐름을 정량화하고 분해하기 위해 거대 언어 모델을 활용하는 정보 이론적 프레임워크를 도입하며, 인지적 경직성, 설득, 심리 치료의 질, 그리고 논증 구조를 분석하는 데 있어 이 프레임워크의 유용성을 입증한다.

원저자: Leonardo S. Goodall, Andrea I. Luppi, Pedro A. M. Mediano

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Leonardo S. Goodall, Andrea I. Luppi, Pedro A. M. Mediano

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 의미의 "흐름(Flow)" 측정하기

두 사람이 대화를 나누고 있다고 상상해 보세요. 보통 우리는 그들이 무엇을 말하는지에만 집중합니다. 하지만 이 논문은 더 깊은 질문을 던집니다. "A라는 사람의 생각이 실제로 B라는 사람의 다음 생각을 얼마나 변화시키는가?"

저자인 레오나르도 구달(Leonardo Goodall), 안드레아 루피(Andrea Luppi), 페드로 메디아노(Pedro Mediano)는 사람들 사이의 보이지 않는 의미의 흐름을 측정하기 위한 새로운 "자(ruler)"를 만들었습니다. 그들은 이를 **정보 이론적 프레임워크(Information-Theoretic Framework)**라고 부릅니다.

대화를 하나의 강물이라고 생각해 보세요. 때로는 물이 한쪽 기슭에서 다른 쪽 기슭으로 매끄럽게 흐릅니다. 때로는 기슭이 너무 딱딱해서 물이 전혀 섞이지 못하기도 합니다. 또 어떤 때는 두 줄기의 물줄기가 합쳐져서, 어느 한쪽이 혼자서는 결코 만들어낼 수 없었던 강력한 새로운 흐름을 만들어내기도 합니다.

이를 측정하기 위해, 연구진은 대규모 언어 모델(LLM)—여러분이 AI와 채팅할 때 사용하는 것과 같은 종류의 AI—을 "슈퍼 리스너(super-listener)"로 사용했습니다. 이 AI들은 방대한 양의 텍스트를 학습했기 때문에 다음에 올 단어를 예측하는 데 매우 능숙합니다. 연구진은 이러한 예측 능력을 활용하여, 한 사람의 말이 상대방의 다음 단어를 예측하는 데 정확히 얼마나 도움이 되는지를 계산했습니다.

그들은 이를 수행하기 위해 두 가지 주요 도구를 도입했습니다.

도구 1: 의미론적 전이 엔트로피 (Semantic Transfer Entropy, STE)

"누가 주도하고 있는가?" 측정기

당신이 춤을 보고 있다고 상상해 보세요.

높은 STE: 왼쪽 무용수가 움직이면, 오른쪽 무용수가 즉시 완벽한 스텝으로 따라 움직입니다. 왼쪽 무용수가 정보의 흐름을 "리드"하고 있는 것입니다.
낮은 STE: 왼쪽 무용수가 움직였는데, 오른쪽 무용수는 전혀 상관없는 행동을 합니다. 흐름이 끊긴 것입니다.

작동 원리: 연구진은 AI에게 이렇게 묻습니다. "만약 내가 A가 방금 한 말을 숨긴다면, B가 다음에 할 말을 맞히기가 얼마나 어려워질까?"

만약 A의 말이 없을 때 AI가 매우 힘들어한다면, 이는 A가 B에게 큰 영향을 미치고 있다는 뜻입니다.
만약 A의 말이 없어도 AI가 비슷하게 잘 맞힌다면, B는 독립적으로 생각하고 있다는 뜻입니다.

연구 결과:

경직된 마음 vs 유연한 마음: 컴퓨터로 생성된 대화에서, "인지적으로 경직된(고집스럽고 자기 방식에 갇힌)" 것으로 프로그래밍된 사람들은 정보 흐름이 훨씬 낮았습니다. 그들은 파트너의 신호를 포착하지 못했습니다. 반면 유연한 사람들은 더 잘 흘러갔습니다.
설득하는 사람: 자선 기부 채팅에서, 돈을 요청하는 사람(설득자)은 상대방에게 큰 영향을 미쳤습니다. 흐름은 일방향적이었습니다: 설득자 → 기부자. 흥ensitingly(흥미롭게도), 설득자가 개인적인 이야기를 하거나 '문간에 발 들이기(foot-in-the-door)' 전략을 사용할 때는 오히려 영향력이 약간 떨어졌습니다. 이러한 자기 완결적인 이야기들은 직접적인 질문만큼 기부자의 다음 행동을 예측하는 데 도움이 되지 않았던 것으로 보입니다.
상담의 질: 상담 세션에서 연구진은 놀라운 패턴을 발견했습니다. 고품질 상담에서는 상담사가 흐름을 독점하지 않았습니다. 내담자가 대화를 이끌고, 상담사는 이를 따랐습니다. 저품질 세션에서는 상담사가 대화를 지배하여 내담자의 반응을 매우 예측 가능하게(그리고 자율성을 낮게) 만들었습니다. 최고의 상담은 강의가 아니라 균형 잡힌 춤과 같습니다.

도구 2: 의미론적 부분 정보 분해 (Semantic Partial Information Decomposition, SPID)

"팀워크" 분석기

당신이 미스터리 소설의 결말을 추측하려고 한다고 상상해 보세요.

중복성(Redundancy): 두 친구가 모두 "집사 범인이야"라고 말합니다. 당신은 똑같은 내용을 두 번 들은 것입니다. 도움이 되긴 하지만 새로운 것은 아닙니다.
고유성(Unique): 한 친구는 "집사가 범인이야"라고 하고, 다른 친구는 "희생자는 독살되었어"라고 합니다. 각자가 완전히 다른, 필수적인 퍼즐 조각을 제공합니다.
시너지(Synergy): 한 친구는 "집사가 주방에 있었어"라고 하고, 다른 친구는 "독은 차 속에 있었어"라고 합니다. 각각의 단서만으로는 범인이 누구인지 알 수 없습니다. 하지만 함께라면, 그들은 범인을 밝혀냅니다. 전체가 부분의 합보다 큽니다.

작동 원리: 연구진은 학생들이 주장(예: "춤은 중요하다")을 뒷받침하기 위해 두 가지 전제(이유)를 제시한 에세이를 살펴보았습니다. 그들은 AI를 사용하여 이 두 가지 이유가 주장을 뒷받ment하는 데 얼마나 시너지 효과를 내는지 확인했습니다.

연구 결과:

시너지는 실재한다: 두 가지 이유가 하나의 주장을 뒷받침할 때, 그것들은 종종 시너지 효과를 냈습니다. 두 이유의 조합은 단순히 두 이유를 더한 것보다 주장을 훨씬 더 강력하게 만들었습니다.
너무 많은 요리사: 하지만 이유를 더 많이 추가할수록(3개 또는 4개), "시너지"는 사라졌습니다. 추가된 이유들은 똑같은 아이디어를 반복하기 시작했습니다(중복성). 이는 팀에 더 많은 사람을 투입했는데, 그들이 그저 같은 말만 반복하는 것과 같습니다. 통찰력이 아닌 소음이 늘어나는 것입니다.

이것이 왜 중요한가 (논문에 따르면)

이 논문이 나오기 전까지, 과학자들은 단어의 수를 세거나, 문법을 살피거나, 사람들이 유사한 어휘를 사용하는지 확인하는 방식으로 대화를 측정했습니다. 그것은 마치 영화의 화면에 있는 빨간색 픽셀의 개수를 세어서 영화를 측정하는 것과 같았습니다.

이 새로운 프레임워크는 사람들 사이에 흐르는 실제 의미를 측정합니다. 단순히 표면을 보는 것이 아니라, 대화의 "예측력"을 봅니다.

핵심 요약:
AI를 수학적 렌즈로 사용함으로써, 저자들은 다음을 증명했습니다:

유연성은 더 나은 정보 흐름을 만듭니다.
좋은 상담은 상담사가 아닌 내담자가 이끄는 것입니다.
강력한 논증은 단순히 이유를 쌓아 올리는 것이 아니라, 서로 협력하는 전제들에 의존합니다(시너지).

이 논문은 우리가 이제 대화의 "전기(electricity)"—즉, 한 정신이 다른 정신에 진정으로 영향을 미칠 때 발생하는 보이지 않는 불꽃—를 측정할 수 있음을 입증합니다.

기술 요약: 언어 소통의 정보 역학

문제 정의

의미가 의사소통 교환을 통해 어떻게 전파되는지를 정량화하는 연구는 계산 언어학 분야에서 여전히 미발달 상태로 남아 있다. 이 분야는 표면적인 어휘 측정에서 문맥적 신경 표현(contextual neural representations)으로 발전해 왔으나, 기존의 접근 방식 중 다음을 정량화할 수 있는 원칙적이고 통합된 프레임워크를 제공하는 것은 없다:

대화 참여자들 사이에서 흐르는 의미 정보의 양.
이 흐름의 방향성.
여러 소스가 대상의 언어에 어떻게 공동으로 기여하는지(중복적, 고유한, 시너지적 기여를 구분함).

기존 방법론들은 방향성이나 다중 소스 구조를 별개로 다루는 임시방편적 척도, 표면적 특징, 또는 상관관계 요약에 의존하고 있으며, 이를 통합적인 방식으로 동시에 해결하지 못한다. 더욱이, 전이 엔트로피(Transfer Entropy, TE)나 부분 정보 분해(Partial Information Decomposition, PID)와 같은 정보 이론적 척도를 자연어에 직접 적용하는 것은 까다로운데, 이는 이러한 척도들이 잘 정의된 확률 분포를 요구하지만 고차원 신경 임베딩 공간에서는 그러한 분포가 쉽게 생성되지 않기 때문이다.

방법론

저자들은 대규모 언어 모델(LLM)을 자연 언어의 확률적 추정기로 활용하여 두 가지 새로운 정보 이론적 척도인 **의미적 전이 엔트로피(Semantic Transfer Entropy, STE)**와 **의미적 부분 정보 분해(Semantic Partial Information Decomposition, SPID)**를 계산하는 프레임워크를 도입한다.

핵심 척도

의미적 전이 엔트로피 (STE):
- 정의: STE는 소스( $Y$ )가 타겟( $X$ )에 미치는 유향 예측 영향력을 정량화한다. 이는 $X$ 자신의 과거 이력 및 나머지 문맥( $Z$ )에 의해 제공되는 것 이상의, $Y$ 의 과거 내용이 $X$ 의 미래 발화에 대한 불확실성을 얼마나 감소시키는지를 측정한다.
- 공식: $STE_{Y \to X} = I(Y; X | X^-, Z^-) = E[\log p(X|X^-, Y^-, Z^-) - \log p(X|X^-, Z^-)]$ .
- 구현: LLM의 **어텐션 마스킹(attention masking)**을 통해 구현된다. 모델은 소스의 이전 발화에 대한 어텐션을 마스킹함으로써, 소스의 정보 없이 타겟의 다음 토큰을 예측할 때와 있을 때의 로그 가능도(log-likelihood) 차이를 계산한다. 이 차이는 비트(bits) 단위의 STE를 산출하며, 이를 통해 대화 문맥을 보존하면서 직접적인 정보 흐름을 격리한다.
의미적 부분 정보 분해 (SPID):
- 정의: SPID는 분석을 여러 소스로 확장하여, 이들이 타겟의 언어에 어떻게 공동으로 기여하는지를 중복적(공유됨), 고유한(하나의 소스에만 독점적임), 그리고 시너지적(소스들을 함께 고려할 때만 가용함) 구성 요소로 분해한다.
- 구현: STE와 달리, SPID는 소스들이 독립적인 텍스트인 구성(예: 주장을 뒷받침하는 전제들)에 적용된다. 이는 표현의 연쇄적인 변화를 피하고 진정한 주변 분포(marginal distributions)를 얻기 위해 입력 시퀀스에서 소스를 **물리적으로 누락(physical omission)**시키는 방식을 사용한다.
- 중복 기능량(Redundancy Functional): 저자들은 중복성을 식별하기 위해 최소 상호 정보량(Minimum Mutual Information, MMI) 기능을 채택한다.
- 확장성: $n > 2$ 인 소스에 대해 전체 분해는 다루기 어렵다. 저자들은 중복-시너지 균형을 스칼라 요약으로 제공하기 위해 **중복-시너지 지수(Redundancy-Synergy Index, RSI)**를 활용한다: $I(Y; X_1, \dots, X_n) - \sum I(Y; X_i)$ .

실험 설계

본 프레임워크는 네 가지 실험을 통해 검증되었다:

실험 1 (합성 데이터): 인지적 스타일(경직된 스타일 vs 유연한 스타일)을 조작하여 생성된 3,000개의 쌍방향 대화를 통해 인지적 스타일에 대한 민감도를 테스트하였다.
실험 2 (자연적 설득): PERSUASIONFORGOOD 코퍼스(300 쌍방향 대화)를 분석하여, 설득자와 피설득자 간의 방향적 비대칭성과 수사적 전략의 영향을 조사하였다.
실험 3 (임상): AnnoMI 코퍼스(133회의 동기 면담 세션)를 분석하여, 고품질(내담자 주도)과 저품질(치료사 주도) 치료를 구분하였다.
실험 4 (논증): 여러 전제가 주장을 뒷받침하는 Argument Annotated Essays (AAE-v2) 코퍼스를 분석하여 논증의 정보 구조를 분해하였다.

주요 결과

1. 인지적 경직성에 대한 민감도 (실험 1)

STE는 이론적으로 예측된 정보 역학의 차이를 성공적으로 탐지했다. 유연한 소스는 타겟의 스타일과 관계없이 경직된 소스보다 유의미하게 높은 유향 정보 전달(STE)을 생성했다. 이는 STE의 변별 능력을 통제된 조건 하에서 확인시켜 준다.

2. 설득에서의 방향적 비대칭성 (실험 2)

STE는 설득 대화에서 두드러지는 방향적 비대칭성을 드러냈다: 정보 전달은 설득자에서 피설득자로의 방향(평균 = 1.70 bits/token)이 역방향(0.05 bits/token)보다 압도적으로 높았다.

전략 효과: 특정 전략(예: 개인적 이야기, 신뢰성 호소)은 감소된 STE와 연관이 있었다. 저자들은 이를 효과가 없다는 뜻이 아니라, 피설득자의 다음 차례를 예측하는 데 있어 자신의 이력 외에 추가적인 신호를 거의 더하지 않는 자기 완결적 콘텐츠의 도입으로 해석한다.

3. 치료적 동맹의 질 (실험 3)

STE는 동기 면담(MI)에서 치료의 질을 나타내는 객관적 지표 역할을 했다.

저품질 세션(치료사의 대립/지시적 특성)은 치료사에서 내담자로 향하는 높은 STE를 보였다.
고품질 세션(내담자의 변화 대화 특성)은 치료사에서 내담자로 향하는 낮은 STE를 보였다.
치료사-내담자 간 STE와 내담자의 변화 대화 비율 사이에 약하지만 유의미한 부적 상관관계가 발견되었으며, 이는 치료사의 정보적 지배력이 내담자의 자율성 감소와 상관관계가 있음을 시사한다.

4. 논증에서의 시너지적 전제 (실험 4)

논증 에세이에 대한 SPID 분석은 다음과 같은 결과를 보여주었다:

양의 시너지: 두 개의 전제를 가진 논증은 평균적으로 양의 시너지를 보였는데, 이는 전제들이 개별적 기여의 합보다 주장에 대해 더 많은 예측 정보를 공동으로 제공함을 의미한다.
중복 vs 시너지: 전제의 수가 증가함에 따라(2개에서 4개로), **중복-시너지 지수(RSI)**는 점점 더 음수 쪽으로 기울었으며, 이는 중복성이 지배적인 구조로의 변화를 나타낸다.
수익 체감: 더 많은 전제가 추가될수록 전제당 정보 산출량이 감소하였으며, 이는 추가적인 전제가 보완적인 증거보다는 중복되는 증거를 제공하는 경우가 많음을 시사한다.

견고성

모든 주요 결과는 두 가지 아키텍처와 두 가지 규모를 아우르는 세 가지 언어 모델(LLaMA 3.2-3B, Phi-3-mini-4k, Mistral-7B-v0.3)에서 재현되었으며, 이는 프레임워크의 견고성을 입증한다.

의의 및 주장

본 논문은 어떤 시스템에서도 의미 있는 순차적 텍스트를 교환하는 행위자를 연구할 수 있는 범용적이고 원칙적인 프레임 **워크를 도입한다고 주장한다.

이론적 기여: 섀넌(Shannon)의 수학적 통신 이론과 현대 LLM의 의미적 표현 능력을 결합한다. 저자들은 STE와 SPID가 형식적으로는 구조적 양(비트 단위의 불확실성 감소 측정)이지만, 원시 기호 빈도가 아닌 문맥화된 의미 표현 위에서 작동한다는 점을 명확히 한다.
방법론적 진보: 임베딩 거리나 추출된 특징에 대한 그랜저 인과관계(Granger causality)와 같은 임시방편적 척도를 넘어, 발화의 전체 의미 내용에 직접적으로 작용하는 의미적 영향력을 정량화한다.
적용 가능성: 본 프레임워크는 임상 대화(치료적 동맹 추적), 정치/미디어 커뮤니케이션(의미적 프레이밍 전파 추적), 교육(교수 소스 분해), 인간-AI 상호작용 등 다양한 영역에 적용 가능하다.

저자들은 STE가 "유향 예측 의존성(directed predictive dependence)"을 측정하며, 인과적 해석은 표준적인 그랜저 인과관계 가정(정상성, 숨겨진 혼란 변수 부재, 올바른 모델 명세)에 의존한다는 점을 언급하며 인과성에 대해 신중한 입장을 유지한다. 또한, 추정 모델로 사용된 특정 LLM에 대한 의존성과 조건 집합을 위한 포워드 패스(forward pass) 실행의 계산 비용 등의 한계를 인정한다.