논문 요약: "Beneath the Surface: Investigating LLMs' Capabilities for Communicating with Subtext"

이 논문은 대규모 언어 모델 (LLM) 이 인간과 같은 '암시적 의미 (Subtext)'를 사용하여 의사소통할 수 있는 능력을 체계적으로 평가하고, 그 한계를 규명합니다. 저자들은 LLM 이 현재는 지나치게 직설적이고 명시적인 표현에 의존하여 미묘한 뉘앙스를 전달하는 데 어려움을 겪고 있음을 발견했습니다.

1. 연구 배경 및 문제 정의 (Problem)

인간 의사소통의 핵심은 문자 그대로의 의미 (literal content) 를 넘어선 암시적 의미, 즉 **서브텍스트 (Subtext)**를 활용하는 창의성에 있습니다. 문학, 영화, 일상 대화에서 우리는 직접적으로 말하지 않고도 상대방의 배경 지식이나 공유된 경험 (Common Ground) 을 통해 의도를 전달합니다.

• 핵심 질문: 현재의 최첨단 LLM 은 이러한 서브텍스트를 생성하고 해석할 수 있는가?
• 기존 연구의 한계: 이전 연구들은 LLM 이 서브텍스트를 사용하지 못한다고 언급했으나, 주로 전문가의 수동 평가에 의존하거나 정량적 측정이 부족했습니다. 또한, 다중 에이전트 상호작용이나 공유된 맥락을 고려한 체계적인 평가 환경이 부재했습니다.

2. 방법론 (Methodology)

저자들은 서브텍스트 능력을 평가하기 위해 **4 가지 새로운 평가 환경 (Evaluation Suites)**을 제안했습니다. 이는 크게 '사회적 의사소통 게임'과 '스토리텔링' 두 가지 범주로 나뉩니다.

A. 사회적 의사소통 게임 (Board Game 기반)

이 게임들은 다중 에이전트 환경에서 특정 청중 (일부 플레이어) 만이 의도를 이해하고, 다른 플레이어는 오해하도록 하는 '선택적 의사소통'을 요구합니다.

1. Visual Allusions (비주얼 암시): 보드게임 'Dixit'을 모방했습니다.
   • 과제: 화자가 손에 든 카드 (이미지) 에 대한 단서 (Clue) 를 작성합니다.
   • 목표: 일부 플레이어 (공유된 맥락을 가진 파트너) 는 단서를 통해 정답을 맞추지만, 다른 플레이어는 맞추지 못해야 합니다.
   • 변수: 공유된 이야기 (Common Ground) 가 있는 경우와 없는 경우, 그리고 에이전트가 상대방의 공유 지식을 추론해야 하는 경우를 실험했습니다.
2. Attuned (동조): 보드게임 'Wavelength'를 모방했습니다.
   • 과제: 팀원들은 스펙트럼 (예: '일시적' vs '영구적') 상의 특정 지점을 맞추기 위해 단서를 주고받습니다.
   • 목표: 팀원만 정답을 맞추고, 상대 팀은 오답해야 합니다. 이는 '마음 읽기 (Theory of Mind)' 능력을 평가합니다.

B. 스토리텔링 및 해석 (Storytelling & Interpretation)

1. Historical Allegories (역사적 우화):
   • 과제: 특정 역사적 사건 (예: 스탈린 시대, 대공황 등) 을 직접 언급하지 않고 우화 (Allegory) 로 표현한 텍스트를 생성하고 해석합니다.
   • 변수: 화자의 신원 (저자 이름), 청자의 배경 (독자 역할) 등 **주변 텍스트적 요소 (Paratext)**가 해석에 미치는 영향을 분석했습니다.
2. The Aesopian Author (에소피안 작가):
   • 과제: 검열이 엄격한 가상의 국가에서, '금지된 주제 (예: 민주주의)'를 은유적으로 표현하되 '검열관 (Inquisitor)'은 '장려된 주제 (예: 왕에 대한 찬양)'로 오해하도록 글을 씁니다.
   • 목표: 문화 비평가 (Critic) 는 은유를 알아채고, 검열관은 속아야 합니다. 이는 정보 비대칭을 활용한 서브텍스트 생성 능력을 평가합니다.

3. 주요 결과 (Key Results)

A. 지나친 직설성 (Overly Literal Communication)

• 모든 평가 환경에서 최첨단 모델 (Gemini-2.5-Pro, GPT-5, Claude-Sonnet-4.5 등) 은 지나치게 직설적인 표현을 사용하는 경향이 강했습니다.
• Visual Allusions에서 최고의 성능을 보인 모델조차도 단서의 60% 이상을 모든 플레이어가 쉽게 추측할 수 있는 '명백한 단서 (Obvious clues)'로 생성했습니다. 이는 서브텍스트를 통한 선택적 의사소통 실패를 의미합니다.

B. 공유된 맥락 (Common Ground) 의 활용

• 공유 지식 제공 시: 에이전트 간에 공유된 이야기 (Common Ground) 가 명시적으로 제공되면, 상위 모델들은 이를 활용해 직설적 단서를 30-50% 줄이고 파트너와만 통하는 단서를 만들 수 있었습니다.
• 공유 지식 추론 시: 그러나 모델들에게 공유 지식이 있는지 직접 알려주지 않고 추론하게 하면, 대부분의 모델은 이를 인지하지 못하거나 활용하지 못했습니다. 이는 LLM 이 대화 과정에서 상대방의 지식 상태를 동적으로 추론하고 공유 지식을 구축하는 능력 (Grounding) 이 부족함을 보여줍니다.

C. 스토리텔링 및 해석의 민감성

• Historical Allegories: 저자의 신원 (Author Name) 이나 독자의 배경 (Reader Persona) 과 같은 주변 텍스트적 요소가 모델의 해석에 결정적인 영향을 미쳤습니다. 예를 들어, '역사가' 역할이나 특정 문화적 배경을 가진 저자 이름이 제공되면, 모델이 역사적 우화를 올바르게 해석하는 비율이 26% 에서 73% 로 크게 상승했습니다.
• The Aesopian Author: 이 환경은 가장 어려웠으며, 최상위 모델조차도 목표 (검열관 속이기 + 비평가 설득) 를 성공적으로 달성하는 비율이 22% 에 불과했습니다. 모델들은 은유를 너무 노골적으로 표현하여 검열관에게 적발되는 경우가 많았습니다.

4. 주요 기여 (Key Contributions)

1. 체계적인 평가 프레임워크: 서브텍스트라는 주관적이고 복잡한 현상을 정량화하기 위해 4 가지 새로운 평가 환경 (Visual Allusions, Attuned, Historical Allegories, The Aesopian Author) 을 최초로 제안했습니다.
2. LLM 의 서브텍스트 한계 규명: 현재 LLM 이 창의적 의사소통에서 '직설성' 편향을 가지고 있으며, 공유된 맥락 (Common Ground) 을 능동적으로 구축하거나 추론하는 데 심각한 약점이 있음을 실증했습니다.
3. 맥락적 요소의 영향 분석: 저자 신원, 독자 역할 등 외부 정보가 모델의 의미 해석에 어떻게 영향을 미치는지에 대한 정량적 데이터를 제공했습니다.
4. 오픈 소스 및 재현성: 평가 환경 코드와 모델 평가 데이터를 공개하여 향후 연구를 장려합니다.

5. 의의 및 시사점 (Significance)

• 실용적 함의: LLM 이 인간처럼 미묘한 뉘앙스를 이해하고 전달하지 못한다는 것은 창의적 글쓰기, 다중 에이전트 협업, 그리고 복잡한 사회적 상호작용 시나리오에서의 적용에 한계가 있음을 시사합니다.
• 이론적 함의: 이 연구는 LLM 의 '마음 이론 (Theory of Mind)'과 '화용론적 추론 (Pragmatic Reasoning)' 능력이 아직 초기 단계임을 보여줍니다. 특히, 대화 상대방의 신념을 추론하고 공유 지식을 축적하는 과정에서의 실패는 향후 모델 개선의 핵심 과제로 지적됩니다.
• 안전성 (Safety): 서브텍스트 능력은 악의적인 목적 (기만, 스테가노그래피, 안전 필터 우회) 에 사용될 수 있는 '이중용도 (Dual-use)' 기술이 될 수 있으므로, 이를 평가하고 이해하는 것은 AI 안전 연구에도 중요합니다.

결론적으로, 이 논문은 LLM 이 표면적인 텍스트 생성은 잘하지만, 그 이면에 숨겨진 의도와 뉘앙스를 다루는 '깊이 있는 의사소통'에는 여전히 큰 과제가 있음을 명확히 보여주었습니다.