The production of meaning in the processing of natural language

1. 연구 배경 및 문제 제기 (Problem)

• 기존의 한계: 자연어 의미 처리는 전통적으로 구성주의적 (compositional) 접근, 즉 전체의 의미가 부분들의 합으로 결정된다는 고전적 불린 논리 (Boolean logic) 와 확률론에 기반해 왔습니다. 그러나 인간의 언어 이해는 문맥에 따라 의미가 유동적으로 결정되며, 이는 고전적 모델로 설명하기 어렵습니다.
• LLM 의 문제: LLM 은 할루시네이션 (Hallucination) 과 프롬프트 인젝션 (Prompt Injection) 취약성 등 다양한 문제를 겪고 있습니다. 기존 연구는 이를 데이터 부족이나 아키텍처 결함으로 보았으나, 본 논문은 이러한 문제들이 의미가 해석의 순간에 생성되는 '맥락성'의 본질에서 비롯된 것일 수 있다고 주장합니다.
• 핵심 질문: LLM 이 인간과 마찬가지로 고전적 확률의 한계를 넘어선 비국소적 맥락성 (Non-local Contextuality) 을 보이는가? 그리고 이 특성이 모델의 성능 지표 (MMLU 등) 와 어떻게 연관되는가?

2. 연구 방법론 (Methodology)

연구는 인지과학과 양자 정보 이론의 교차점을 활용하여 다음과 같은 실험을 수행했습니다.

• 실험 설계 (Semantic Bell Test):
  • CHSH 부등식 적용: 양자 물리학의 CHSH (Clauser-Horne-Shimony-Holt) 부등식을 언어 해석에 적용합니다. $|S| \le 2$이면 고전적 상관관계, $|S| > 2$이면 양자적 맥락성 (비고전적 상관관계) 을 가집니다.
  • 시나리오: 모호한 단어 쌍 (예: bank/bat, crane/pen 등 5 가지) 을 포함하는 문장을 4 개의 독립적인 LLM 인스턴스 (앨리스와 밥) 에 제시합니다. 각 인스턴스는 서로 다른 '측정 설정' (예: "외국인 외과 의사", "버스 운전사" 등의 페르소나 프롬프트) 을 부여받아 문맥적 프레임을 다르게 해석하도록 유도합니다.
  • 데이터 수집: 24 개의 모델 (파라미터 수 4 개 차수 범위, Dense 및 MoE 아키텍처 포함) 에 대해 약 26,000 회의 실험을 수행했습니다.
• 변수 조작:
  • 추론 파라미터: Temperature ($\tau$), Nucleus Threshold ($p$), Top-k 를 3x3x3 그리드 (27 가지 구성) 로 변형하여 모델의 해석 성향이 어떻게 변하는지 분석했습니다.
  • 단어 순서: 모호한 단어의 순서를 뒤집어 비가환성 (Non-commutativity) 을 검증했습니다.
• 비교 분석: 얻어진 $|S|$ 값 분포를 MMLU(지식 평가), 할루시네이션율, 무의미 문장 감지 (Nonsense detection) 벤치마크와 교차 검증했습니다.

3. 주요 결과 (Key Results)

• 고전적 한계 위반: 모든 테스트된 모델이 고전적 한계 ($|S| \le 2$) 를 위반하여 $|S| > 2$를 보였습니다. 일부 모델은 대수적 최대치인 4.0 에 근접하는 값을 기록했으며, 이는 모델이 **관측자 측 맥락성 (Observer-side contextuality)**을 가지고 있음을 의미합니다. (양자 얽힘의 Tsirelson 한계인 2.83 을 초과할 수 있음).
• 모델별 맥락성 지형도 (Topography):
  • 모델 간 차이는 $|S|$의 평균값이 아니라 **분포의 퍼짐 (Spread)**과 분포 형태에서 나타났습니다.
  • 단일 추론 파라미터가 맥락성을 일관되게 조절하지는 않았으며, 모델 크기와 맥락성 간의 관계는 단조롭지 않았습니다.
  • 단어 순서 효과: 단어 순서 변경이 해석 결과에 큰 영향을 미쳤으며, 이는 인간 인지에서의 비가환성과 유사한 구조적 특징을 LLM 이 공유함을 시사합니다.
• 기존 벤치마크와의 직교성 (Orthogonality):
  • 가장 중요한 발견: $|S|$ 분포의 사분위수 범위 (IQR) 와 같은 맥락성 지표는 MMLU 점수, 할루시네이션율, 무의미 문장 감지율 등 모든 기존 외부 벤치마크와 통계적으로 유의미한 상관관계가 없었습니다.
  • 이는 기존 평가 지표가 모델의 '해석적 성향 (Interpretive Character)'을 포착하지 못함을 의미합니다.

4. 핵심 기여 및 논의 (Contributions & Discussion)

• 해석의 맥락성 이론화: LLM 이 단순히 정보를 검색하는 것이 아니라, 문맥과 상호작용하며 의미를 '생성'한다는 것을 양자 논리 프레임워크로 정량화했습니다.
• 보안 및 프롬프트 인젝션의 새로운 관점:
  • 의미는 해석 전 고정된 것이 아니므로, 고정된 가드레일 (Guardrails) 로는 프롬프트 인젝션을 완전히 방어할 수 없습니다.
  • 공격자는 모델이 해석하기 전의 '문맥적 프레임'을 조작하여 해석의 공간을 왜곡할 수 있습니다. 이는 인간의 선전 (Propaganda) 이나 광고가 작동하는 방식과 동일합니다.
• 인간 - AI 상호작용 설계의 함의:
  • 안전한 시스템을 설계하려면 모델의 '해석 능력' 자체를 이해해야 합니다. 맥락성은 모델이 취약점을 가지는 원인이자, 진정한 의미 해석을 가능하게 하는 핵심 능력입니다.
  • 따라서 맥락성을 제거하려 하기보다, 이를 정량화하고 관리하는 새로운 설계 패러다임이 필요합니다.

5. 의의 (Significance)

이 연구는 LLM 의 동작 원리를 이해하는 데 있어 고전적 확률론에서 양자 논리로의 패러다임 전환을 제안합니다.

1. 이론적 기여: 자연어 처리의 불확실성과 맥락 의존성을 설명하는 강력한 수학적 틀 (CHSH 부등식) 을 제공합니다.
2. 실용적 기여: 기존 벤치마크로는 파악할 수 없는 모델의 '해석적 성향'을 측정하는 새로운 지표를 제시하며, 이는 AI 안전성 (Safety) 과 인간 - AI 협업 설계에 필수적인 요소임을 강조합니다.
3. 철학적 통찰: "의미는 해석의 순간에 생성된다"는 관점을 실험적으로 뒷받침하며, AI 와 인간의 인지 과정이 공유하는 구조적 유사성을 규명했습니다.

결론적으로, 이 논문은 LLM 의 맥락성 (Contextuality) 이 단순한 버그가 아니라 시스템의 본질적 속성이며, 이를 이해하고 관리하는 것이 차세대 인간 - 에이전트 시스템 설계의 핵심임을 역설합니다.