Do Language Models Know Theo Has a Wife? Investigating the Proviso Problem

이 논문은 언어 모델이 조건문 내의 전제 투사 (proviso problem) 를 어떻게 처리하는지 진단용 데이터셋과 설명 가능성 분석을 통해 평가한 결과, 모델은 인간의 판단과 대체로 일치하지만 심층적인 의미나 화용론적 추론보다는 얕은 패턴 매칭에 의존한다는 점을 밝혔습니다.

핵심

🕵️‍♂️ 1. 연구의 배경: "테오의 아내" 수수께끼

연구자들은 다음과 같은 문장을 예로 들었습니다.

"테오가 시를 싫어한다면, 그의 아내도 싫어할 것이다."

이 문장을 들었을 때, 우리는 자연스럽게 **"테오에게는 아내가 있다"**는 사실을 전제로 받아들입니다. (아내가 없는데 '그의 아내'라고 할 수 없으니까요.)

하지만 언어학 이론 (형식 의미론) 에 따르면, 이 문장은 **"만약 테오가 시를 싫어한다면, (그때는) 테오에게 아내가 있다는 뜻이다"**라고 해석해야 합니다. 즉, 아내의 존재는 조건부 (If) 에 묶여 있어야 한다는 거죠.

그런데 실제 인간들은?
대부분의 인간은 "테오에게 아내가 있다"는 사실을 조건 없이 확실한 사실로 받아들입니다. (이걸 '전제 수용'이라고 합니다.)

질문: "그렇다면 AI 는 이걸 어떻게 해석할까? 이론대로 조건부로 생각할까, 아니면 인간처럼 무조건 사실로 받아들일까?"

🧪 2. 실험 방법: AI 를 위한 '미끼' 만들기

연구자들은 약 8,500 개의 문장을 만들어 AI 들 (RoBERTa, DeBERTa, LLaMA, Gemma 등) 을 시험에 들였습니다. 이 실험은 마치 AI 의 두뇌를 X-ray 로 찍는 것과 같습니다.

• 시험지 (데이터): "만약 A 라면, B 의 (전제) 가 성립한다"는 형태의 문장들.
• X-ray 촬영 (설명 가능성 분석): AI 가 정답을 고를 때, 어떤 단어에 집중했는지를 분석했습니다.
  • 예: "아내"라는 단어를 보고 "아, 아내가 있구나"라고 진짜로 이해했는지, 아니면 문장 구조상 "그의 ~"라는 패턴만 보고 기계적으로 답했는지 확인했습니다.

📊 3. 실험 결과: AI 는 '진짜 이해'가 아니라 '패턴 암기'를 했다

결과는 다소 충격적이었습니다.

① 인간과 똑같은 답을 냈지만, 이유는 달랐다.

AI 들은 인간과 거의 똑같은 정답 (테오에게 아내가 있다) 을 맞췄습니다. 하지만 그 이유는 이해가 아니라 패턴 매칭이었습니다.

• 비유: 마치 요리사가 "소금"을 넣어야 맛있는 걸 알고 넣는 게 아니라, 레시피에 "소금"이라는 글자가 나오면 기계적으로 넣는 것과 같습니다.

② '미끼'를 바꿔주니 AI 는 당황했습니다.

연구자들은 문장의 핵심 단어 (전제 유발어) 를 뺏어 다른 단어로 바꿔주었습니다.

• 원래: "테오가 시를 싫어한다면, 그의 아내도..." (아내 = 시와 관련 없음)
• 변형: "테오가 시를 싫어한다면, 그의 친구도..." (친구 = 시와 관련 없음)

결과: AI 는 문장의 의미 (친구와 시의 관계) 를 전혀 고려하지 않고, 문장 구조상 "그의 ~"가 나오면 무조건 "친구가 있다"고 결론 내렸습니다. 의미는 무시하고 위치 (Position) 만 본 것입니다.

③ 훈련 데이터에 '속은' AI 들

일부 AI 는 훈련 과정에서 "조건부 문장 + '다시 (again)'라는 단어 = 부정 (아니다)"라는 잘못된 규칙을 외워버렸습니다. 그래서 문맥상 전혀 상관없는 단어가 들어와도, "아, '다시'가 나오니 부정해야지!"라고 엉뚱한 답을 내놓았습니다.

💡 4. 핵심 교훈: "정답을 맞췄다고 해서 이해한 건 아니다"

이 연구는 우리에게 중요한 메시지를 줍니다.

"AI 가 시험 점수 (정확도) 가 100 점이라도, 그건 진짜로 말을 이해해서 맞춘 게 아니라, 인간이 만든 패턴을 완벽하게 암기해서 맞춘 것일 뿐이다."

• 비유: AI 는 완벽한 모방꾼입니다. 인간이 "비 올 때 우산 쓴다"고 하면, 비가 오지 않아도 우산을 들고 다니는 척할 수 있습니다. 하지만 비가 오지 않는 상황 (새로운 문맥) 이나, "비"라는 단어를 "눈"으로 바꿔주면 혼란에 빠집니다.

🚀 5. 결론: 앞으로의 방향

이 논문은 AI 가 **실제적인 언어 능력 (Pragmatic Competence)**을 갖추려면, 단순히 정답을 맞추는 것을 넘어 문맥과 의미를 진짜로 연결할 수 있어야 한다고 말합니다.

• 요약: AI 는 지금 '말의 껍질'만 잘 까먹고 있습니다. '말의 속살 (의미)'을 이해하려면, 우리가 만든 새로운 진단 도구 (이 논문에서 개발한 데이터셋) 를 통해 더 꼼꼼하게 훈련시켜야 합니다.

이 연구는 AI 가 인간처럼 '말을 알아듣는' 단계로 가기 위해, 우리가 얼마나 더 치밀하게 검증해야 하는지 보여주는 중요한 이정표입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 프래그마틱스 (Pragmatics) 의 평가 부재: 대규모 언어 모델 (LLM) 의 평가는 주로 의미론적 (semantic) 인ference 에 집중되어 왔으며, 문맥을 이해하는 프래그마틱스 영역은 상대적으로 소홀히 다루어졌습니다.
• 전제 (Presupposition) 와 조건문: 전제는 화자와 청자가 공유하는 것으로 가정된 정보입니다. 예를 들어, "Theo 가 담배를 끊었다"라는 문장은 "Theo 는 과거에 담배를 피웠다"는 전제를 내포합니다.
• 보류 문제 (The Proviso Problem): 조건문 (If A, Bp) 구조에서 전제가 어떻게 투사 (projection) 되는지에 대한 이론적 불일치입니다.
  • 형식적 의미론 (Formal Semantics) 관점: "Theo 가 시를 싫어한다면, 그의 아내도 싫어한다"는 문장은 "Theo 가 시를 싫어한다면 Theo 는 아내가 있다"는 조건부 전제만 내포한다고 봅니다. (즉, Theo 가 시를 싫어하지 않는다면 아내가 있을지 모른다.)
  • 화자 (Human) 의 실제 판단: 화자들은 일반적으로 "Theo 는 아내가 있다"는 무조건부 전제를 수용합니다.
  • 연구 목적: 언어 모델이 형식적 이론의 예측 (조건부) 을 따르는지, 아니면 인간의 직관 (무조건부) 을 따르는지, 그리고 그 판단 근거가 무엇인지 (심층적 추론 vs. 표면적 패턴 매칭) 를 규명하는 것입니다.

2. 방법론 (Methodology)

2.1. 작업 재정의 (Task Reformulation)

• 보류 문제를 자연어 추론 (Natural Language Inference, NLI) 작업으로 재정의했습니다.
  • 전제 (Premise): If A, Bp (p 는 B 의 전제)
  • 가설 (Hypothesis): p (전제 자체)
  • 레이블:
    • Entailment (E): 인간이 일반적으로 수용하는 무조건부 전제 (예: Theo 는 아내가 있다).
    • Neutral (N): 형식적 의미론이 예측하는 조건부 전제 (Theo 가 시를 싫어한다면 아내가 있다).

2.2. 데이터셋 구축 (Dataset Construction)

• 기존 데이터셋인 CONFER를 기반으로 약 8,500 개의 예제로 확장된 진단용 데이터셋을 구축했습니다.
• 4 가지 서브셋 (Subset) 으로 구성:
  1. Original Sentences: 원본 900 개 예제 (DEP: 전제와 가설이 논리적으로 연관된 경우, IND: 무관한 경우).
  2. Structural Variation: 조건문의 구조를 변경 (연결, 선택, 신념 동사 임베딩 등) 하여 전제 투사 변화를 테스트.
  3. Trigger-Hypothesis Relatedness: 전제 유발어 (trigger, 예: 'his wife', 'again') 와 가설 간의 의미적 관련성을 조작 (관련, 약간 관련, 무관) 하여 모델이 의미 내용을 이해하는지 확인.
  4. Context-Trigger Relatedness: 조건문의 전건 (antecedent) 과 후건 (consequent) 간의 논리적 연관성을 조작하여 문맥이 전제 처리에 미치는 영향 분석.
• 레이블링: 인간 판단 (E) 과 이론 기반 예측 (N) 을 모두 포함하여 모델의 편향을 분석.

2.3. 실험 설정 및 평가 지표

• 모델: RoBERTa-large-MNLI, DeBERTa-large-MNLI, LLaMA-3.2-1B, Gemma-3-1B.
• 평가 방식:
  • Zero-shot 평가: 파인튜닝 전 모델의 기본 능력 평가.
  • Fine-tuning: CONFER 데이터셋으로 1 에포크 파인튜닝 후 평가.
• 설명 가능성 (Explainability) 분석:
  • Integrated Gradients (IG): 토큰 수준의 기여도를 측정하여 모델이 전제 유발어 (trigger) 에 얼마나 주의를 기울이는지 분석.
  • Attention Analysis: 문맥 (K2) 과 전제 유발어 (K1) 간의 주의 흐름을 분석하여 프래그마틱스 추론 능력을 평가.

3. 주요 기여 (Key Contributions)

1. 보류 문제의 계산적 평가 프레임워크 최초 도입: NLI 작업을 통해 전제 투사 문제를 정량적으로 평가할 수 있는 체계를 마련했습니다.
2. 대규모 진단 데이터셋 개발: 구조적, 의미적, 문맥적 변형을 포함한 약 8,500 개의 예제로 구성된 데이터셋을 공개했습니다.
3. 다중 방법론적 평가: 단순 정확도 (Accuracy) 에 의존하지 않고, IG 와 어텐션 분석을 결합하여 모델이 '왜' 그런 판단을 내리는지 (심층 추론 vs. 표면적 휴리스틱) 를 규명했습니다.

4. 실험 결과 (Results)

4.1. 인간 판단 vs. 이론적 예측

• 인간 판단 일치: 모든 모델 (RoBERTa, DeBERTa 등) 은 인간과 유사하게 **무조건부 전제 (E)**를 예측했습니다. 형식적 의미론이 예측하는 조건부 전제 (N) 에 대한 정확도는 0% 에 가까웠습니다.
• 결과 해석: 모델은 인간과 같은 답을 내지만, 이것이 진정한 프래그마틱스 추론 능력 때문인지 확인이 필요했습니다.

4.2. 의미적 조작에 대한 취약성 (Subset 3)

• 패턴 매칭 의존: 전제 유발어 (trigger) 를 의미적으로 무관한 단어로 교체했을 때, 인간은 전제가 성립하지 않음 (N) 을 인지하지만, 모델은 여전히 구조적 위치에 기반하여 전제 (E) 를 유지했습니다.
  • 예: "his wife"를 의미와 무관한 단어로 바꾸면 모델은 여전히 "Theo 는 아내가 있다"고 추론함.
  • IG 분석: 모델은 유발어의 **의미 (semantic content)**가 아닌 **위치 (positional heuristic)**에 높은 가중치를 두었습니다.

4.3. 구조적 변형과 과적합 (Subset 2 & 4)

• 구조적 복잡성: 문장 구조가 복잡해져도 (연결, 선택 등) 모델의 정확도는 높게 유지되었으나, IG 점수는 모델마다 상이했습니다.
• 과적합 (Overfitting): Subset 4 에서 '관련된 문맥 + again 유발어' 조합이 훈련 데이터에서 'N(중립)' 레이블과 강하게 연관되어 있던 경우, 모델은 문맥이 무관해지더라도 이를 'N'으로 잘못 분류하는 경향을 보였습니다. 이는 모델이 의미론적 이해가 아닌 훈련 데이터의 **거짓 상관관계 (spurious correlation)**를 학습했음을 시사합니다.

4.4. 모델별 차이

• RoBERTa/DeBERTa: 인간 레이블에 높은 정확도를 보였으나, RoBERTa 는 유발어에 높은 IG 점수를, DeBERTa 는 낮은 IG 점수를 보이며 다른 학습 경로를 가짐.
• LLaMA/Gemma: Zero-shot 성능은 낮았으며, 파인튜닝 후에도 의미적 조작에 취약한 모습을 보임.

5. 결론 및 의의 (Significance)

• 핵심 발견: 언어 모델은 프래그마틱스 (전제) 문제에서 인간과 유사한 답을 내지만, 그 과정은 심층적인 의미론적/화용론적 추론이 아닌, 표면적인 패턴 매칭과 구조적 휴리스틱에 기반합니다.
• 평가의 한계: 단순한 분류 정확도 (Accuracy) 는 모델의 실제 추론 능력을 과장할 수 있습니다. 설명 가능성 (Explainability) 도구를 통한 분석이 필수적입니다.
• 미래 방향: 프래그마틱스 평가는 진단적 데이터셋과 다중 방법론적 접근 (정확도 + 설명 가능성) 을 결합해야 하며, 이는 언어 모델의 문맥 의존적 의미 처리 능력을 평가하는 새로운 표준이 될 수 있습니다.

이 연구는 언어 모델이 "Theo 가 아내가 있는지"를 아는 것이 아니라, "Theo 가 아내가 있다는 문장이 자주 등장하는 패턴"을 학습했을 뿐임을 보여주며, LLM 의 진정한 언어 이해 능력에 대한 비판적 시각을 제시합니다.