💬 NLP

Presupposition and Reasoning in Conditionals: A Theory-Based Study of Humans and LLMs

본 연구는 대규모 언어 모델이 조건문 내 전제 투영에서 인간 평가와 때때로 일치할 수 있지만, 그 성능은 진정한 화용론적 추론이 아닌 표면적 패턴 매칭에서 비롯되는 경우가 많음을 밝혀 통계적 정합성과 진정한 언어 능력 사이의 괴리를 드러낸다.

원저자: Tara Azin, Yongan Yu, Raj Singh, Olessia Jouravlev

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tara Azin, Yongan Yu, Raj Singh, Olessia Jouravlev

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 간단한 언어와 창의적인 비유를 사용하여 설명합니다.

핵심 아이디어: "만약-그러면" 퍼즐

친구와 논리 게임을 한다고 상상해 보세요. 당신이 말합니다: "존이 스쿠버 다이버라면, 그는 웨트슈트를 가져올 것이다."

친구가 묻습니다: "존이 실제로 웨트슈트를 가지고 있나요?"

사람의 답변: 대부분의 사람들은 "아직은 아닐 것이다. 그가 다이빙을 한다면 웨트슈트를 가질 뿐이다"라고 말합니다. 웨트슈트는 조건에 묶여 있습니다.
다른 사람의 답변: 이제 당신이 말합니다: "존이 런던으로 비행기를 탄다면, 그의 여동생이 그를 마중할 것이다."
사람의 답변: 여기서 사람들은 "그래, 존은 확실히 여동생이 있다"고 말합니다. 여동생이 있다는 사실은 비행 여부에 의존하지 않습니다. 그것은 존에 관한 사실일 뿐입니다.

이 차이는 **"보류 문제 (Proviso Problem)"**라고 불립니다. 이는 숨겨진 사실 (전제) 이 항상 참인지, 아니면 "만약" 부분이 발생할 때만 참인지 우리가 어떻게 결정하는지에 관한 언어학의 까다로운 퍼즐입니다.

실험: 인간 vs 인공지능

연구자들은 챗봇 (지금 당신과 대화하는 것) 의 두뇌 역할을 하는 대규모 언어 모델 (LLM) 이 인간과 같은 방식으로 이 퍼즐을 해결할 수 있는지 확인하고자 했습니다.

그들은 두 그룹을 대상으로 한 "맛보기 테스트"를 설정했습니다:

120 명의 인간: 실제 사람들이 문장을 읽고 숨겨진 사실이 참일 확률을 0 에서 7 사이의 척도로 평가했습니다.
4 개의 AI 모델: GPT-5, Gemini, Llama, Qwen 과 같은 다양한 AI 버전들이 정확히 같은 작업을 수행했습니다.

그들은 두 가지 방식으로 AI 를 테스트했습니다:

"그냥" 테스트: 문장만 제공 (예: "존이 다이버라면...").
"맥락" 테스트: 문장에 약간의 배경 정보 추가 (예: "존은 오타와 출신이다. 존이 다이버라면...").

결과: "가짜" AI

그들이 발견한 바를 간단한 비유로 정리해 보면 다음과 같습니다:

1. 인간은 직관적인 탐정입니다

인간은 이 분야에서 뛰어납니다. 그들은 논리와 상식을 섞습니다. "만약" 부분이 숨겨진 사실을 더 그럴듯하게 만든다면 (다이버가 웨트슈트가 필요하다는 점처럼), 그들은 점수를 낮춥니다. "만약" 부분이 사실과 무관하다면 (런던 비행과 여동생 존재처럼), 점수를 높게 유지합니다. 그들은 문장의 두 부분이 서로 얼마나 관련이 있는지에 민감합니다.

2. AI 는 답변을 "모방"하지만, 추론은 하지 않습니다

이 부분이 가장 놀랍습니다.

작은 AI (Qwen): 이 모델은 인간과 매우 유사한 답변을 내놓았습니다. 인간이 "7"이라고 하면 AI 는 "6.8"이라고 답했습니다. 훌륭한 모방자였습니다.
큰 AI (GPT-5, Gemini): 이 모델들은 인간과 덜 유사한 답변을 내놓았습니다. 그들은 종종 너무 높거나 너무 낮았으며, 인간이 보인 미묘한 변화를 놓쳤습니다.

반전: 연구자들이 AI 들에게 왜 그런 답변을 했는지 설명해 달라고 요청했을 때 (학생에게 수학 풀이 과정을 보여달라고 하는 것처럼), 이상한 패턴이 나타났습니다:

**가장 인간다운 답변을 낸 작은 AI (Qwen)**는 실제로 추론 능력이 형편없었습니다. 논리를 제대로 설명할 수 없었습니다. 그것은 마치 의미도 모르고 자주 듣는 문구를 반복하는 앵무새처럼, 학습 데이터에서 본 패턴을 기반으로 단순히 추측했을 뿐입니다.
**인간다운 답변이 더 나빴던 큰 AI (GPT-5)**는 실제로 추론 능력이 더 좋았습니다. 논리 규칙을 잘 설명할 수 있었지만, 최종 숫자에 관해서는 인간과 비교해 틀렸습니다.

"체크리스트" 비유

이를 파악하기 위해 연구자들은 체크리스트를 가진 "심판 AI" (판정자) 를 사용했습니다. 마치 선생님이 학생의 에세이를 채점한다고 상상해 보세요.

체크리스트: "트리거를 식별했는가? 맥락이 중요한지 확인했는가? 논리를 설명했는가?"
결과: "큰 AI"는 체크리스트를 통과했습니다 (좋은 에세이를 썼습니다). "작은 AI"는 체크리스트에 실패했습니다 (에세이가 엉망이었습니다).
패러독스: "작은 AI"가 논리 테스트에 실패했음에도 불구하고, 최종 점수는 인간 평균에 더 가까웠습니다.

결론: 패턴 매칭 vs 이해

이 논문은 AI 모델이 인간처럼 언어를 실제로 "이해"하지 않는다고 결론 내립니다.

인간은 사실의 진위를 결정할 때 논리, 세계 지식, 관련성을 섞어 사용합니다.
AI는 표면적인 패턴 매칭을 수행하는 것으로 보입니다. "존이 다이버라면"과 "웨트슈트"라는 단어를 보고, 학습 데이터에서 이 두 단어가 자주 함께 등장함을 보아 숫자를 추측합니다. 웨트슈트가 다이빙에 조건부라는 것을 진정으로 "알고" 있는 것은 아닙니다.

교훈: AI 가 (답안지를 외운 학생처럼) 옳아 보이는 답변을 준다고 해서, 그것이 그 수업을 이해한다는 뜻은 아닙니다. 사실, 가장 "인간다운" 답변을 낸 AI 가 실제로는 진정한 논리에 가장 덜 의존하고 있었습니다.

이 논문이 말하지 않는 것

AI 가 무용하다는 말은 하지 않습니다.
AI 가 결코 언어를 이해하지 못할 것이라고 말하지 않습니다.
이를 의료 진단이나 법적 조언에 사용하라고 권하지 않습니다.
단순히 이렇게 말합니다: 지금 당장, 이 특정 유형의 까다로운 논리 퍼즐에 관해서는 AI 가 스스로 생각하는 것보다 더 잘 속이고 있으며, 가장 "똑똑해 보이는" 답변이 가장 피상적일 수 있습니다.

기술 요약: 조건문에서의 전제와 추론: 인간과 대규모 언어 모델에 대한 이론 기반 연구

문제 제기
본 논문은 조건문 내 전제 투영 (presupposition projection) 영역에서 실용적 능력에 관한 평가 측면에서 대규모 언어 모델 (LLM) 에 존재하는 중요한 공백을 다룬다. 의미론과 화용론 이론은 오랫동안 조건문의 결과부 (consequent) 에서 유발된 전제 (예: "존이 스쿠버 다이버라면, 그는 웨트슈트를 가져올 것이다") 가 무조건적으로 해석되는지 아니면 전제부 (antecedent) 에 조건부적으로 해석되는지에 대한 '유보 문제 (proviso problem)'를 논쟁해 왔으나, 이러한 현상은 LLM 에서 거의 평가되지 않은 채 남아 있다. 기존 벤치마크는 종종 단순한 함의 추론이나 분류 작업에 의존하여, 이러한 투영을 해결하는 데 필요한 의미론, 담화 문맥, 확률적 추론, 그리고 세계 지식 간의 복잡한 상호작용을 포착하지 못한다. 저자들은 현재 평가가 실용적 제약을 진정으로 이해하는 모델과 표면적 패턴 매칭에 의존하는 모델을 충분히 구별하지 못한다고 주장한다.

방법론
본 연구는 90 개의 조건문으로 구성된 규준화된 데이터셋을 사용하여 인간의 판단과 네 가지 LLM(GPT-5, Gemini-2.5-flash, Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct) 을 비교하는 병행 행동 설계를 채택하였다.

데이터 구축: 저자들은 웨트슈트를 가지고 있는지, 여동생이 있는지와 같은 30 개의 기본 명제를 기반으로 데이터셋을 구성하였다. 이는 전제부 ( $A$ ) 와 전제 ( $p$ ) 간의 논리적 및 확률적 관계를 조작하는 세 가지 변형으로 구현되었다. 30 명의 원어민 영어 화자를 대상으로 한 규준화 연구를 통해 $A$ - $p$ 관련성 (높음, 중간, 낮음) 과 명제 확률의 단계적 수준을 확립하였다.
실험 조건: 인간 ( $N=120$ $N = 120$ ) 과 LLM 모두 전제가 참일 가능성에 대해 0~7 리커트 척도 (Likert scale) 로 평가하였다. 두 가지 조건 하에서 평가가 이루어졌다.
- 맥락 없음 (Without-Context): 최소한의 구성.
- 맥락 있음 (With-Context): 증거의 신뢰성과 관련성 추론이 어떻게 최소한의 맥락에 의해 조절되는지 테스트하기 위해 식별 가능한 배경 정보 (예: "그 사람은 토론토 출신이다") 를 추가함.
LLM-as-a-Judge 프레임워크: 정확도 지표를 넘어설 수 있도록, 저자들은 형식적 의미론 (예: 동적 의미론, 그라이스 화용론, 수용 이론) 에 기반한 이론 informed 체크리스트를 개발하였다. 판정 모델 (Claude-haiku-4) 은 정확성, 맥락 통합, 화용 기준, 전제 처리, 일관성 등의 차원을 포괄하는 52~59 개의 이진 기준에 따라 대상 모델의 사고 과정 (Chain-of-Thought, CoT) 추적을 평가하였다.
검증: 판정 모델 평가의 일부는 인간 언어학 전문가들에 의해 검증되었으며, 89% 의 상호 주석자 일치율과 판정 모델과의 79.46% 일치율을 달성하였다.

주요 결과

인간 행동: 인간의 판단은 확률적 단서와 화용적 단서를 비가산적으로 통합한다. 전제가 전제와 무관할 때, 인간은 prior probability(세계 지식) 에 크게 의존한다. 그러나 부분적 관련성조차도 가능성 평가치를 크게 높이는 임계값으로 작용하여, 특정 문맥에서 기준율을 압도하는 관련성에 대한 민감성을 시사한다. 맥락 정보는 이러한 통합을 정제하여 관련성 수준 간의 더 세분화된 차이를 이끌어냈다.
인간-LLM 정렬: LLM 은 인간 패턴과 가변적인 정렬을 보였다.
- Qwen2.5-7B-IT와 Llama-3.1-8B-Instruct는 인간 리커트 평가치와 가장 강한 상관관계 (Spearman $\rho \approx 0.30\text{--}0.38$ ) 를 보였으며 평균 절대 오차 (MAE) 가 가장 낮았다.
- GPT-5와 Gemini-2.5-flash는 약하거나 일관되지 않은 정렬을 보였으며, GPT-5 는 두 조건 모두에서 유의미한 상관관계를 보이지 않았다.
추론 vs 성능 (분리 현상): 중요한 발견은 행동적 정렬과 추론 품질 사이의 분리 현상이다.
- 인간과 가장 높은 행동적 정렬을 보인 모델 (예: Qwen2.5-7B-IT) 은 종종 이론 informed 체크리스트 준수율이 가장 낮았다. 그들의 추론은 형식적 화용 제약보다는 표면적 어휘 연관성에 자주 의존했다.
- 반면, 더 크고 독점적인 모델 (GPT-5, Gemini) 은 이론적 기대와 더 일관된 추론 흔적 (더 높은 체크리스트 점수) 을 생성했지만, 최종 가능성 판단은 인간 패턴에서 더 크게 벗어났다.
맥락 효과: 최소한의 맥락을 제공하는 것은 일반적으로 소규모 모델의 체크리스트 준수를 개선했으나, 일부 모델에게는 '추론 잡음'을 도입하여 설명의 일관성을 저하시켰다.

주요 기여

이론 주도 벤치마크: 본 논문은 기존 NLI 및 전제 벤치마크가 종종 실용적 깊이가 부족하다는 공백을 메우기 위해, 조건문의 유보 문제를 구체적으로 타겟팅하는 통제된 데이터셋과 실험 설계를 도입한다.
화용론을 위한 LLM-as-a-Judge: 이는 화용 능력을 해석 가능하고 이론 기반인 기준으로 분해하는 체크리스트 기반 평가 프레임워크를 제안하고 검증하여, 단순한 정확도 점수보다 모델 추론에 대한 더 세밀한 시각을 제공한다.
능력 격차에 대한 경험적 증거: 이 연구는 인간과 유사한 평가치와 이론 일관성 추론 사이의 불일치를 통해, LLM 의 높은 행동적 정렬이 안정적인 화용 능력보다는 훈련 데이터에 대한 확률적 패턴 매칭에서 비롯될 수 있음을 경험적으로 입증한다.

의의와 주장
저자들은 그들의 발견이 복잡한 화용 현상을 처리하는 현재 LLM 의 한계를 부각시킨다고 주장한다. 본 논문은 전제 투영과 같은 작업의 성능이 진정한 화용 이해가 아닌 '표면적 패턴 매칭'을 반영할 수 있다고 논한다. 인간과 유사한 판단을 가장 잘 모방하는 모델이 종종 일관된 화용 추론이 부족함을 보여줌으로써, 이 연구는 의미론 및 화용 능력을 평가하는 데 출력 정확도만을 기반으로 한 현재 벤치마크는 불충분함을 시사한다. 저자들은 표면적 통계적 정렬과 진정한 추론 능력을 구별하기 위해 언어학 이론에 기반한 벤치마크가 필수적이며, 향후 연구는 행동적 유사성과 이론적 타당성 사이의 분리를 해결해야 한다고 결론지었다.