Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity

기술적 요약: 대규모 언어 모델의 화용론적 추론 평가: 스칼라 다양성에 대한 증거

문제 제기
대규모 언어 모델 (LLM) 의 화용론적 추론 평가는 평가 방법 간 모델 행동의 변동성으로 인해 여전히 중요한 과제로 남아 있습니다. 이전 연구는 프롬프트 기반 판단과 모델의 내부 확률 분포 사이의 불일치를 시사하며, 관찰된 화용론적 능력이 내재된 언어 지식을 반영하는 것인지, 아니면 단순히 과제 유발 행동의 산물인지에 대한 질문을 제기합니다. 스칼라 함축 (약한 용어, 예: "일부"가 강한 대안, 예: "전부 아님"의 부정을 함축한다는 추론) 은 화용론적 능력을 진단하는 표준 도구이지만, 이전 연구들은 종종 단일 스칼라 쌍이나 단일 평가 패러다임에 의존합니다. 본 연구는 LLM 이 안정적인 화용론적 능력을 보유하는지, 아니면 그 성능이 특정 프롬프팅 및 과제 구조에 의존하는지 판단하기 위해 평가 방법들을 체계적으로 비교할 필요성을 다룹니다.

방법론
본 연구는 내재화된 지식 (능력, competence) 과 특정 조건 하의 언어 사용 (수행, performance) 을 구분하는 능력 - 수행 프레임워크 (Chomsky, 1965) 를 채택합니다. 그리고 스칼라 다양성(예: <일부, 전부> 대 <따뜻함, 뜨거움>과 같은 다양한 어휘 척도 간 스칼라 함축의 강도가 변하는 현상) 을 등급별 진단 도구로 활용합니다.

• 모델: 아키텍처 효과를 비교하기 위해 두 가지 다른 모델 계열을 평가합니다:
  • Flan-T5: 지시 튜닝된 인코더 - 디코더 계열 (Small, Base, Large).
  • Qwen2: 지시 튜닝된 디코더 전용 계열 (0.5B, 1.5B, 7B 파라미터).
• 자료: 데이터셋은 Ronai 와 Xiang(2024) 의 것을 기반으로 GPT-4o 를 사용하여 확장되었으며, 60 개의 어휘 스칼라 쌍을 포함하여 총 6,000 개의 고유 항목으로 구성되었습니다. 각 항목은 앵커 문장과 두 가지 후보 해석 ("Yes-target": 화용론적 추론, "No-target": 논리적 해석) 으로 구성됩니다.
• 평가 패러다임: 두 가지 주요 방법이 비교되었습니다:
  1. 직접 확률 측정: 명시적 지시 없이 모델의 내부 선호도를 결정하기 위해 조건부 확률 $P(\text{candidate} | \text{anchor})$를 계산합니다.
  2. 메타언어적 프롬프팅: 모델이 유효한 추론을 명시적으로 판단하거나 선택하도록 요구하는 세 가지 프롬프트 변형 (MetaSimple, MetaInstruct, MetaComplex).
• 실험 조건:
  • 실험 A (문장 판단): 모델이 앵커에 대해 단일 후보 문장을 평가합니다 (Yes/No).
  • 실험 B (문장 비교): 모델이 두 후보 문장 사이에서 동시에 선택합니다.

주요 결과
결과에 따르면 단일 평가 방법이 다른 방법보다 일관되게 우월하지 않으며, 화용론적 행동은 모델 아키텍처, 크기, 과제 구조에 매우 민감합니다.

• 방법의 불일치: 직접 확률 측정과 메타언어적 프롬프팅은 약하게 상관된 결과 ($r \approx .10 - .25$) 만 생성했습니다. 많은 경우 상관관계는 0 에 가깝거나 음수였으며, 이는 두 방법이 모델 행동의 근본적으로 다른 측면을 포착함을 시사합니다.
• 정확도 차이:
  • Qwen 모델: 양극화된 패턴을 보였습니다. 직접 확률 추정은 일관되게 매우 낮았으나, 메타언어적 프롬프팅은 극도로 높은 정확도를 보였습니다 (실험 B 에서 종종 천장에 근접).
  • Flan-T5 모델: 더 중도적인 패턴을 보였으며, 직접 확률 추정은 상대적으로 높게 유지되었고 때로는 특정 메타언어적 프롬프트보다 우수한 성능을 보였습니다.
• 스칼라 다양성 기울기: 본 연구는 60 개의 스칼라 쌍 전반에 걸친 기울기를 감지하기 위해 항목별 정확도를 분석했습니다.
  • Flan-T5: 메타언어적 프롬프팅 하에서 일반적으로 더 명확한 기울기 (기울기 값 -1 에서 -2 사이) 를 보였으며, 특히 더 큰 모델에서 함축의 강도 변화에 대한 민감도를 나타냈습니다.
  • Qwen: 일관되지 않은 패턴을 보였습니다. 실험 A 의 일부 조건에서는 강한 기울기를 보였으나, 실험 B 의 많은 조건에서는 거의 평평한 곡선 (기울기 $\approx 0$) 을 생성하여 모델이 스칼라 강도와 관계없이 균일한 해석을 할당했음을 시사했습니다.
• 과제 구조: 실험 B(비교 기반) 는 거의 모든 모델에서 실험 A(단일 판단) 보다 일관되게 높은 정확도를 보였으며, 이는 비교 과제가 화용론적 함축을 위한 더 강력한 단서를 제공함을 시사합니다.
• 스케일링 효과: 스케일링 효과는 균일하지 않았습니다. Flan-T5 는 더 큰 모델이 더 잘 수행하는 긍정적인 경향을 보였습니다. 반면 Qwen 모델은 일관된 스케일링 경향을 보이지 않았으며, 더 큰 모델이 체계적으로 더 작은 모델보다 우월하지 않았고 때로는 더 나쁜 성능을 보였습니다.

주요 기여

1. 체계적 비교: 본 연구는 화용론적 추론을 위해 동일한 모델 내에서 직접 확률과 메타언어적 프롬프팅을 직접 비교하여, 능력 - 수행 프레임워크를 국소적 언어 현상을 넘어 확장합니다.
2. 진단 도구로서의 스칼라 다양성: 단일 쌍 (예: <일부, 전부>) 이 아닌 광범위한 스칼라 쌍을 활용함으로써, 본 연구는 화용론적 능력에 대한 더 세밀한 평가를 제공하며, 모델이 스칼라 함축의 등급적 성질을 균일하게 포착하지 못함을 드러냅니다.
3. 아키텍처 및 과제 민감성: 연구 결과는 LLM 의 화용론적 추론이 안정적이고 단일한 능력이 아니라, 내부 확률적 표현과 외부 과제 프레임 간의 상호작용임을 강조합니다.

의의 및 주장
본 논문은 LLM 의 화용론적 추론이 단일 평가 패러다임으로 귀결될 수 없다고 결론 내립니다. 직접 확률 측정이나 메타언어적 프롬프팅 중 어느 것도 모델의 "진짜" 화용론적 능력을 일관되게 포착하지 못합니다. 대신, 관찰된 화용론적 행동은 내부 확률적 표현과 프롬프트 유발 응답 간의 상호작용을 반영합니다.

저자들은 스칼라 다양성 기울기의 유무가 모델 아키텍처, 프롬프팅 전략, 실험 설계의 특정 조합에 크게 의존한다고 주장합니다. 결과적으로 LLM 의 화용론적 능력을 해석하려면 평가 설계를 신중하게 고려해야 하며, 한 조건 (예: 특정 프롬프트) 하에서는 유능해 보일지라도 다른 조건 (예: 직접 확률) 에서는 스칼라 다양성에 대한 내재적 민감성이 결여될 수 있습니다. 이는 LLM 에 있는 화용론적 능력의 단일하고 안정적인 측정치라는 개념에 도전합니다.