How Hypocritical Is Your LLM judge? Listener-Speaker Asymmetries in the Pragmatic Competence of Large Language Models

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 언어 지식의 저장소로서 연구되고 있으며, 기존 평가 방식은 주로 두 가지 역할 중 하나에 초점을 맞추고 있습니다.

• 화자 (Speaker): 언어를 생성하는 역할 (생성 기반 평가).
• 청자 (Listener): 언어 출력의 적절성을 판단하는 역할 (판단 기반 평가, LLM-as-a-judge).

현재 연구에서는 이 두 역할이 서로 밀접하게 연관되어 있다고 가정하거나, 한 역할에서의 성공이 다른 역할에서의 성공을 보장한다고 간주하는 경향이 있습니다. 그러나 심리언어학에서는 언어 이해 (이해) 와 언어 생성 (생산) 이 서로 다른 처리 요구 사항과 오류 프로필을 가진 별개의 능력으로 알려져 있습니다. 본 논문은 LLM 이 화용론적 (pragmatic) 맥락에서 '적절성을 판단하는 능력'과 '적절한 언어를 생성하는 능력'이 실제로 일치하는지, 아니면 분리되어 있는지를 규명하는 것을 목표로 합니다.

2. 연구 방법론 (Methodology)

저자는 14 개의 다양한 오픈 가중치 (open-weight) 및 독점 (proprietary) LLM 을 대상으로 세 가지 화용론적 과제를 통해 화자와 청자 역할을 비교했습니다.

A. 평가 과제 (Three Pragmatic Tasks)

모든 과제에서 동일한 아이템 (문장/상황) 을 사용하여 화자와 청자 조건을 병렬로 구성했습니다.

1. 거짓 전제 (False Presuppositions): 사실과 다른 전제를 포함하는 질문에 모델이 어떻게 반응하는지 평가.
   • 화자: 거짓 전제를 수용 (A) 할지, 거부 (N) 할지 직접 답변 생성.
   • 청자: 주어진 모델 답변이 거짓 전제를 수용했는지 판단 (A/N/U).
2. 반전제 (Antipresuppositions): 맥락에 따라 더 강한 전제 (예: 'the') 가 필요한데 약한 전제 (예: 'a') 가 사용된 경우의 적절성 평가 (Maximize Presupposition! 원칙).
   • 화자: 빈칸에 적절한 관사 ('the' 또는 'a') 생성.
   • 청자: 주어진 문장 연장이 맥락에 적합한지 이진 판단 (적절함/부적절함).
3. 연역적 추론 (Deductive Reasoning): 주어진 명제들로부터 결론이 논리적으로 도출되는지 평가.
   • 화자: 결론의 빈칸을 채워 논리적으로 유효한 결론 생성.
   • 청자: 주어진 결론이 명제들로부터 논리적으로 도출되는지 판단 (True/False).

B. 평가 모델 및 지표

• 모델: LLaMA-3, Qwen, Phi-4, OLMo-2, Mistral, Mixtral, GPT-4o/4.1/5, Claude Sonnet 4.5 등 총 14 개 모델.
• 지표:
  • 집계 정확도 (Aggregate Accuracy): 화자 vs 청자 역할별 전체 정확도 비교.
  • 조건부 분석 (Conditional Analysis): 동일한 아이템에서 청자가 올바르게 판단했을 때 ($l=1$), 화자가 올바르게 생성할 확률 ($P(\text{speaker} | l=1)$) 과 청자가 틀렸을 때의 확률 ($P(\text{speaker} | l=0)$) 의 차이 ($\Delta_{\text{cond}}$) 를 계산하여 두 능력 간의 상관관계를 분석.

3. 주요 결과 (Key Results)

A. 명확한 비대칭성 (Robust Asymmetry)

대부분의 모델에서 청자 (판단) 역할의 성능이 화자 (생성) 역할보다 현저히 높았습니다.

• 거짓 전제 (False Presuppositions): 모델들이 거짓 전제를 거부하는 답변을 생성하는 것보다, 주어진 답변이 거짓 전제를 수용했는지 판단하는 것이 훨씬 쉬웠습니다. 특히 Mistral-7B 와 LLaMA-8B 와 같은 오픈 가중치 모델에서 이 격차가 극심했습니다 (화자 정확도 2% 대 청자 정확도 30% 이상).
• 반전제 (Antipresuppositions): 생성이 제한적 (단어 선택) 인 상황에서도 많은 모델이 청자 역할에서 더 높은 정확도를 보였습니다.
• 연역적 추론 (Deductive Reasoning): 오픈 가중치 모델들은 결론의 논리적 유효성을 판단하는 것은 잘하지만, 직접 유효한 결론을 생성하는 데는 실패하는 경향이 있었습니다.

B. 판단과 생성의 약한 상관관계 (Weak Alignment)

집계된 정확도뿐만 아니라 아이템 레벨 (item-level) 분석에서도 두 능력의 분리가 확인되었습니다.

• $\Delta_{\text{cond}}$ 분석: 많은 모델에서 청자가 올바르게 판단한 아이템에 대해 화자가 올바르게 생성할 확률이 높지 않았습니다.
• 역상관 관계: 특히 '반전제' 과제에서, 모델이 적절하지 않은 문장을 올바르게 '판단'한 경우, 오히려 올바른 문장을 '생성'할 확률이 낮아지는 역설적인 현상 ($\Delta_{\text{cond}} < 0$) 이 관찰되기도 했습니다. 이는 모델이 규칙을 인식하고 있어도 이를 생성에 적용하지 못함을 시사합니다.
• 모델 크기 및 유형: GPT-5 나 Claude-Sonnet-4.5 같은 최신 대형 독점 모델은 두 역할 간 격차가 줄어들거나 역전되기도 했으나, 여전히 완벽한 정합성을 보이지는 않았습니다.

4. 주요 기여 (Key Contributions)

1. 화용론적 능력의 분리 증명: LLM 의 화용론적 '이해/판단' 능력과 '생성' 능력이 서로 다른 능력임을 실증적으로 입증했습니다.
2. LLM-as-a-judge 의 한계 지적: 모델이 언어 출력의 적절성을 잘 판단한다고 해서, 그 모델이 스스로 적절한 언어를 생성할 수 있다는 보장이 없음을 보여줍니다. 이는 현재 널리 사용되는 '모델을 평가자로 사용하는 (LLM-as-a-judge)' 방식의 신뢰성에 의문을 제기합니다.
3. 통합 평가의 필요성 제안: 기존의 평가 벤치마크가 주로 청자 역할 (판단) 에 치중되어 있다면, 이는 모델의 실제 생성 능력을 과대평가할 수 있음을 경고하며, 생성과 평가를 통합적으로 고려한 새로운 평가 프레임워크의 필요성을 강조합니다.

5. 의의 및 시사점 (Significance)

• 심리언어학적 발견의 확장: 인간 언어 처리에서 관찰되는 '이해와 생성의 비대칭성'이 LLM 에서도 동일하게 나타남을 보여줌으로써, LLM 의 언어 처리 메커니즘이 인간과 유사한 구조적 한계를 가질 수 있음을 시사합니다.
• 평가 관행의 재고: 많은 화용론적 벤치마크가 모델의 판단 능력을 통해 생성 능력을 추론하는 방식을 사용하는데, 이는 잘못된 가정일 수 있습니다. 따라서 모델의 실제 대화 능력을 평가하려면 생성 기반 과제가 필수적입니다.
• 안전 및 윤리적 함의: 모델이 유해하거나 부적절한 내용을 '판단'할 수는 있지만, 실제로 생성할 때는 이를 통제하지 못할 수 있어, 안전성 평가 (Safety Evaluation) 에 있어서도 생성과 판단을 분리하여 검토해야 함을 시사합니다.

결론적으로, 이 논문은 "LLM 이 좋은 판사 (Judge) 라서 좋은 화자 (Speaker) 일 것이다"라는 가정을 반박하며, 현재 LLM 의 화용론적 능력이 생성과 평가라는 두 가지 측면에서 불일치하고 있음을 체계적으로 규명한 중요한 연구입니다.