Unveiling the Limits of Large Language Models in Inferring Pragmatic Meaning from Non-Verbal Responses

기술 요약: 비언어적 반응으로부터의 화용론적 의미 추론에 있어서 대규모 언어 모델의 한계 규명

문제 제기
대규모 언어 모델(LLM)은 언어적 표현과 함축 및 간접 화행과 같은 화용론적 현상을 이해하는 데 있어 상당한 진전을 보여왔으나, 기존 연구들은 비언어적 행동이 단독으로 작용할 때의 역할에 대해서는 대체로 간과해 왔다. 인간의 의사소통에서 비언어적 단서(예: 침묵, 얼굴 표정, 몸짓)는 종종 언어적 동반 없이도 간접적인 의미를 전달하는 독점적인 신호 역할을 한다. 현재의 평가는 주로 언어적 입력에 초점을 맞추거나 비언어적 단서를 단순히 텍text의 맥락적 보조 도구로 취급한다. 본 연구는 구어(spoken language)가 부재하거나 제한적인 상황에서, LLM이 비언어적 반응만으로 간접적인 의도를 인식하고 추론할 수 있는지라는 열린 질문을 다룬다. 이는 강건한 인간-AI 상호작용을 위해 필수적인 능력이다.

연구 방법론
저자들은 오직 비언어적 요소로만 구성된 대화 응답으로부터 화용론적 의미를 추론하는 LLM의 능력을 체계적으로 평가한 최초의 연구를 제시한다. 본 연구는 세 가지 연구 질문을 중심으로 구조화되어 있다: (1) LLM은 비언어적 응답에서의 간접적 의도를 인식할 수 있는가? (2) 언제, 어떻게 실패하는가? (3) 이러한 능력은 어떻게 개선될 수 있는가?

• 데이터 및 범주: 본 평가는 비언어적 응답을 세 가지 유형으로 분류한 맞춤형 데이터셋을 활용한다: 침묵(의도적인 발화의 부재), 얼굴 표정(유니코드 이모지로 표현), 움직임(괄호 안의 묘사적 동작).
• 태스크 설계: 모델은 대화가 비언어적 응답으로 끝나는 맥락과 그 기저의 의도를 가장 잘 해석하는 옵션을 선택해야 하는 객관식 문제에 직면한다. 오답 매력지는 오해, 문자 그대로의 해석, 추상적 묘사, 그리고 어휘적으로는 일관되나 의미적으로는 벗어난 응답들을 포함하도록 정교하게 설계되었다.
• 평가 대상 모델: 실험은 Qwen, Mistral, Llama, Phi 및 GPT와 Claude 같은 API 기반 모델을 포함하여 3B에서 1,000억 개 이상의 파라미터에 이르는 6개 제품군의 13개 모델을 대상으로 한다.
• 실험 설정: 주요 평가는 제로샷(zero-shot) 설정에서 수행된다. 추가 분석으로는 생각의 사슬(Chain-of-Thought, CoT) 프롬프팅, 퓨샷 인컨텍스트 학습(few-shot in-context learning), 그리고 명시적인 맥락 지침을 제거한 절제 연구(ablation studies)가 포함된다. 인간 기준점(baseline)은 다양한 국적의 학부생들을 통해 설정되었다.

주요 결과

• 성능 격차: LLM은 언어적 응답을 처리할 때보다 비언어적 응답을 처리할 때 상당한 성능 저하를 보인다. 모델들이 언어적 간접 화행에서는 종종 인간에 근접한 정확도를 달성하는 반면, 비언어적 과업에서의 정확도는 최대 60퍼센트 포인트까지 하락한다.
• 범주별 난이도: 성능은 범주에 따라 차이를 보인다. '움직임'이 평균 0.67로 가장 높은 정확도를 보였고, '얼굴 표정'이 0.51로 그 뒤를 이었으며, '침묵'이 0.45로 가장 낮은 성능을 기록했다. 침묵 범주는 특히 어려웠는데, 인간이 0.91의 정확도를 보이는 것에 비해 모델들은 0.45의 정확도만을 기록했다.
• 모델 규모 및 제품군: 일반적으로 더 큰 파라미터 크기가 향상된 성능과 상관관계가 있으나(예: 3B 모델보다 70B 모델이 우수함), 이러한 경향이 모든 제품군이나 API 기반 모델에서 보편적으로 나타나는 것은 아니다. GPT-4o나 GPT-o3와 같은 고급 모델조차도 이러한 특정 과업에서는 오픈 소스 14B 모델과 유사한 수준의 성능을 보이며 고전한다.
• 오류 분석: 주요 오류 원인은 모델이 핵심적인 의사소통 의도를 다루지 못하고 모호한 설명을 제공하는 '추상적 설명'이다. 그다음은 '문자 그대로의 해석'이다. 분석 결과, 모델들은 잠재된 의도를 추론하기보다는 표면적인 특징에 집중하는 경양을 보인다.
• 행동 패턴: 로짓 렌즈(logit lens)를 이용한 층별 분석 결과, 맥락을 해석하는 능력은 더 깊은 층(deeper layers)에서 확립됨이 드러났다. 정답 예측은 높은 확신 수렴(confidence convergence)을 보이는 반면, 오답은 확신에 찬 오해나 지연되고 불안정한 수렴 양상을 보였다.
• 개입 효과:
  • 생각의 사슬 (CoT): 결과는 엇갈렸다. Llama-70B와 같은 일부 모델은 개선되었으나, GPT-4o와 같은 다른 모델들은 오히려 성능이 크게 저하되며 종종 문자 그대로의 해석으로 회귀하는 모습을 보였다.
  • 인컨텍스트 학습: 퓨샷 프롬프팅은 특히 대규모 모델과 API 기반 모델에서 성능을 유의미하게 향 향상시켰으며, 이는 예시를 제공하는 것이 모델이 표면적 단서와 기저의 의도를 정렬하는 데 도움이 됨을 시사한다.

핵심 기여

1. 체계적 평가: 본 연구는 오직 비언어적 신호로만 구성된 대화 응답으로부터 기저의 의도를 추론하는 LLM의 능력을 체계적으로 평가한 최초의 연구이다.
2. 한계에 대한 실증적 증거: 다양한 모델 제품군에 걸친 포괄적인 실험을 통해, LLM이 비언어적 단서로부터 의미를 추론하는 데 지속적인 어려움을 겪으며, 언어적 대응물에 비해 현저히 낮은 성능을 보인다는 점을 입증하였다.
3. 행동 통찰 및 완화 방안: 본 연구는 구체적인 오류 패턴(추상성 및 문자 그대로의 해석)을 식과별하였으며, 퓨샷 인컨텍스트 학습이 표면적 단서와 의사소통 의도 사이의 정렬을 실질적으로 강화할 수 있음을 보여주었다.

의의
본 논문은 비언어적 행동을 정확하게 이해하는 것이 LLM의 화용론적 역량을 높이는 데 필수적이라고 주장한다. 왜냐하면 이러한 단서들은 보편적으로 인식되는 의사소통 신호이기 때문이다. 현재의 모델들이 언어적 보조 장치 없이는 간접적 의도를 해석하는 데 어려움을 겪는다는 점을 밝힘으로써, 본 연구는 현세대 LLM의 중대한 공백을 강조한다. 인컨텍스트 학습이 이러한 문제를 완화할 수 있다는 결과는, 비언어적 단서가 주요 표현 방식이 되는 멀티모달 또는 텍스트 전용 시나리오에서 모델을 인간의 의사소통 규범에 정렬시키는 경로를 제시한다.

한계점
저자들은 본 평가가 영어로만 수행되었으며, 교차 문화적으로 통용된다고 가정된 화용론적 추론에 의존하고 있음을 명시한다. 또한, 본 연구는 가공되지 않은 멀티모달 입력(예: 영상 또는 오디오)보다는 비언어적 단서의 텍스트적 표현에 집중하고 있으나, 저자들은 입력 모달리티와 관계없이 언어 모델이 최종적인 의도 해석자 역할을 한다고 상정한다.