기술 요약: 한국어 간접 화행 이해에 대한 대규모 언어 모델 평가

문제 정의

대규모 언어 모델(LLM)은 분류, 번역, 논리적 추론과 같은 전통적인 자연어 처리(NLP) 작업에서 탁월한 능력을 입증해 왔으나, 대화 맥락 속에서 인간의 의도를 이해하는 능력은 여전히 과소 평가되어 왔다. 현재의 벤치마크는 주로 지식 처리와 명시적인 문자 그대로의 의미에 집중되어 있으며, 언어 사용이 특정 맥락 내에서 어떻게 이루어지는지를 연구하는 **화용론(pragmatics)**을 간과하는 경우가 많다.

화자의 실제 의도가 발화의 문자 그대로의 의미와 다른 **간접 화행(indirect speech acts)**을 LLM이 얼마나 잘 이해하는지를 평가하는 데에는 중요한 격차가 존재한다. 이는 공유된 배경 정보와 상황적 단서가 효과적인 의사소통에 필수적인 고맥락 언어인 한국어에서 특히 도전적인 과제이다. 기존의 평가 방식은 일상생활에서 개인용 에이전트로 활동하는 LLM에게 필수적인 능력인, 대화 맥락에 기반하여 직접적 의도와 간접적 의도를 구분하는 미묘한 차이를 다루는 경우가 드물다.

방법론

데이터셋 구축

저자들은 서얼(Searle)의 화행 이론에 근거하여 한국어로 된 240개 항목으로 구성된 특화된 평가 데이터셋을 구축하였다. 이 데이터셋은 화행을 다섯 가지 유형(진술, 지시, 약속, 표현, 선언)으로 분류하며, 평서문(진술)이 다른 발화 효과를 수행하는 세 가지 특정 간접 화행 유형에 집중한다:

1. ReDi (진술 $\to$ 지시): 행동을 제안하거나 요청하기 위해 사용되는 사실적 진술 (예: "날씨가 좋네요"가 "밖으로 나가자"를 함축).
2. ReCo (진술 $\to$ 약속): 약속이나 다짐을 하기 위해 사용되는 사실적 진술.
3. ReEx (진술 $\to$ 표현): 감정이나 찬사를 표현하기 위해 사용되는 사실적 진술.

맥락 의존성을 테스트하기 위해, 데이터셋은 각 유형별로 80개 항목을 40쌍으로 짝지었다. 각 쌍에서 동일한 발화가 두 가지 서로 다른 시나리오, 즉 직접 화행으로 기능하는 경우와 간접 화행으로 기능하는 경우로 제시된다.

평가 대상 모델

본 연구에서는 모델을 두 가지 범주로 나누어 12개의 LLM을 평가하였다:

• 폐쇄형 모델 (8개): GPT-3.5, GPT-4, Claude3-Haiku, Claude3-Sonnet, Claude3-Opus, Mistral-small, Mistral-medium, Mistral-large.
• 오픈 소스 모델 (4개): Llama3-8B, Qwen1.5-14B, Solar-10.7B, T3Q-ko-solar (Solar의 한국어 미세 조정 버전).

실험 설정

성능 측정을 위해 두 가지 실험 설정을 사용하였다:

1. 객관식 문제 (MCQ): 모델에게 맥락과 발화를 제시하고 네 가지 선택지(정답 하나, '반대' 유형 하나, 무작위 유형 둘) 중에서 올바른 화행 의도를 선택하도록 하였다. 성능은 항목당 3회 시행한 **일치율(정확도)**로 측정되었다.
2. 주관식 문제 (OEQ): 모델에게 발화의 의도를 설명하도록 요청하였다. 응답은 인간 평가자가 추론된 의도와 문자 그대로의 의미의 정확성을 기준으로 15점 척도로 질적 점수를 매긴 후, 이를 0100점으로 재조정하였다.

인간 기준점 (Human Baseline)

**골드 스탠다드(Gold Standard)**를 설정하기 위해, 52명의 인간 참가자(20~30대, 다양한 학문적 배경, 언어학 전공자 제외)가 동일한 MCQ 테스트를 완료하였다. 이 데이터는 LLM의 성능을 인간의 화용적 역량과 비교하는 벤치마크 역할을 한다.

주요 기여

1. 화행 이해 테스트 세트 개발: 한국어 맥락 프레임워크 내에서 세 가지 범주의 간접 화행을 해석하는 LLM의 능력을 평가하기 위해 설계된 특화되고 공개 가능한 데이터셋을 개발하였다.
2. 인간 참조 데이터 수집: 현재의 LLM과 인간 수준의 화용적 이해 사이의 격차를 정량화하기 위한 인간 성능 기준점(Gold Standard)을 확립하였다.
3. 체계적 평가 및 분석: MCQ와 OEQ 형식을 모두 사용하여 12개의 LLM을 종합적으로 평가하였으며, 다양한 화행 유형(ReDi, ReCo, ReEx)에 따른 성능 분석과 대화 함축 이해와의 비교를 포함하였다.

결과

전반적인 성능

• 인간의 우위: 인간 참가자들은 평균 MCQ 점수 77.64를 기록하며, 평가된 모든 LLM을 유의미하게 앞질렀다.
• 모델 순위: Claude3-Opus가 MCQ 점수 71.94, OEQ 점수 90.37로 가장 높은 성능을 보였다. 이 모델은 직접 화행과 간접 화행에 대해 균형 잡힌 정확도를 보인 유일한 모델이었으며, 두 점수의 차이는 5.55%(직접 69.17 대 간접 74.72)에 불과했다.
• 폐쇄형 vs 오픈 소스: 일반적으로 폐쇄형 모델이 오픈 소스 모델보다 뛰어난 성능을 보였다. 오픈 소스 모델 중에서는 Solar-10.7B가 가장 좋은 성능(MCQ 65.0)을 보였으나, T3Q-ko-solar(미세 조정 버전)는 맥락 기반 추론에서 기본 Solar 모델에 비해 오히려 성능 저하를 보였다.
• 직접 vs 간접 격차: Claude3-Opus를 제외한 대부분의 LLM은 직접 화행에 비해 간접 화행에서 현저히 낮은 성능을 보였다. 예를 들어, GPT-3.5는 직접 화행에서는 63.61점을 기록했으나 간접 화행에서는 36.67점에 그쳤다.

화행 유형별 분석

• ReEx (표현): 인간과 LLM 모두 이 유형에서 가장 높은 점수를 기록했는데, 이는 데이터셋에 포함된 관용적 표현들이 모델에 의해 잘 학습되었기 때문으로 보인다.
• ReDi (지시): 모든 모델에게 가장 어려운 카테고리였다. 사실을 진술하는 평서문(예: "품절되었습니다")이 간접적인 요청이나 제안이 아닌 단순 정보 제공으로 자주 오해되었다.
• ReCo (약속): 성능은 ReDi와 ReEx 사이의 중간 수준이었다.

질적 결과 (OEQ)

• Claude3-Opus는 정교한 추론 능력을 보여주었으며, 종종 상세한 설명과 리스트 형식을 사용하여 자신의 해석을 정당화하였다.
• Llama3는 심각한 불일치를 보였는데, 한국어 프롬프트에도 불구하고 빈번하게 영어로 응답하거나 읽을 수 없는 토큰을 생성하였다.
• Solar는 **MCQ 벤치마크에 과적합(overfitting)**된 징후를 보였는데, 주관식 과업에서도 스스로 객관식 선택지(A, B, C)를 생성하는 등 인간의 문제 해결 방식과는 다른 행동을 보였다.

함축과의 상관관계

연구 결과, 화행 이해와 대화 함축 이해 사이에 중간 정도의 상관관계(0.67)가 발견되었다. 그러나 간접 화행에 대해서는 상관관계가 더 높게(0.73) 나타났는데, 이는 간접적 의도와 대화 함축을 해석하는 메커니즘이 특히 그라이스(Grice)의 격률 중 관계의 격률과 밀접하게 연관되어 있음을 시사한다.

의의 및 주장

저자들은 본 연구가 지식 기반 벤치마크를 넘어 "언어 능력의 최고 단계"인 화용적 역량을 평가함으로써, LLM에 대한 필수적인 화용적 평가를 제공한다고 주장한다.

• 현재의 한계: 연구는 LLM이 발전하고 있으나, 간접 화행을 이해하는 데 있어 현재 어떤 모델도 인간 수준의 성능에 도달하지 못했다고 결론짓는다. 대부분의 모델은 특히 발화가 사실적 진술을 통해 요청을 수행할 때, 문자 그대로의 의미와 함축된 의도를 구분하는 데 어려움을 겪는다.
• 맥락 민감도: 결과는 대규모 데이터로 학습된 모델들이 문자 그대로의 의미에는 뛰어나지만, 문자 그대로의 의미가 충분하더라도 맥락상 부적절할 때 더 깊은 의도를 추론하는 데 실패하는 경우가 많음을 강조한다.
• 향후 방향: 저자들은 더 자연스러운 인간-컴퓨터 상호작용을 위해 간접 화행에 대한 LLM의 이해를 개선하는 추가 연구의 필요성을 강조한다. 또한 다회차 대화 시뮬레이션을 포함한 후속 연구와, 언어적 맥락 전반의 견고성을 검증하기 위해 이 데이터셋을 다른 언어(영어, 중국어, 독일어 등)로 확장하는 작업을 제안한다.

본 논문은 통계적 언어 모델링과 진정한 화용적 이해 사이의 간극을 메우는 기초적인 단계로서, 차세대 대화형 AI를 위해 화행에 대한 엄격한 평가가 필수적임을 역설하며 마무리된다.