기술 요약: 완료하기는 쉽지만, 선택하기는 어렵다

문제 정의

대규모 언어 모델(LLM)은 다양한 자연어 처리 작업에서 놀라운 능력을 입증해 왔으나, 문화적으로 내재된 언어적 표현, 특히 속담을 어떻게 처리하는지에 대한 이해에는 여전히 상당한 격차가 존재한다. 속담은 단순한 어휘 접근을 넘어 비유적 의미와 문화적 맥락을 탐색하기 위한 깊은 의미론적 메커니즘을 요구하므로, 언어 숙련도를 평가하는 데 있어 중요한 테스트베드 역할을 한다.

본 연구가 조사하는 핵심 문제는 LLM이 속담에 대해 진정한 의미론적 이해를 갖추고 있는지, 아니면 단순히 통계적 공출현(statistical co-occurrence)과 암기된 패턴에 의존하고 있는지 여부이다. 구체적으로, 저자들은 작업이 자동 패턴 완성(예: "Better late...")에서 판별적 추론(예: 여러 그럴듯한 옵션 중에서 올바른 끝맺음을 선택하거나, 제공된 옵션 중 어느 것도 정답이 아님을 식별하는 것)으로 전환될 때 모델의 성능이 어떻게 변화하는지 질문한다.

방법론

데이터셋: ProverbIT

저자들은 문화적으로 근거가 있는 표현에 대한 LLM의 추론을 평가하기 위해 설계된 100개의 객관식 질문으로 구성된 새로운 이탈리아어 벤치마크인 ProverbIT을 도입했다.

• 구성: 데이터셋은 200개의 흔한 이탈리아 속담에서 파생되었으며, 이 중 100개가 이탈리아 원어민에 의해 선정되었다. 각 속담은 시작 부분과 누락된 끝부분으로 나뉘었다.
• 오답 생성(Distractor Generation): 각 속담에 대해, 네 가지 구체적인 구성적 근거를 바탕으로 네 개의 서로 다른 오답 후보가 수동으로 제작되었다:
  • A (Assonant, 유사 발음): 원래의 소리와 비슷하지만 종종 황당하거나 무의미함.
  • B (Synonym, 유의어): 원래 끝부분의 문자 그대로의 유의어이지만, 비유적 의미는 결여됨.
  • C (Inverse, 역전): 유사 발음을 유지하려고 시도하는 원래 끝부분의 역전된 형태.
  • D (Trivial, 사소함): 유사 발음이 없는 동의어 반복 또는 사소한 끝부분.
• 태스크 설계: 벤치마크에는 옵션 **E ("None of the other answers", 다른 답 없음)**가 포함된다. 모든 제공된 끝부분(A-D)은 발명된 것이며 틀린 것이므로, 정답은 항상 E이다. 이는 모델이 단순한 패턴 매칭이 아닌 판별적 추론을 하도록 강제한다.

실험 설정

본 연구는 전통적인 LLM과 대규모 추론 모델(LRM)을 포함한 13개의 프런티어 모델을 대상으로 세 가지 별개의 작업을 평가했다:

1. 완성 작업 (Completion Task): 옵션 없이 속담을 직접 완성함 (지식 검색 능력 평가).
2. 기본 작업 (Base Task, ProverbIT): 네 개의 오답 옵션(A-D)과 옵션 E 중에서 다지선다형 선택 (판별적 추론 평가).
3. 기본 + 실제 끝부분 작업 (Base + True Ending Task): 정답인 속담의 끝부분을 옵션으로 추가하여 다지선다형 선택 (정답이 존재할 때 성능이 향상되는지 평가).

평가 지표:

• 정확도 (Accuracy): 올바르게 선택된 옵션의 비율로 계산된다. 다지선다형 작업의 경우, 각 프롬프트는 세 번 실행되었으며 다수결로 최종 답변을 결정했다.
• 편집 거리 (Edit Distance): 완성 작업에 사용되었으며, 정답 여부를 판단하기 위해 0.8의 임계값을 사용했다.
• 사고의 사슬 (Chain-of-Thought, CoT) 분석: 전체 추론 과정을 제공하는 두 개의 LRM(DeepSeek R1 및 Qwen 3)에 대해 상세한 질적 분석을 수행하였으며, 정답 대 오답 언급 빈도와 언어 일관성을 조사했다.

주요 결과

성능 격차

평가는 놀라운 역설을 드러냈다:

• 지식 vs 추론: 거의 모든 모델이 완성 작업에서 높은 숙련도를 보였다 (예: GPT 4o: 88%, Gemini 2.5 Pro: 94%). 이는 그들이 속담의 기저 지식을 보유하고 있음을 나타낸다.
• "선택하기 어려운" 격차: 정답이 없을 때 수행되는 **Base Task (ProverbIT)**로 전환될 때 성능이 급격히 떨어졌다.
  • 전통적 LLM: 심각한 하락을 겪었다. 예를 들어, GPT 4o는 **92% (Base + True Ending)**에서 **64% (Base)**로 떨어졌고, Llama 4 Maverick은 **75% (Base + True Ending)**에서 **6% (Base)**로 폭락했다.
  • 추론 모델 (LRMs): 전통적 LLM보다는 견고했지만, 여전히 상당한 저하를 보였다 (예: GPT o3는 91%에서 86%로, DeepSeek R1은 89%에서 74%로 하락).

오류 분석

• 유의어 편향 (Synonym Bias): 상세한 오류 분포를 보면 옵션 B(문자 그대로의 유의어)를 선택하는 경향이 강하게 나타났다. 모델들은 비유적 끝부분의 부재를 인식하기보다 의미론적으로 그럴싸한 문자 그대로의 유의어를 일관되게 선호했다.
• 모델 가변성: 로컬 모델(예: Gemma 3, Mistral Small 3.1)은 더 분산된 오류 패턴을 보였는데, 이는 낮은 확신도나 더 큰 가변성을 반영하는 것으로 보이며, 반면 프런티어 모델들은 특정한 문자적 해석 편향을 보였다.

사고의 사슬 (CoT) 통찰

DeepSeek R1과 Qwen 3에 대한 분석은 결정적인 내부 메커니즘을 밝혀냈다:

• 인식은 하나 인지는 못함 (Awareness without Recognition): 두 모델 모두 추론 과정 내내 (비록 옵션에는 없었지만) 올바른 속담 끝부분을 빈번하게 언급했으나, 이 올바른 끝부분이 선택지에 없다는 결론을 내리는 데는 실패했다.
• 불일치: 여러 오답 사례에서 CoT 추론은 논리적으로 올바른 결론(옵션 E)을 가리켰음에도 불구하고, 모델은 다른 알파벳(A, B, C 또는 D)을 출력했다.
• 과잉 사고 및 언어 전환: 모델들은 "과잉 사고(overthinking)" 행동(4,000단어를 초과하는 CoT)을 보였으며, DeepSeek R1의 경우 추론 과정 중 영어와 이탈리아어 사이의 일관되지 않은 언어 전환을 보여 문화적 뉘앙스를 흐릴 가능성이 있었다.

주요 기여

1. ProverbIT 벤치마크: 포괄적인 LLM 평가 자원에서 이탈리아어가 과소 대표되는 문제를 해결하며, 문화적으로 근거가 있는 표현을 타겟팅하는 새로운 이탈리아어 데이터셋을 도입했다.
2. 포괄적 평가: 13개의 프런티어 모델(LRM 및 로컬 모델 포함)을 완성 및 판별 선택 작업에 걸쳐 철저히 평가하여, 패턴 완성과 추론 사이의 성능 격차를 강조했다.
3. CoT 분석: LRM의 추론 전략을 상세히 조사하여, 모델이 올바른 정보를 회상하더라도 부정적 추론 작업(정답 옵션의 부재를 식별하는 작업)을 적용하는 데 실패한다는 점을 밝혀냈다.

의의 및 주장

본 논문은 현재의 LLM이 문화적으로 근거 있는 표현의 깊은 의미론적 이해보다는 암기된 패턴에 크게 의존한다고 주장한다. 정답이 제거되었을 때 나타나는 상당한 성능 저하는 모델이 부정적 추론(negative reasoning), 즉 그럴싸한 오답들 사이에서 정답이 존재하지 않음을 결정하는 능력에 어려움을 겪고 있음을 시사한다.

저자들은 최첨단 추론 모델조차도 그럴싸하지만 틀린 선택지를 상대로 판별하도록 강요될 때, 비유적 언어의 기저 의미를 파악하는 데 한계를 보인다는 점을 강조한다. 이는 지식 검색 능력과 판별적 추론 능력 사이의 근본적인 단절을 보여준다. 이 연구는 영어를 중심으로 한 평가에서 흔히 손실되는 문화적, 언어적 뉘앙스를 포착하는 언어 특화 벤치마크의 필요성을 강조하며, 현재의 시스템이 비유적 언어 이해의 복잡성을 다루기에 아직 견고하지 못함을 드러낸다.