기술 요약: LLM은 인간처럼 비유적 언어를 해석할 수 있는가?

문제 제기

대규모 언어 모델(LLM)은 인간의 출력물과 유사한 텍스트를 생성하지만, 비유적 및 사회적 맥락이 담긴 언어를 해석하는 데 있어 인간의 판단과 어느 정도나 일치하는지는 여전히 불확로하다. 기존 문헌은 LLM이 표면적 수준의 판단(예: 문법적 정확성이나 기본적인 감성)에서는 인간과 일치할 수 있음을 시사하지만, 화용론, 맥락, 주관적 경험이 개입되는 심층적인 해석 과정에서는 차이를 보일 수 있다고 제안한다. 특히, LLM이 관용구, 풍자, 유머, 정서적 어조, 그리고 Z세대 슬랭과 같은 복잡한 언어적 특성을 위해 공유된 의미 공간 내에서 인간과 의미를 조직할 수 있는 인지적 근거(cognitive grounding)를 갖추고 있는지 여부는 불분명하다. 현재의 연구는 주로 집계된 일치도(표면적 유사성)에 의존하고 있는데, 이는 미묘한 화용론적 현상에 필요한 세밀한 구분을 포착하지 못하는 실패를 가릴 수 있다.

방법론

이를 해결하기 위해 저자들은 **표상 유사성 분석(Representational Similarity Analysis, RSA)**을 사용하여 인간 참가자와 4종의 지시어 튜닝된 LLM(GPT-4, Gemma-2-9B, Llama-3.2, Mistral-7B)을 비교하는 연구를 수행하였다.

데이터 및 자극물

• 자극물: 240개의 대화 기반 문장으로 구성된 데이터셋을 구축하였으며, 이를 특정 언어적 특성을 포함하는 120개의 "의미 있는(sensible)" 문장과, 구조적으로는 유사하지만 핵심 특성이 생략된 120개의 "의미 없는(non-sensible)" 문장으로 나누었다.
• 범주: 문장은 **관습적(Conventional), 관용적(Idiomatic), 정서적(Emotional), 유머러스한(Funny), 풍자적(Sarcastic), Z세대 슬링(Gen Z Slang)**의 6가지 언어적 특성으로 분류되었다.
• 평가: 각 문장은 의미, 어조, 표현적 질을 평가하기 위해 설계된 40개의 해석적 질문(예: "이것은 풍적인가?", "이것이 당신에게 관련이 있는가?")과 쌍을 이루었다.
• 척도: 인간과 모델 모두 10점 리커트 척도(Likert scale)를 사용하여 문장을 평가하였으며, 그 결과 9,600개의 문장-질문 쌍이 생성되었다.

참가자

• 인간: 텍사스 A&M 대학교의 학부생 211명.
• 모델: API 또는 Hugging Face를 통해 접속한 4종의 디코더 전용 지시어 튜닝 LLM.
• 조건: 두 가지 연구가 수행되었다. 연구 1은 표준적인 제로샷(zero-shot) 프롬프트를 사용하였다. 연구 2는 프롬프트 민감도를 평가하기 위해 정교한 제약 조건(엄격한 1~10 범위의 평점 및 단일 문장 정당화)을 도입하였다.

분석 프레임워크

본 연구는 두 가지 수준의 일치성을 구분하였다:

1. 표면 수준 유사성 (Surface-Level Similarity, SLS): 특정 문장 범주에 대한 인간과 모델 간의 피어슨 상관 계수를 통해 계산된다. 이는 출력 수준의 일치도를 측정한다.
2. 표상 유사성 (Representational Similarity, RSA): 이 방법은 내부 구조의 해석을 조사한다.
   • 모든 문장 쌍 간의 유클리드 거리를 40차원의 평점 벡터를 기반으로 계산하여, 인간과 각 모델에 대한 **표상 불일치 행렬(Representational Dissimilarity Matrix, RDM)**을 생성하였다.
   • RSA는 인간 RDM의 상삼각 성분(upper-triangular entries)과 모델 RDM 간의 상관관계를 통해 일치성을 정량화하였다.
   • 의의: 높은 RSA 상관관계는 모델이 절대적인 평점 값은 다를지라도, 인간과 구조적으로 유사한 방식으로 문장을 조직하고 있음을 나타낸다. 낮은 RSA 상관관계는 서로 다른 내부 표상 기하학(representational geometries)을 시사한다.

주요 결과

표면 수준 유사성 (SLS)

• 일반적 일치: 모델들, 특히 GPT-4는 의미 있는 문장에 대해 인간과 강한 표면 수준 일치($r \approx 0.60–0.90$)를 보였다.
• 모델 계층: GPT-4가 지속적으로 다른 모델들보다 우수한 성능을 보였다. Gemma와 Mistral은 중간 정도의 일치를 보였으며, Llama-3.2는 특히 비유적 범주에서 가장 약한 일치도를 보였다.
• 범주별 차이: 관습적 및 정서적 문장이 유머, 풍자, 슬랭보다 높은 상관관계를 나타냈다.
• 프롬프트 민감도: 연구 2(정교화된 프롬프트)는 모델 전반에서 SLS의 완만한 개선을 보였으나, 의미 없는 문장은 여전히 어려움이 있었다.

표상 유사성 (RSA)

• 괴리: 높은 표면 수준의 합의에도 불구하고, RSA는 모델과 인간의 표상 공간 사이의 체계적인 괴리를 드러냈다.
• 비유적 언어: 관습적 또는 정서적 문장에 비해 화용적으로 풍부한 범주(관용구, 풍자, Z세대 슬래그)에서 일치도가 현저히 낮았다.
  • GPT-4는 가장 강력한 표상적 일치($r \approx 0.50–0.85$ for sensible sentences)를 보였으나, 여전히 인간-인간 간의 일치도($r \approx 0.75–0.85$)에는 미치지 못했다.
  • 작은 모델들(Llama, Mistral)은 비유적 범주에서 매우 낮은 표상적 일치($r \approx 0.10–0.35$)를 보였다.
• 의미 없는 문장: 모델들은 내부 표상에서 의미 있는 변형과 의미 없는 변형을 구분하는 데 어려움을 겪었으며, 인간의 기준선과 비교하여 상관관계가 크게 하락했다.
• 프롬프트의 영향: 정교한 프롬프트가 표면적 평점은 개선했으나, 특히 Llama의 경우 내부적인 의미 조직을 실질적으로 재구조화하지는 못했다.

주요 기여

1. 방법론적 구분: 본 연구는 표면적 행동 합의와 표상적 구조적 정렬을 명시적으로 분리함으로써, 높은 평점 상관관계가 공유된 내부 의미 조직을 보장하지 않는다는 점을 입증하였다.
2. 괴리에 대한 실증적 증거: LLM이, 심지어 최첨단 모델인 GPT-4조차도, 비유적 언어, 특히 풍자나 슬랭과 같이 맥락 의존적인 특성에 대해 인간과 유사한 표상 기하학을 완전히 복제하지 못한다는 증거를 제공한다.
3. 모델 계층: GPT-4가 작은 모델들보다 인간의 표상 패턴에 더 가깝게 접근하지만, 어떤 모델도 인간-인간 간의 신뢰도에 도달하지 못한다는 일관된 계층 구조를 확립하였다.
4. 메커니즘에 대한 통찰: 결과는 현재의 학습 목표(다음 토큰 예측)가 화용적 추론을 위한 내부 의미 조직을 제약하기에는 불충분하며, 이로 인해 모델이 안정적인 의미적 근거보다는 표면적 휴리스틱에 의존하게 된다는 점을 시사한다.

의의 및 주장

본 논문은 LLM이 표면 수준에서는 인간의 판단을 근사할 수 있지만, 비유적 및 사회적으로 근거가 있는 언어에 대한 진정한 인간다운 해석에 필요한 표상 구조는 아직 갖추지 못했다고 주장한다.

• 현재 모델의 한계: 이러한 결과는 LLM이 안정적인 의미적 근거보다는 분포적 패턴 매칭에 의존한다는 견해를 뒷받침한다. 관용구나 슬랭에 대한 표상적 기하학이 일치하지 않는다는 점은 현재의 아키텍처에 맥락 민감한 감독(supervision)과 사회적 근거(social grounding)가 부족함을 시사한다.
• 평가에 대한 시사점: 저자들은 LLM을 단순히 출력 정확도나 표면적 상관관계로만 평가하는 것은 불충분하다고 주장한다. 미래의 프레임워크는 단순히 '무엇을 생성하는가'가 아니라, RSA와 같은 방법을 통해 내부적으로 의미가 어떻게 조직되는가를 조사해야 한다.
• 제한된 범위: 저자들은 상대적으로 작은 데이터셋 규모, 자극물에 포함된 풍부한 맥락적 단서의 부재(풍자나 유머에 필수적임), 그리고 인간과 LLM이 비교 가능한 내부 프레임워크를 공유한다는 가정 등의 한계를 인정한다. 따라서, 이들의 주장은 맥락 독립적인 화용적 해석으로 제한되며, 관찰된 격차는 실제 담화 맥락의 부재로 인해 더욱 심화될 수 있음을 시사한다.

결론적으로, 본 연구는 현재의 LLM이 인간의 의미 조직과 부분적으로만 정렬된 표상 공간에 비유적 언어를 인코딩하고 있다고 상정하며, 이는 인간과 유사한 텍스트를 생성하는 것과 인간과 유사한 인지적 근거를 갖는 것 사이의 근본적인 간극을 강조한다.