LLMs Struggle with Abstract Meaning Comprehension More Than Expected

본 논문은 대규모 언어 모델이 추상적 의미 이해에 어려움을 겪는 반면, 인간의 인지 전략에서 영감을 받은 양방향 어텐션 분류기를 적용한 파인튜닝 모델이 SemEval-2021 태스크 4에서 정확도를 유의미하게 향상시켰음을 보여줍니다.

핵심

1. 문제: AI 는 '구체적인 것'은 잘하지만 '추상적인 것'은 어려워해요

우리가 AI 에게 "사과"나 "자동차" 같은 구체적인 사물을 물어보면 AI 는 아주 잘 답합니다. 하지만 "자유 (Freedom)", "정의 (Justice)", **"경제 (Economy)"**처럼 눈에 보이지 않고 감각으로 느낄 수 없는 추상적인 개념을 물어보면 AI 는 헷갈려 합니다.

• 비유: AI 는 '사과'라는 과일을 보고 "빨갛고 둥글다"고 말해줄 수 있지만, "이 사과가 주는 '행복'의 의미는 무엇일까?"라고 물으면 머리가 아파합니다.
• 연구 결과: 논문은 최신 AI(예: GPT-4o, Llama 등) 가 이런 추상적인 문제를 풀 때, 기대했던 것보다 훨씬 못한다는 것을 증명했습니다. 인간이 95% 를 맞히는 문제를 AI 는 70% 정도밖에 못 맞혔습니다.

2. 실험: AI 에게 시험지를 주니 어떻게 했을까?

연구진은 SemEval-2021 이라는 '추상적 의미 독해 시험'을 AI 에게 치르게 했습니다. 지문과 질문이 있고, 빈칸에 들어갈 가장 적절한 추상적인 단어를 5 개 중 고르는 문제였습니다.

• 결과: AI 는 지문을 읽고 답을 고르는 '선다형' 문제를 풀 때, 마치 학생이 시험지를 보고 고민하는 것처럼 여러 번 시도해 보았지만 (Zero-shot, Few-shot 등), 여전히 정답률이 낮았습니다.
• 교훈: AI 가 아무리 똑똑해 보여도, '눈에 보이지 않는 개념'을 이해하는 능력은 아직 인간에 비해 부족합니다.

3. 해결책: 인간의 두뇌 방식을 모방한 '양방향 주의력'

연구진은 AI 가 추상적인 개념을 잘 이해하게 하기 위해, 인간의 두뇌가 작동하는 방식을 모방한 새로운 방법을 고안했습니다.

• 인간의 방식: 우리가 추상적인 문제를 풀 때, 단순히 지문만 읽지 않습니다.

  1. 먼저 지문을 보며 "어떤 단어가 들어갈까?" 고민합니다.
  2. 그다음 질문과 보기를 다시 보며 "아, 이 문맥에서는 이 단어가 맞구나!"라고 확인합니다.
  3. 이 과정을 반복하며 정답을 찾아냅니다.

• AI 에 적용한 방법 (양방향 주의력 분류기):
  연구진은 AI 가 지문과 보기를 서로 주고받으며 (양방향으로) 집중하게 만들었습니다.

  • 한 방향: 지문을 보고 보기를 찾음.
  • 다른 방향: 보기를 보고 지문을 다시 확인함.
  • 결과: 이 두 가지 시선을 하나로 합치니, AI 의 이해도가 크게 향상되었습니다. 마치 두 사람이 서로의 의견을 주고받으며 문제를 해결하는 것처럼 말이죠.

4. 성과: "작은 모델이 큰 AI 를 이겼다?"

놀랍게도, 거대한 최신 AI(GPT-4 등) 보다는, **작지만 잘 훈련된 기존 모델 (ELECTRA)**에 이 '양방향 주의력' 기술을 더했을 때 가장 좋은 성적을 거두었습니다.

• 성적 향상: 이 방법을 쓰니 정답률이 4%3% 정도 올랐습니다. AI 의 세계에서는 1% 만 오르는 것도 엄청난 일인데, 34% 는 '우승'을 의미하는 큰 차이입니다.
• 최종 순위: 이 기술을 쓴 모델은 해당 시험에서 상위 3 위 안에 들었습니다.

5. 결론: AI 는 아직 '철학자'가 되지 못했습니다

이 논문의 핵심 메시지는 다음과 같습니다.

1. 현재 AI 의 한계: 최신 AI 는 사실이나 상식에는 강하지만, '자유', '정의' 같은 추상적인 개념을 깊이 이해하는 데는 여전히 약합니다.
2. 해결의 열쇠: 거대한 모델을 무작정 키우는 것보다, 인간의 사고 방식 (양방향으로 생각하기) 을 모방한 구조를 작은 모델에 적용하는 것이 더 효과적일 수 있습니다.
3. 미래: 이제 AI 는 단순히 "무엇인가"를 아는 것을 넘어, "그것이 무엇을 의미하는가"를 이해하는 단계로 나아가기 위해 더 정교한 사고 과정이 필요합니다.

한 줄 요약:

"AI 가 '사과'는 잘 알지만 '사랑'은 잘 모릅니다. 하지만 인간처럼 지문과 보기를 오가며 깊게 생각하게 (양방향 주의력) 만들면, AI 도 추상적인 개념을 훨씬 잘 이해하게 됩니다."

기술 요약

제공된 논문 "LLMs Struggle with Abstract Meaning Comprehension More Than Expected"에 대한 상세 기술 요약은 다음과 같습니다.

1. 문제 정의 (Problem)

자연어 처리 (NLP) 에서 **추상적 의미 (Abstract Meaning)**를 이해하는 것은 감정 분석, 은유 해석, 단어 의미 분해 등 고급 언어 이해 작업에 필수적이지만 매우 어려운 과제입니다. 구체적 단어 (예: '사과', '빨강') 와 달리 추상적 단어 (예: '자유', '정의', '동물') 는 직접적인 감각적 참조가 없거나 상위 범주에 속하기 때문입니다.

SemEval-2021 태스크 4 (ReCAM: Reading Comprehension of Abstract Meaning) 는 기계가 추상적 개념을 얼마나 잘 이해하는지 평가하는 벤치마크입니다. 이 태스크는 지문과 질문에 대해 5 개의 추상적 옵션 중 정답을 선택하는 클로즈 (Cloze) 형식 문제로 구성됩니다.

• 주요 문제점: 최근 대규모 언어 모델 (LLM, 예: GPT-4o, Llama-3 등) 이 다양한 작업에서 뛰어난 성능을 보이지만, 추상적 의미 이해 능력은 기대보다 현저히 낮음이 발견되었습니다. 또한 기존 사전 학습 언어 모델 (PLM) 들도 다양한 추상화 유형 간 일반화 (Generalization) 에 한계를 보입니다.

2. 방법론 (Methodology)

저자들은 LLM 의 한계를 확인하고, 사전 학습된 인코더 기반 모델의 성능을 극대화하기 위해 새로운 아키텍처를 제안했습니다.

A. LLM 평가 (Zero-shot 및 Few-shot)

• 접근 방식: 생성형 LLM 을 선택형 질문에 적용하기 위해 'Multi-choice Prompting' 방식을 사용했습니다. (지문, 질문, 5 개 옵션을 모두 입력하고 정답 인덱스 [0-4] 를 생성하도록 지시).
• 실험 설정: Zero-shot, One-shot, Two-shot 설정으로 GPT-4o, GPT-4o-Mini, Gemma-2, Llama-3 등 다양한 모델을 평가했습니다.

B. 미세 조정 (Fine-tuning) 기반 모델 개선

LLM 의 성능이 부족함을 확인한 후, RoBERTa 와 ELECTRA 와 같은 사전 학습 인코더를 기반으로 한 미세 조정 모델을 개발했습니다.

• Task-adaptive Pretraining: CNN/Daily Mail 데이터셋을 사용하여 도메인 특화 사전 학습을 수행하여 모델이 추상적 개념에 더 잘 적응하도록 했습니다.
• Bi-Directional Attention Classifier (핵심 제안): 인간의 인지 전략 (1. 지문을 재검토하여 질문/옵션과 일치하는 증거 찾기, 2. 질문/옵션을 재검토하여 지문 맥락으로 정답 찾기) 에서 영감을 받아 설계된 새로운 어텐션 모듈입니다.
  • 구조:
    1. Passage-to-QA Attention: 지문 (Passage) 을 Query/Key 로, 질문과 옵션 (QA) 을 Value 로 사용하여 지문이 옵션을 어떻게 바라보는지 계산.
    2. QA-to-Passage Attention: 질문과 옵션을 Query/Key 로, 지문을 Value 로 사용하여 옵션이 지문 맥락을 어떻게 바라보는지 계산.
    3. Fusion: 두 가지 어텐션 표현을 평균 풀링 (Mean Pooling) 하여 결합한 후 분류기에 입력합니다.
  • 효과: 질문과 옵션, 그리고 지문 간의 역동적이고 양방향적인 관계를 포착하여 추상적 의미의 뉘앙스를 더 잘 파악합니다.

3. 주요 기여 (Key Contributions)

1. LLM 의 추상적 의미 이해 한계 규명: 대부분의 오픈 소스 및 클로즈 소스 LLM 이 Zero-shot 및 Few-shot 설정에서 ReCAM 태스크에서 낮은 성능 (최고 73.60%) 을 보이며, 벤치마크 최상위 기록 (95.1%) 에 크게 미치지 못함을 실증했습니다.
2. Bi-Directional Attention Classifier 제안: 인간의 인지 과정을 모방한 양방향 어텐션 모듈을 도입하여 미세 조정된 PLM 의 성능을 획기적으로 향상시켰습니다.
3. SOTA 성능 달성: ELECTRA 인코더와 제안된 Bi-Directional Attention 을 결합한 모델이 SemEval-2021 Task 4 벤치마크에서 최상위 3 위 이내의 성능을 기록했습니다.

4. 실험 결과 (Results)

LLM 성능 (Table 1 & 2)

• Zero-shot: GPT-4o-Mini 가 65.83% 로 가장 높았으나, GPT-3.5 Turbo 는 20.91% 로 매우 낮았습니다.
• Few-shot (2-shot): 성능이 향상되었으나, Gemma-2-9B 가 73.60%, GPT-4o-Mini 가 72.28% 에 그쳤습니다. 이는 기존 벤치마크 최상위 성능 (95.1%) 과 큰 격차가 있음을 보여줍니다.

미세 조정 모델 성능 (Table 3, 4, 5, 6)

• Base Model 비교: ELECTRA-large 가 RoBERTa-large 보다 모든 태스크에서 우수한 성능을 보였습니다 (Task 3 기준 89.06% vs 68.47%).
• 어텐션 모듈 효과:
  • Uni-Directional Attention: ELECTRA 대비 평균 0.86% 향상.
  • Bi-Directional Attention: ELECTRA 대비 Task 1 에서 4.06%, Task 2 에서 3.41% 향상.
  • 최종 성능: ELECTRA + Bi-Directional Attention 모델은 Task 1 (89.95%), Task 2 (91.41%), Task 3 (90.59%) 에서 모두 높은 정확도를 기록했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• LLM 의 한계 재조명: 생성형 LLM 이 사실적 추론이나 일반 언어 이해에서는 뛰어나지만, 고도로 추상적인 개념의 미묘한 뉘앙스를 이해하는 데는 여전히 취약함을 명확히 지적했습니다.
• 효율적인 해결책 제시: 거대 모델을 무작정 사용하는 것보다, 도메인 특화 사전 학습 (Task-adaptive Pretraining) 과 인간 인지 전략을 모방한 **구조적 개선 (Bi-Directional Attention)**을 통해 상대적으로 작은 모델 (ELECTRA) 로도 SOTA 수준의 성능을 달성할 수 있음을 증명했습니다.
• 향후 과제: 태스크 3(이전 태스크 간 일반화) 에서의 성능 향상 폭이 상대적으로 작았으므로, 데이터 재분할, 데이터 증강 (Negative Augmentation 포함), 가중치 평균화 (Weight Averaging) 등을 통해 일반화 능력을 더욱 강화할 필요가 있음을 제시했습니다.

이 논문은 추상적 의미 이해라는 특정 NLP 과제에서 LLM 의 현재 한계를 정량화하고, 이를 극복하기 위한 효율적인 구조적 접근법의 중요성을 강조한다는 점에서 의의가 있습니다.