Enhancing Structural Mapping with LLM-derived Abstractions for Analogical Reasoning in Narratives

1. 문제 정의 (Problem)

• 배경: 비유적 추론 (Analogical Reasoning) 은 인간이 문제를 해결하고 일반화하는 데 핵심적인 역할을 합니다. 특히 두 이야기 (내러티브) 간의 구조적 유사성을 파악하는 것은 복잡한 도메인 (법률, 비즈니스, 창의적 문제 해결 등) 에서 중요합니다.
• 현재의 한계:
  • 인지 엔진 (Cognitive Engines): 구조적 매핑 이론 (SMT) 을 기반으로 한 기존 엔진 (예: SME) 은 사전에 추출된 구조화된 엔티티를 가정하므로, 비정형 텍스트인 내러티브에 직접 적용하기 어렵습니다.
  • 대형 언어 모델 (LLM): LLM 은 표면적 유사성 (Surface Similarity) 이 높은 '가까운 비유 (Near Analogy)'에서는 잘 작동하지만, 표면적 유사성이 낮고 관계적 구조만 공유하는 '먼 비유 (Far Analogy)'에서는 성능이 현저히 떨어집니다. 또한, 프롬프트 형식과 입력 단위의 세분성에 따라 추론 결과가 일관되지 않습니다.
• 핵심 질문: 내러티브의 구조적 매핑을 LLM 에서 도출된 추상화 (Abstractions) 로 강화하면, 내러티브 간 비유적 추론 능력이 어떻게 향상될 수 있는가?

2. 방법론 (Methodology: YARN Framework)

저자들은 YARN (Yielding Abstractions for Reasoning in Narratives) 이라는 모듈형 신경 - 심볼릭 (Neurosymbolic) 프레임워크를 제안했습니다. 이 프레임워크는 LLM 의 생성 능력과 구조적 매핑 엔진을 결합하여 내러티브 비유를 수행합니다.

3 단계 파이프라인:

1. 단위 추출 (Unit Extraction):

   • LLM 을 사용하여 이야기를 '이벤트 구 (Event Phrases)' 단위로 분해합니다.
   • 표면적 단어 (이름, 도메인 용어) 를 유지하면서도 이야기의 핵심 의미를 포착하도록 설계됩니다.
   • 시간적 순서와 중복성을 고려하여 일관된 구조를 만듭니다.

2. 단위 추상화 (Unit Abstraction):

   • 추출된 이벤트 구를 4 가지 수준의 추상화 계층으로 변환합니다. 이는 프레이밍 (Framing) 이론에 기반합니다.
     • 개념적 추상화 (Conceptual): 표면적 세부 사항을 제거하고 핵심 의미 (수식어 - 루트 형식, 예: tasks-workload) 를 추출.
     • 평가적 추상화 (Evaluative): 이벤트의 기능적 역할 (상태, 행동, 결과) 과 극성 (긍정, 부정, 중립) 을 라벨링 (예: struggle, gain).
     • 내러티브 아크 추상화 (Narrative Arc): 사건의 전역적 조직화 (배경, 주요 사건, 도전, 행동, 결론) 를 매핑.
     • 단계 추상화 (Stage): 관련 이벤트 그룹을 하나의 단계로 통합하여 도메인 독립적인 표현 생성.

3. 구조적 매핑 (Structural Mapping):

   • 기본 이야기 (Base) 와 후보 이야기 (Target) 간의 단위 및 추상화 쌍을 생성합니다.
   • 로컬 매핑 점수: 코사인 유사도를 사용하여 단위 쌍과 추상화 라벨 간의 유사성을 계산합니다. (평가적/아크 라벨은 소프트 제약 조건으로 활용).
   • 글로벌 매핑: 탐욕 알고리즘 (Greedy Algorithm) 을 사용하여 로컬 매핑을 통합하고, 1 대 1 대응 관계를 가진 최적의 전역 매핑을 찾습니다.

3. 주요 기여 (Key Contributions)

1. YARN 프레임워크: LLM 기반 추출과 구조적 매핑을 연결하여 내러티브 비유 추론을 체계적으로 실험할 수 있는 최초의 신경 - 심볼릭 프레임워크.
2. 4 단계 추상화 계층: 내러티브의 프레이밍과 실용적 의미를 포착하도록 설계된 4 가지 추상화 수준 (개념적, 평가적, 아크, 단계) 을 정의하고 운영화함.
3. 체계적인 실험 및 오류 분석: 두 가지 벤치마크 (MCQ, ARN) 에서 구성 요소의 영향을 분석하고, 추상화 수준, 표면적 유사성, 그리고 LLM 의 일관성 부족에 대한 심층 오류 분석을 수행.
4. 오픈 소스: YARN 의 코드와 데이터를 공개하여 향후 연구를 지원.

4. 실험 결과 (Results)

• 성능 향상: 추상화 없이 직접 텍스트 임베딩을 사용한 구조적 매핑은 무작위 추측보다도 낮은 성능을 보였으나, 추상화를 추가하면 성능이 크게 향상되어 LLM 만으로 추론하는 것보다 경쟁력 있거나 더 나은 결과를 보였습니다.
  • MCQ 데이터셋: YARN 이 LLM 단일 모델 (Zero-shot/CoT) 보다 높은 정확도를 기록 (예: Qwen 기준 0.46 vs 0.41).
  • ARN 데이터셋: LLM 은 '가까운 비유 (Near)'에서 강세를 보였으나, YARN 은 '먼 비유 (Far)'에서 더 우수한 성능을 발휘했습니다. 이는 YARN 이 표면적 유사성이 아닌 구조적 관계를 더 잘 포착했음을 의미합니다.
• 추상화 수준의 영향:
  • 개념적 추상화가 가장 핵심적인 역할을 했으며, 평가적 제약 조건이 MCQ 에서는 도움이 되었으나 ARN 에서는 오히려 방해가 되기도 함 (데이터 특성에 의존).
  • 단계 추상화 (Stage Abstraction): '먼 비유'에서는 높은 수준의 추상화 (Astg,1) 가 표면적 단서를 억제하여 성능을 향상시켰으나, '가까운 비유'에서는 낮은 수준의 추상화 (Astg,0) 가 더 효과적이었습니다.
• LLM 의 일관성 문제: LLM 은 입력 단위 (전체 이야기 vs 문장 vs 이벤트 구) 나 프롬프트 지시에 따라 비유적 추론 결과가 크게 달라지는 불일치 (Inconsistency) 문제를 보였습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • LLM 의 생성 능력과 인지 과학의 구조적 매핑 이론을 성공적으로 통합하여, 내러티브 비유 추론의 새로운 패러다임을 제시했습니다.
  • 단순한 텍스트 매칭을 넘어, 관계적 구조 (Relational Structure) 를 강조함으로써 '먼 비유' 해결 능력을 개선했습니다.
  • 내러티브 비유 벤치마크 (ARN 등) 가 가진 한계 (표면적 문법 유사성 의존, 다양한 비유 패턴 존재) 를 지적하고 향후 연구 방향을 제시했습니다.
• 한계 및 향후 과제:
  • 추상화 오류: LLM 이 인과 관계 (Causality) 를 잘못 해석하거나, 추상화 수준을 적절히 조절하지 못하는 경우가 발생.
  • 매핑 알고리즘: 탐욕 알고리즘과 코사인 유사도가 '대립'이나 '모순'을 기반으로 한 비유 패턴 (예: 서로 반대되는 결과지만 동일한 규칙) 을 포착하는 데 한계가 있음.
  • 데이터셋: 현재 벤치마크가 비유적 추론의 구조적 측면보다 표면적 패턴이나 고수준 메시지 추론에 치우쳐 있어, 더 정교한 구조적 어노테이션이 포함된 데이터셋이 필요함.

결론

이 논문은 LLM 만으로는 내러티브 간의 깊은 구조적 비유를 해결하기 어렵다는 점을 지적하고, LLM 에서 추출한 추상화된 표현을 구조적 매핑 엔진에 입력하는 YARN 프레임워크를 통해 이를 극복할 수 있음을 입증했습니다. 이는 AI 시스템이 인간의 비유적 사고 능력을 모방하는 데 있어, 생성 모델과 심볼릭 추론의 결합이 필수적임을 시사합니다.