When Models Know More Than They Say: Probing Analogical Reasoning in LLMs

이 논문은 **"모델이 알고 있지만 말하지 않는 것: LLM 의 유추적 추론 (Analogical Reasoning) 프로빙"**이라는 주제로, 대형 언어 모델 (LLM) 이 내부적으로 유추적 추론 능력을 보유하고 있는지, 그리고 그 능력이 프롬프팅 (Prompting) 을 통해 실제로 발현되는지 여부를 탐구합니다.

주요 내용은 다음과 같습니다.

1. 연구 문제 (Problem)

• 배경: 유추적 추론 (Analogical Reasoning) 은 익숙한 상황 (Source) 과 새로운 상황 (Target) 간의 구조적 유사성을 파악하여 지식을 전이하는 고차원적인 인지 능력입니다. 인간은 이를 effortlessly 수행하지만, LLM 은 표면적 단서와 구조적 단서가 일치할 때는 잘 수행하나, 표면적 유사성이 없고 잠재적 (Latent) 인 정보에 의존해야 하는 경우에는 어려움을 겪습니다.
• 핵심 질문: LLM 은 텍스트의 구조적 표현 (서사적 스키마, 수사적 기능 등) 을 내부적으로 학습하고 있는가? 아니면 단순히 대규모의 표면적 상관관계만 활용하고 있는가?
• 가설: 모델의 내부 표현 (Probing) 과 프롬프팅을 통한 행동 (Prompting) 사이에는 비대칭성이 존재할 수 있으며, 이는 모델이 가진 지식의 접근성 (Accessibility) 문제를 시사합니다.

2. 방법론 (Methodology)

저자들은 **NARB (Narrative Analogical Reasoning Benchmark)**라는 새로운 벤치마크를 도입하여 두 가지 주요 작업을 정의하고 실험했습니다.

• 작업 1: 서사적 병렬성 (Narrative Parallelism)

  • 목표: 전체 이야기 (Anchor) 와 후보 이야기들 간의 구조적 대응 관계를 파악하는지 테스트.
  • 데이터: ARN (Analogical Reasoning over Narratives) 데이터셋 사용. 표면적 특징 (캐릭터, 배경) 이 다르더라도 동일한 도덕적 교훈 (속담) 을 공유하는 '원거리 유추'를 식별해야 함.
  • 특징: 표면적 유사성과 무관한 고차원적 서사 구조 추론을 요구함.

• 작업 2: 수사적 병렬성 (Rhetorical Parallelism)

  • 목표: 문서 내 특정 구간의 국소적 문체적/의미적 대칭성을 파악하는지 테스트.
  • 데이터: ASP (Augustinian Sermon Parallelism) 데이터셋 사용. 라틴어 설교 등에서 반복되는 구문적 템플릿이나 역설적 구조를 식별.
  • 특징: 짧은 텍스트 거리 내의 형태 - 의미 대응 관계를 요구함.

• 실험 설계:

  1. 프로빙 (Probing): LLaMA 3 (1B, 3B, 8B) 모델의 각 레이어에서 추출한 은닉 상태 (Hidden States) 를 사용하여 선형/비선형 분류기 (Probe) 를 학습시켜 병렬성을 예측.
  2. 프롬프팅 (Prompting): 동일한 모델에 지시어 (Instruction) 를 주어 후보들을 순위 매기게 함 (Ranking Task).
  3. 비교: 프로빙으로 추출 가능한 정보량과 프롬프팅으로 달성 가능한 성능을 비교하여 '지식 접근성'의 격차를 분석.

3. 주요 기여 (Key Contributions)

1. NARB 벤치마크 도입: 문학 텍스트에서의 유추적 추론을 평가하기 위한 계층적 태스크 (기본 서사 역할 식별부터 복잡한 수사적/구조적 병렬성까지) 를 제시.
2. 프로빙 vs 프롬프팅 비대칭성 발견: 모델이 내부적으로 알고 있는 정보 (Probing) 와 외부 지시 (Prompting) 를 통해 표현하는 능력 사이의 불일치를 체계적으로 증명.
3. 해석 가능성 (Interpretability) 논의 확장: 복잡한 추론 작업에서 내부 상태가 항상 프롬프팅 성능으로 이어지지 않음을 보여줌으로써, 모델 능력 평가에 프로빙과 프롬프팅을 모두 고려해야 함을 주장.

4. 실험 결과 (Results)

실험 결과는 작업 유형에 따라 극명하게 다른 패턴을 보였습니다.

• 수사적 병렬성 (Rhetorical Parallelism):

  • 프로빙: 오픈소스 모델 (LLaMA 1B) 에서 매우 높은 성능 (MAP 약 0.93) 을 보임. 모델 내부에 수사적 구조 정보가 선형적으로 디코딩 가능하게 존재함.
  • 프롬프팅: 같은 모델의 프롬프팅 성능은 매우 낮음 (MAP 약 0.17~0.18). 약 5 배의 격차 발생.
  • 결론: 모델은 수사적 구조를 '알고' 있지만, 지시어를 따라 이를 '말할 수' 없음. 이는 오픈소스 모델이 인코딩된 지식을 활용하는 데 실패함을 의미.
  • 참고: 거리 기반 (Distance-only) 베이스라인이 가장 높은 성능을 보여, 수사적 병렬성이 위치적 근접성에 크게 의존함을 시사.

• 서사적 병렬성 (Narrative Parallelism):

  • 프로빙 & 프롬프팅: 오픈소스 모델에서 두 방법 모두 낮은 성능 (MAP 약 0.35) 을 보이며 일치함.
  • 결론: 모델이 서사적 유추를 내부적으로 잘 표현하지도 못하고, 프롬프팅으로도 잘 수행하지 못함. 이는 추상화 및 일반화 능력의 근본적인 한계를 시사.
  • 클로즈드소스 모델 (GPT-5.2, Claude Opus): 두 작업 모두에서 오픈소스 모델보다 훨씬 높은 성능을 보였으나, 수사적 작업에서는 프로빙 수준에 근접했으나 서사 작업에서는 여전히 프로빙 성능 (약 0.93) 에는 미치지 못함.

5. 의의 및 결론 (Significance & Conclusion)

• 모델 능력 평가의 한계: 프롬프팅 (Prompting) 만으로는 모델이 실제로 알고 있는 지식의 전체를 파악할 수 없음. 특히 오픈소스 모델의 경우, 내부 표현에 존재하는 정보가 프롬프팅을 통해 발현되지 않는 '접근 불가능한 지식'이 존재할 수 있음.
• 평가 방법론의 제안: 모델의 능력을 평가할 때 프로빙 (내부 상태 분석) 과 프롬프팅 (외부 행동) 을 함께 사용해야 함. 두 방법의 일치 여부는 지식이 어떻게 인코딩되고 접근되는지에 대한 진단적 정보를 제공함.
• 인지적 통찰: LLM 은 표면적 패턴 매칭을 넘어선 추상적 구조를 학습할 수 있지만, 이를 활용하는 방식 (접근성) 은 작업의 복잡성과 모델의 아키텍처에 따라 다르게 나타남.

요약하자면, 이 논문은 **"모델이 알고 있지만 (Probing), 말하지 못하는 (Prompting) 능력의 존재"**를 증명하며, LLM 의 유추적 추론 능력을 평가할 때 내부 표현 분석의 중요성을 강조합니다.