How Language Models Conflate Logical Validity with Plausibility: A Representational Analysis of Content Effects

1. 연구 배경 및 문제 제기 (Problem)

• 내용 효과 (Content Effects): 인간과 LLM 모두 추론 과제를 수행할 때, 논리적 구조가 아닌 문장의 의미적 내용 (실제 세계에서의 진실 여부) 에 편향되어 판단을 내리는 경향이 있습니다. 예를 들어, 논리적으로 틀린 결론이라도 현실적으로 타당해 보이면 '유효하다'고 잘못 판단하거나, 논리적으로 맞는 결론이라도 현실적으로 비현실적이면 '유효하지 않다'고 판단합니다.
• 연구 동기: 인간에서는 이러한 현상을 '이중 처리 이론 (System 1 vs System 2)'으로 설명하지만, LLM 에서 이러한 편향이 발생하는 내부 표현 (Internal Representation) 차원의 메커니즘은 아직 명확히 규명되지 않았습니다.
• 핵심 질문: LLM 은 추상적 개념인 '유효성'과 '타당성'을 어떻게 인코딩하며, 이 두 개념의 표현적 혼동이 왜 발생하는가?

2. 방법론 (Methodology)

저자들은 **선형 표현 가설 (Linear Representation Hypothesis)**을 기반으로 LLM 의 잠재 공간 (Latent Space) 을 분석했습니다.

• 데이터셋 및 태스크:
  • 64 가지의 모든 syllogism (삼단논법) 유형을 포함하는 1,280 개의 데이터셋을 구축했습니다.
  • 논리적 유효성 분류: 결론이 전제로부터 논리적으로 도출되는지 판단 (Valid/Invalid).
  • 타당성 (Plausibility) 분류: 결론이 실제 세계에서 사실인지 판단 (True/False).
  • 제어 작업: 해로운/무해한 내용 분류, 상위/하위 개념 분류 등을 통해 편향이 단순한 이진 분류 작업의 아티팩트가 아님을 검증했습니다.
• 모델: Qwen-2.5, Qwen-3, Gemma-3 시리즈 등 10 개의 다양한 크기의 LLM 을 대상으로 실험했습니다.
• 표현 분석 기법:
  • 차이 평균 벡터 (Difference-in-Means): 각 레이어에서 긍정 클래스와 부정 클래스의 평균 활성화 벡터 차이를 계산하여 '유효성 벡터'와 '타당성 벡터'를 추출했습니다.
  • 스티어링 (Steering): 추출된 벡터를 모델의 활성화에 더하거나 빼서 모델의 판단을 인위적으로 변경하는 실험을 수행했습니다.
  • 기하학적 유사성 분석: 유효성 벡터와 타당성 벡터 간의 코사인 유사성을 측정하여 두 개념이 표현 공간에서 얼마나 겹치는지 분석했습니다.

3. 주요 결과 (Key Results)

A. 행동적 증거 (Behavioral Evidence)

• 내용 효과의 존재: 제로샷 (Zero-shot) 프롬팅에서 모델들은 타당성이 논리적 유효성에 영향을 미치는 강한 편향을 보였습니다.
• CoT 의 효과: 체인 오브 씽킹 (Chain-of-Thought, CoT) 프롬팅을 사용하면 내용 효과 (Content Effect, CE) 가 크게 감소하고 추론 정확도가 향상되었습니다.

B. 표현적 분석 (Representational Analysis)

• 선형 인코딩: 유효성과 타당성 모두 LLM 의 후기 레이어 (Late Layers) 에서 선형 벡터로 명확하게 인코딩되어 있었습니다.
• 기하학적 정렬 (Geometric Alignment): 가장 중요한 발견은 유효성 벡터와 타당성 벡터가 표현 공간에서 **매우 높은 유사성 (높은 코사인 유사도)**을 보이며 거의 평행하게 정렬되어 있다는 점입니다. 이는 모델이 두 개념을 기하학적으로 혼동하고 있음을 의미합니다.
• 인과적 교차 영향 (Causal Cross-influence):
  • 타당성 벡터를 유효성 분류 태스크에 적용하면 모델의 유효성 판단이 바뀝니다.
  • 반대로 유효성 벡터를 타당성 분류 태스크에 적용하면 타당성 판단이 바뀝니다.
  • 이는 두 개념이 표현적으로 얽혀 있어 (Entangled), 한 개념의 방향이 다른 개념의 판단을 인과적으로 왜곡할 수 있음을 증명합니다.

C. 상관관계 및 예측

• 모델 간에 유효성과 타당성 벡터의 기하학적 유사도가 높을수록, 행동적 내용 효과 (CE) 가 더 크게 나타나는 강한 상관관계가 확인되었습니다.
• CoT 프롬팅은 표현적 정렬을 완전히 제거하지는 않지만, 모델이 더 명확한 의사결정 경계를 형성하도록 도와 편향을 줄입니다.

4. 개입 및 해결 방안 (Intervention)

저자들은 표현적 분석을 바탕으로 편향을 완화하는 디바이싱 (Debiasing) 벡터를 설계했습니다.

• 작업 차이 벡터 (Task-Difference Vector): 유효성 분류 태스크와 타당성 분류 태스크의 활성화 평균 차이 ($\mu_V - \mu_P$) 를 계산하여 두 개념을 분리하는 벡터를 생성했습니다.
• 적용 효과: 이 벡터를 모델의 특정 레이어에 가중치 ($\alpha=1.5$) 를 곱해 추가하는 방식으로 적용했습니다.
  • 결과: 내용 효과 (CE) 가 거의 0 에 수렴할 정도로 감소하면서, 오히려 논리적 유효성 분류의 정확도가 향상되었습니다.
  • 의의: 모델의 파라미터를 재학습 (Fine-tuning) 시키지 않고, 추론 시 (Inference time) 활성화만 조작하여 편향을 제거할 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

• 이론적 기여: LLM 이 추상적 논리 개념을 어떻게 표현하는지에 대한 새로운 통찰을 제공했습니다. LLM 의 논리적 오류가 단순히 지식 부족이 아니라, **표현 공간에서의 개념적 혼동 (Representational Entanglement)**에서 기인함을 증명했습니다.
• 실용적 기여:
  • 진단 도구: 모델의 내부 벡터 유사도를 측정하여 해당 모델이 내용 효과에 얼마나 취약한지 예측할 수 있습니다.
  • 해결책: 파라미터 업데이트 없이도 스티어링 벡터를 통해 LLM 의 추론 능력을 개선하고 신뢰성을 높일 수 있는 실용적인 방법을 제시했습니다.
• 미래 작업: 이 프레임워크를 다른 인지 편향 (Cognitive Biases) 에 적용하고, 훈련 데이터의 통계적 속성이 이러한 표현적 혼동을 어떻게 유발하는지 연구할 수 있는 길을 열었습니다.

요약

이 논문은 LLM 이 논리적 추론에서 인간의 '내용 효과'와 유사한 편향을 보이는 원인이 유효성과 타당성 개념이 모델 내부 표현 공간에서 기하학적으로 얽혀 있기 때문임을 규명했습니다. 또한, 이러한 표현적 혼동을 분석하여 스티어링 벡터를 통해 두 개념을 분리함으로써 편향을 제거하고 추론 정확도를 높일 수 있음을 실험적으로 증명했습니다.