기술 요약: 인과적 말혀 (Causal Tongue-Tie)

문제 진술

본 논문은 대규모 언어 모델 (LLM) 의 내부 인과적 추론 능력과 명시적 텍스트 출력 사이의 치명적인 불일치를 다룹니다. 표준 벤치마크는 모델의 '예/아니오' 답변 정확도에 기반하여 인과적 추론을 평가하지만, 본 연구는 모델의 언어적 출력이 이를 표현하지 못할지라도 은닉 상태에 올바른 인과 방향이 존재하는지 여부를 조사합니다. 구체적으로 저자들은 반상식적 (anti-commonsense) 인과 질의 (예: "흡연은 폐암을 예방한다"라고 명시된 프롬프트) 에 초점을 맞추는데, 이러한 경우 모델은 프롬프트의 증거와 반대되는 내용을 제시함에도 불구하고 출력에서 상식적 사전 지향으로 회귀하는 경향이 있습니다.

핵심 문제는 출력만 평가하는 단일 정확도 지표가 두 가지 구별된 실패 모드를 혼동한다는 점입니다:

1. 인과적 앵무새 (Causal Parrots): 모델이 내부 인과 신호를 전혀 갖지 않고 표면적 휴리스틱에 의존합니다.
2. 인과적 말혀 (Causal Tongue-Tie): 모델은 증거에 기반한 인과 방향을 내부적으로 인코딩하지만, 표준 출력 형식에서는 이를 언어화하는 데 실패합니다.

방법론

저자들은 동일한 단일 순전파 (forward pass) 에서 두 가지 읽기 채널을 비교하는 측정 프로토콜을 제안합니다. 이는 고정된 (frozen) 지시 튜닝 트랜스포머 디코더에서 수행됩니다:

1. 내부 읽기 (Probe): 마지막 프롬프트 토큰의 은닉 상태 활성화 ($h^{(\ell)}$) 에서 유도된 선형 프로브 (고정 로지스틱 회귀) 또는 반사실적 부분 공간 방향 ($V_{cs}$).
2. 외부 출력: 표준 '예/아니오' 답변을 위한 모델 자체의 다음 토큰 확률 ($lm\_head$).

실험 설정

• 데이터셋: 본 연구는 CLADDER(Jin et al., 2023) 와 CounterBench(Chen et al., 2025) 를 활용하며, 프롬프트의 증거가 현실 세계의 사전 지향과 상반되는 반상식적 (anti-CS) 항목에 초점을 맞춥니다.
• 반사실적 최소 쌍 (Counterfactual Minimal Pairs): 각 프롬프트 $x_i$ 에 대해, 표면 형태는 동일하게 유지하면서 금표 답변을 뒤집기 위해 인과어 ("원인" 대 "예방") 를 교체하여 반사실적 쌍 $x_i^{cf}$ 를 생성합니다. 은닉 상태의 차이 ($\Delta h$) 가 인과 방향 신호를 정의합니다.
• 모델: 프로토콜은 Qwen2.5(0.5B~72B), Mistral-7B, DeepSeek-7B 를 포함한 8 개의 지시 튜닝 모델에 적용됩니다.
• 통제: 표면 단어 암기를 배제하기 위해 엄격한 통제를 적용합니다:
  • 가짜 부분 공간 (Sham Subspaces): 무의미한 엔티티 프롬프트로 훈련된 프로브.
  • 무작위 방향 통제: 동일한 랭크의 Haar-무작위 벡터.
  • 인과어 변형: 구조는 유지하면서 인과 어휘를 제거하거나 변경.
  • 인터페이스 변형: 다양한 답변 형식 (예/아니오, A/B 강제 선택, 참/거짓, 중국어 등) 테스트.

주요 기여

본 논문은 다음과 같이 정의된 인과적 말혀 (Causal Tongue-Tie) 개념을 도입합니다:
$$\Delta = Acc_{probe} - Acc_{out} \approx +0.5$$
반상식적 항목에서 선형 프로브는 증거에 기반한 답변을 높은 정확도 ($\approx 0.97$) 로 복원하는 반면, 구두로 표현된 예/아니오 출력은 상식적 사전 지향으로 회귀합니다 ($\approx 0.5$).

저자들은 인과적 벤치마크 실패를 위한 2×2 프레임워크를 공식화합니다:

• (a) 정렬된 정확: 프로브와 출력 모두 정확함.
• (b) 인과적 말혀 (본 연구): 프로브는 정확함; 출력은 틀림 (논문의 초점).
• (c) 인과적 앵무새: 프로브는 아무것도 찾지 못함; 출력은 표면적 휴리스틱으로 정확함.
• (d) 진정한 실패: 둘 다 틀림.

실증 결과

1. 격차의 확장성: 격차 ($\Delta \approx +0.5$) 는 0.5B 에서 72B 파라미터에 이르는 모델 크기 전반에 걸쳐 유지됩니다. 모델 크기가 커질수록 내부 프로브 정확도는 상승하여 (72B 에서 1.0 도달) 출력 정확도는 0.35~0.53 부근의 무작위 수준에 머무릅니다.
2. 내부 신호의 유효성:
   • 프로브 방향은 무작위가 아닙니다. 이는 표면 단어뿐만 아니라 인과 증거를 추적합니다.
   • 병변 (Lesioning): 은닉 상태에서 인과 방향 ($V_{cs}$) 을 투영하여 제거하면 모델의 반사실적 쌍을 구분하는 내부 능력이 붕괴됩니다 (KL 감소 -96.3%). 이는 해당 방향이 내부 비교에 기능적으로 사용됨을 확인시켜 줍니다.
   • 활성화 패치 (Activation Patching): 틀린 반상식적 항목의 은닉 상태를 일치된 상식적 항목의 은닉 상태로 교체하면 출력 정확도가 0 에서 0.57 로 반전됩니다. 이는 내부 상태가 출력을 수정할 충분한 정보를 포함하고 있음을 보여주지만, 방향 벡터의 단순 스칼라 교체만으로는 부족함을 시사합니다.
3. 인터페이스 의존성: 실패는 구두 답변 인터페이스에 국한됩니다.
   • 출력 형식을 구조화된 A/B 강제 선택(예: "어떤 것이 더 타당한가: A. c 가 e 를 원인, 또는 B. c 가 그렇지 않음") 으로 변경하면 정확도는 거의 완벽 (1.0) 하게 상승하는 반면, 표준 예/아니오 형식은 무작위 수준에 머뭅니다.
   • 격차는 다양한 표면 형태 (예/아니오, 참/거짓, 중국어 "시/푸") 에서도 유지되므로, 문제가 '예/아니오' 토큰 자체에 특화된 것이 아니라 구두 인터페이스의 확정 (commitment) 단계에 있음을 나타냅니다.
4. 엔트로피 분석: 모델은 예/아니오 형식에서 틀린 답변에 대해 낮은 엔트로피(높은 자신감) 를 보이며, 이는 상식적 사전 지향에 의해 주도된 "확신 있는 틀린 확정"을 나타냅니다. 반면 A/B 형식은 내부 신호가 거의 제로 엔트로피로 자신을 표현할 수 있게 합니다.

중요성과 주장

본 논문은 단일 출력 정확도 수치에 기반하여 LLM 이 인과적 추론을 수행할 수 있는지 여부에 대한 포괄적인 결론은 결함이 있다고 주장합니다.

• 벤치마크 재평가: 벤치마크의 "틀림" 판정은 반드시 모델이 인과 지식을欠缺함을 의미하지는 않습니다. 단순히 모델이 사용된 특정 구두 인터페이스를 통해 그 지식을 표현하지 못함을 의미할 수 있습니다. 반대로, "맞음" 판정도 모델이 인과 메커니즘을 이해했음을 보장하지 않습니다 (인과적 앵무새일 수 있음).
• 실패의 본질: 저자들은 인과적 말혀를 내부 표현의 부재가 아닌 구두 인터페이스 실패로 규정합니다. 모델은 은닉 상태에서 답변을 "알고" 있지만, 상식 편향의 구두 형식에 확정하도록 강요받을 때 이를 말해내는 능력이 "묶여" 있습니다.
• 한계: 저자들은 본 맥락에서 "인코딩"은 은닉 상태의 선형 방향을 복원할 수 있음을 의미하며, 인간과 같은 이해나 완전한 인과 회로를 의미하지 않는다고 명시합니다. 내부 방향은 50% 이상 사례에서 출력을 수정하는 데 인과적으로 충분하지만 모든 경우에 그런 것은 아니며, 복원된 방향은 템플릿 문구에 민감합니다.

요약하자면, 본 논문은 진정한 추론 실패와 표현적 한계를 구분하기 위해 LLM 에 대한 이중 채널 평가 (내부 상태 + 외부 출력) 를 주장하며, 출력만 평가하는 인과적 벤치마크 해석에 신중을 기할 것을 촉구합니다.