Reasoning as Pattern Matching: Shared Mechanisms in Human and LLM Everyday Reasoning

제목: 패턴 매칭으로서의 추론: 인간과 LLM의 일상적 추론에 나타나는 공유된 메커니즘

문제 제기
인지 과학과 AI 안전 분야의 지배적인 견해는 인간의 추론이 인과 구조, 구성성, 그리고 역할-채움 독립성(role-filler independence)을 보존하는 추상적이고 구조화된 "세계 모델(world models)"에 의존한다고 상정한다. 반면, 대규모 언el 모델(LLM)은 일반화에 실패하거나 무작위적인 오류를 범한다는 비판을 받으며, 이로 인해 LLM이 진정한 추론보다는 단순히 통계적 연관성에 기반한 얕은 "패턴 매칭"만을 수행한다는 결론이 내려지곤 한다. 그러나 인간의 추론 또한 고도로 내용 민감적(content-sensitive)이며, 엄격한 논리적 구성성을 위반하는 오류(예: 와슨 선택 과제 또는 "798은 더 짝수다" 현상)를 범하는 것으로 알려져 있다. 본 논문은 LLM에서 관찰되는 추론 실패가 그들의 아키텍처에 고유한 것인지, 아니면 인간과 공유되는 인지 메커니즘을 반영하는 것인지 조사한다. 구체적으로, 저자들은 다음과 같은 질문을 던진다. "인간과 LLM 모두의 일상적 인과 추론은 추상적인 세계 모델에 의해 더 잘 설명되는가, 아니면 맥락 의존적인 패턴 매칭의 형태로 더 잘 설명되는가?"

연구 방법론
본 연구는 인간과 LLM을 대상으로 한 행동 실험과 기계론적 해석 가능성(mechanistic interpretability) 분석을 결합한 다각적인 접근 방식을 채택한다.

1. 행동 평가:

   • 참가자: 142명의 인간 참가자와 25개의 LLM(Gemma, Llama와 같은 오픈 소스 모델 및 GPT-4.1, DeepSeek-R1과 같은 독점 모델 포함).
   • 과업: 11가지 카테고리의 일상적 시나리오(예: 지심-근접(geocentric-near), 자기중심-원거리(egocentric-distant), 상태-후속(state-follows), 행동-비후속(action-nonfollows))를 포함하는 모듈형 인과 추론 과업.
   • 설계: 프롬프트는 두 가지 프레이밍으로 제시되었다: 타겟(target) (원인이 주어졌을 때 결과를 추론) 및 맥락(context) (결과가 주어졌을 때 원인을 추론). 결정적으로, 본 연구에는 표면적으로는 무관해 보이는 내용 단어만 변경된(예: "수프가 탁자 위에 있다" vs "스튜가 탁자 위에 있다") 최소 차이 쌍(minimal-difference pairs)이 포함되었다. 이때 인과적 결과의 진릿값은 동일하게 유지되었다.
   • 지표: 인간의 정확도는 이진 선택으로 측정되었다. LLM의 정확도는 토큰 간의 로짓 차이(open weights 모델의 경우) 또는 이진 정답 여부(API 모델의 경우)를 통해 측정되었다.

2. 기계론적 해석 가능성:

   • 모델: 인간의 행동 패턴과 높은 정렬도를 보인 gemma-2-27b-it에 초점을 맞추었다.
   • 인과적 식별: 저자들은 가장 많은 로짓 변화를 일으킨 어텐션 헤드(즉, 제거 시 출력에 가장 큰 변화를 주는 헤드)를 식별하기 위해 절제(ablation) 실험을 수행하였다.
   • 활성화 패칭(Activation Patching): 이 헤드들이 어떤 정보에 주목하는지 결정하기 위해, 저자들은 "비판적" 프롬프트(내용이 진릿값을 변화시키는 경우)와 "비비판적" 프롬프트(내용은 변하지만 진릿값은 변하지 않는 경우)의 활성화를 기본 프롬프트에 패칭하였다.
   • 예측: 이 비판적 어텐션 헤드들의 엔트로피를 사용하여 홀드아웃(held-out) 프롬프트 및 시나리오에 대한 인간의 정확도를 예측하였다.

주요 결과

1. 공유된 실패 프로필: 인간과 LLM 모두 프롬프트 내용의 미세하고 표면적인 변화에 매우 민감한 "단계적 정확도(graded accuracy)"를 보였다.

   • 인간과 LLM은 원거리 참조(예: 도시)를 포함하는 지심(geocentric) 관계에서는 근접 객체(예: 그림)보다 더 높은 정확도를 보였고, 근접 객체에 대해서는 자기중심(egocentric) 관계에서 더 높은 정확도를 보였다.
   • 프롬프트의 미세한 변경(예: 가스레인지가 켜진 시나리오에서 "수프"를 "스튜"로 변경)은 논리적 결과가 동일함에도 불구하고, 두 집단 모두에서 유사한 "실패 상태(fail states)"를 유발했다.
   • 전반적인 정확도가 높은 LLM(예: DeepSeek-R1)이 반드시 인간과 유사한 것은 아니었으며, 어떤 경우에는 더 작은 모델(예: Gemma-3-27b-it)이 인간의 오류 패턴과 더 잘 일치했다.

2. LLM 반응의 메커니즘:

   • 내용 민감도: 활성화 패칭 결과, 상위-$k$의 인과적으로 중요한 어텐션 헤드들은 구조적 변화(예: "북쪽"을 "남쪽"으로 변경)보다 비비판적 내용 치환(예: "그림"을 "조각상"으로 변경)에 훨씬 더 민감하게 반응했다. 이는 이 헤드들이 추상적 인과 구조보다는 표면적 내용에 기반한 패턴 매칭을 구현한다는 가설을 뒷받침한다.
   • 인간의 오류 예측: 이 패턴 매칭 헤드들의 엔트로피는 인간의 정확도를 성공적으로 예측했다. 카테고리, 프롬프트 형식, n-gram 빈도를 통제한 후에도 선형 모델을 사용한 결과, 인간의 응답에 대한 상당한 분산을 설명하였다($R^2 \approx 0.65$).
   • 최소 차이 시나리오: 단 하나의 내용 단어만 다른 96개의 프롬프트에 대한 후속 평가에서, 이 패턴 매칭 헤드들의 활성화는 인간의 정확도를 높은 충실도로 예측하였으며, 최대 76%의 분산을 설명하였다.

핵심 기여

• 경험적 정렬: 본 논문은 인간과 LLM의 추론 실패가 별개의 현상이 아니라, 내용 민감성과 취약성이라는 공통된 프로필을 공유한다는 강력한 증거를 제공한다.
• 기계론적 설명: 상관관계 파악을 넘어, LLM 내부의 특정 회로(일부 어텐션 헤드 집합)가 이러한 행동을 어떻게 구동하는지 식별한다.
• 추론의 재정의: 저자들은 LLM의 "패턴 매칭" 메커니즘이 흔히 결함으로 치부되지만, 실제로는 인간의 오류 패턴을 예측할 수 있게 하는 핵심 메커니즘임을 입증한다. 이는 인간의 추론 자체도 순수한 추상적 세계 모델보다는 패턴 매칭에 크게 의존할 수 있음을 시사한다.

의의 및 주장
본 논문은 일상적 인과 추론에 있어 "추론"(추상적 세계 모델)과 "패턴 매칭"(얕은 연관성) 사이의 구분이 허구적 이분법일 수 있다고 주장한다. 저자들의 주장은 다음과 같다:

1. 인간의 추론은 맥락 의존적이다: 인간의 추론은 완전히 구성적이거나 추상적이지 않으며, 문제의 구체적인 내용과 맥락에 깊은 영향을 받는다. LLM에서 보이는 "실패 상태"는 지능의 결여가 아니라, 인간의 인지가 실제로 작동하는 방식을 반영하는 것이다.
2. 인지 과학을 위한 도구로서의 LLM: 인간과 달리 LLM은 내부 메커니즘의 인과적 조작이 가능하므로, 인간의 인지를 역공학(reverse-engineering)하기 위한 독특한 도구가 된다. LLM의 어텐션 헤드가 인간의 오류를 예측할 수 있다는 사실은, 인간 추론의 "무질서함"이 버그가 아니라 자연적이고 맥락이 풍부한 현실 문제를 처리하기 위해 진화한 특징임을 시사한다.
3. 유효한 메커니즘으로서의 패턴 매칭: 본 연구는 패턴 매칭이 단순한 임시방편이나 얕은 휴리스틱이 아니라, 생물학적 및 인공 신경망 모두가 문제를 해결하는 근본적인 방식이라고 상정한다. "표면적으로 무관해 보이는" 세부 사항을 추적하는 능력은, 경직된 추상 모델이 폐기할 수도 있는 구체적인 개체(예: 특정 종류의 음식이나 특정 도시)가 암묵적인 맥락 정보를 담고 있는 자연적 환경에서 적응적인 특성이 될 수 있다.

저자들은 일상적인 인과 시나리오에 대한 추론은, 인간과 LLM 모두에게 있어 순수하게 추상적이고 구조를 보존하는 세계 모델에 의해 구동되는 과정이라기보다, 프롬프트의 전체 내용에 매우 민감하게 반응하는 형태의 패턴 매칭이라고 결론짓는다.