Taming the Centaur(s) with LAPITHS: a framework for a theoretically grounded interpretation of AI performances

"라피스스로 켄타우로스(s)를 길들이다: AI 성능에 대한 이론적으로 근거된 해석을 위한 프레임워크"라는 제목의 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

이 논문은 현대 AI 및 인지과학의 중요한 방법론적 문제인"귀속 오류 (Ascription Fallacy)"를 다룹니다. 이 오류는 연구자들이 인간 수준의 행동적 성능 (출력 유사성) 과 인간과 유사한 계산적 메커니즘 (구조적/인지적 타당성) 을 혼동할 때 발생합니다.

저자들은 Binz 등 (2025) 이 제안한 최근의"통합 인지 모델 (Unified Model of Cognition)"인 Centaur에 초점을 맞춥니다. Centaur 는 160 개의 심리학 실험에서 수집된 1,000 만 개 이상의 인간 의사결정 데이터인 Psych-101데이터셋으로 학습된 파인튜닝된 대규모 언어 모델 (LLM, Llama 3.1 70B 기반) 입니다. 지지자들은 Centaur 가 인간의 행동을 예측할 뿐만 아니라 인지적으로 타당한 메커니즘을 구현하고 인간의 신경 활동 (fMRI) 과도 부합한다고 주장합니다.

저자들은 Centaur 의 성공이 **구조적 동질성 (기저 인지 메커니즘 공유)**보다는 **기능주의적 최적화 (입력 - 출력 통계 일치)**의 결과일 가능성이 높다고 논합니다. 그들은 높은 예측 정확도와 신경 상관관계가 반드시 해당 시스템이 인간과 유사한 인지를 보유하고 있음을 의미하지는 않는다고 주장합니다.

2. 방법론: LAPITHS 프레임워크

이러한 주장을 엄격하게 평가하기 위해 저자들은 LAPITHS(인간 유사성에 대한 이론에 근거한 패러다임 기반 해석을 통한 언어 모델 분석) 를 소개합니다. 이 프레임워크는 **최소 인지 그리드 (Minimal Cognitive Grid, MCG)**를 중심으로 이론적 분석과 경험적 재현을 결합합니다.

A. 최소 인지 그리드 (MCG)

MCG 는"인지적 타당성 ($PM$)"을 결정하기 위해 인공 시스템을 세 가지 정량적 차원에서 평가합니다.

1. 기능/구조 비율 (FSR):
   • 출력 일치와 같은 기능적 설계와 인지 이론 준수와 같은 구조적 설계 간의 균형을 측정합니다.
   • 작업 기억 한계, 점진적 학습, 모델 기반 계획 등 인지과학에서 도출된 일련의 구조적 제약 ($c_1...c_k$) 을 사용합니다.
   • 낮은 FSR 은 높은 구조적 타당성을, 높은 FSR 은 구조적 제약 없이 기능적 모방에 의존함을 나타내는 점수를 계산합니다.
2. 일반성 ($G_M$):
   • **Cattell–Horn–Carroll (CHC)**인지 능력 이론에 기반하여 다루어진 인지 영역의 폭을 평가합니다.
   • 유동적 추론, 정량적 지식, 시각 처리, 감각/운동 능력과 같은 영역에서의 성능을 평가합니다.
3. 성능 일치 ($P_{MM}$):
   • 특정 작업에서 인간 기준과 인공 시스템을 비교합니다.
     • 정확도: 인간의 음의 로그 가능도 (NLL) 에서의 편차.
     • 오류 패턴: 인간 오류 분포의 재현 (예: 모델 기반 대 모델 프리 전략).
     • 실행 시간: 인간의 반응 시간과의 일치 (LLM 의 경우 종종 사용 불가).

최종 **인지적 타당성 점수 ($PM$)**는 이러한 차원의 가중 합입니다 ($PM = \lambda \cdot FSR' + \mu \cdot G_M + \nu \cdot P_{MM}$).

B. 경험적 재현 전략

저자들은 모델 기반 대 모델 프리 전략을 테스트하는 데 사용되는 고전적인 강화 학습 패러다임인 **Two-Step Task (TST)**에 LAPITHS 를 적용했습니다.

1. 행동적 재현: 작업 규칙에 접근하기 위해 **검색 증강 생성 (RAG)**을 사용하는 표준 파인튜닝되지 않은 LLM 들이 TST 에서 Centaur 의 행동 적합성 (NLL) 을 재현할 수 있는지 테스트했습니다.
2. 신경적 재현: 특정 신경과학 파인튜닝 없이 이러한 RAG 기반 LLM 들이 인간 데이터와 상관관계를 보이는 fMRI 관심 영역 (ROI) 활성화 패턴을 생성할 수 있는지 테스트했습니다.

3. 주요 기여

• 이론적 프레임워크: 기능적 적절성과 인지적 타당성 간의 구분을 공식화하고"귀속 오류"를 정량화할 수 있는 지표 (MCG) 를 제공합니다.
• Centaur 에 대한 비판: 높은 행동적 정확도에도 불구하고 Centaur 가 인간의 인지 (특히 점진적 학습과 기억 한계와 관련하여) 의 주요 구조적 제약을 충족하지 못함을 보여줍니다.
• 경험적 도전:"최첨단"행동 및 신경 정렬이 Centaur 와 같은 특수 파인튜닝 모델에만 국한된 것이 아니라, 간단한 프롬프팅과 검색을 통해 범용 LLM 으로도 달성될 수 있음을 보여줍니다.

4. 주요 결과

A. Centaur 의 MCG 분석

• 구조적 실패: Centaur 는 기능/구조 비율에서 매우 낮은 점수 ($FSR' \approx 0.18$) 를 기록했습니다.
  • 점진적 학습을 구현하지 못했습니다 (온라인 업데이트가 아닌 배치 학습을 사용함).
  • 명시적으로 모델 기반 계획을 구현하지 못했습니다 (내부 전이 모델 없이 순전파를 통해 출력을 근사함).
  • 작업 기억 한계를 존중하지 못했습니다 (인간의 용량과 달리 컨텍스트 창이 무제한임).
• 높은 성능 일치: Centaur 는 인간의 선택과 일치하도록 명시적으로 학습되었기 때문에 높은 $P_{MM}$($0.83$) 을 달성했습니다.
• 전체적 타당성: 종합 점수는 낮았습니다 ($PM = 0.39$). 이는 Centaur 가 훌륭한 예측자이지만 나쁜 인지 모델임을 나타냅니다.

B. 행동적 재현 (NLL)

• RAG 대 파인튜닝: 작업 규칙에 접근하는 RAG 를 갖춘 여러 범용 LLM(Llama Maverick, GPT-4o, GPT-5.1 등) 이 Centaur 와 비교 가능한 NLL 점수를 달성했습니다.
• 통계적 유의성:
  • Llama Maverick (RAG): NLL $\approx 0.54$ 대 Centaur NLL $\approx 0.51$. 차이는 통계적으로 유의하지 않았습니다 ($p \approx 0.095$).
  • 다른 모델 (GPT-5.1, Gemini-2.5) 은 Centaur 와 비교해 통계적으로 유의미한 미미한 차이만 보였지만, 모두 Llama 3.1 기준 및 표준 인지 모델보다 유의하게 우수한 성능을 보였습니다.
• 결론: 이 작업에서 인간 수준의 행동 적합성을 달성하기 위해 특수 파인튜닝이 반드시 필요한 것은 아닙니다.

C. 신경 정렬 (fMRI)

• 학습 없이 높은 상관관계: RAG 기반 LLM(예: Gemini-2.5 Pro, Llama Maverick) 은 인간 fMRI 데이터와 매우 높은 상관관계를 보이는 ROI 벡터를 생성했습니다 (피어슨 $r \approx 0.93$, 코사인 유사도 $\approx 0.98$).
• Centaur 와 비교: 이러한 수치는 원래 연구에서 보고된 Centaur 의 최대 상관관계 ($r \approx 0.37$) 보다 훨씬 높았습니다.
• 시사점: 표현적 정렬이 높은 것은"신경"파인튜닝 없이도 작업 구조를 처리함으로써 범용 모델이 달성할 수 있습니다. 이는 표현적 유사성이 인지 메커니즘의 약한 지표임을 시사합니다.

5. 의의 및 결론

이 논문은 Centaur 와 같은 모델의 성과가 과도하게 해석되고 있다고 결론 내립니다.

• 행동적 적절성 $\neq$ 인지적 타당성: 높은 예측 정확도조차도 시스템이 인간과 유사한 인지 메커니즘을 구현한다는 것을 증명하지는 않습니다.
• 귀속의 위험: 출력 일치만을 기반으로 AI 시스템에 인지 이론을 귀속시키는 것은 AI 를 마음의 진정한 모델로 오인하게 만드는"귀속 오류"로 이어집니다.
• 미래 방향: 저자들은 순전히 성과 중심의 벤치마크에서 이론적으로 근거된 기준(MCG 와 같이 기억 한계, 학습 역학, 신체화 등 구조적 제약을 강제하는 기준) 으로 AI 평가의 전환을 옹호합니다.
• 최소 인지 핵심: 그들은 생물학적 인지의 구조적 제약을 존중하는 시스템 내에서 기능적 역할이 실현되도록 보장하는 미래 AI 를 위한"최소 인지 핵심 (Minimal Cognitive Core)"개발을 제안합니다.

요약하자면, 이 논문은 Centaur 가 강력한 행동 시뮬레이터이지만 인지 모델은 아니며, 유사한 성능은 덜 특화된 시스템으로도 달성할 수 있으므로"인지 정렬"주장은 이론적으로 불충분하게 결정되었다고 주장합니다.