기술 요약: LLM과 인간의 표상 모드

문제 정의

본 논문은 대규모 언어 모델(LLM)의 인지적 기초에 관한 양극단의 논쟁을 다룬다. 한 관점은 LLM을 범용 인공지능(GAI)을 향한 돌파구로 보는 반면, 반대 관점은 LLM을 단순히 훈련 데이터를 재현하는 "확률적 앵무새(stochastic parrots)"로 치부한다. 핵심 과제는 이러한 극단론을 넘어, LLM과 인간이 정보를 처리하고 지식을 표상하는 방식을 실증적으로 비교하는 것이다. 구체적으로, 본 논문은 LLM이 인간 수준의 성능을 달acia 유사한 인지 메커니즘을 통해 달성하는지, 아니면 별개의, 잠재적으로 피상적인 처리 전략을 통해 달성하는지를 조사한다. 이 탐구는 두 가지 주요 영역, 즉 언어적 지식의 표상과 현실 세계의 추론/계획에 초점을 맞춘다.

방법론

본 논문은 6가지 특정 과업을 통해 최근의 실험 연구를 종합하여, 인간의 수행 능력과 다양한 LLM 아키텍처(RNN, Transformer, 시각-언어 모델 포함)를 비교한다. 방법론은 다음과 같다:

1. 문장 수용성 평가 (Sentence Acceptability Ratings):

   • 인간 기준선 (Human Baseline): 중립적, 관련 있는, 또는 관련 없는 텍스트 맥락 내에서 문법적/비문법적 문장에 대한 크라우드 소싱 기반의 평점 활용 (Lau et al., 2017; 2020).
   • 시각적 맥락 확장: 이를 GPT-5 생성 이미지를 사용한 시각적 맥락으로 확장하여(관련 있음 vs 관련 없음), 인간 평가자와 VLM(ChatGPT-4o, InternVL3, Qwen2.5, LLaVA-1.5 등)을 모두 테스트함 (Jang et al., 2026).
   • 지표: 모델 출력값(logprobs 또는 생성된 점수)과 인간의 평점 사이의 Spearman 및 Pearson 상관계수.

2. 계층적 통사 구조 (주어-동사 일치):

   • 과업: 증가하는 수의 방해 명사구(NP)와 변화하는 임베딩 깊이가 있는 문장에서 주어-동사 일치를 식별하는 능력을 평가함.
   • 모델: 제로샷(zero-shot), 퓨샷(few-shot, 2-shot, 8-shot), 프롬프트 조건 하에서 LSTM, GRU, CNN, Transformer(GPT-2, RoBERTa, Chinchilla)를 테스트함 (Linzen et al., 2016; Bernardy & Lappin, 2017; Lakretz et al., 2022; Lampinen, 2024).

3. 서사 생성 (Narrative Generation):

   • 과업: 영화 이미지 시퀀스를 기반으로 이야기 생성.
   • 지표: 담화 일관성(상호 참조 연속성, 암시적 담화 관계, 주제 변화, 캐릭터 지속성, 시각적 접지)에 대한 5가지 정량적 지표를 산술 및 기하 평균 서사 일관성 점수(NCS)로 집계함.
   • 퍼플렉서티(Perplexity) 분석: 인간이 생성한 이야기와 모델이 생성한 이야기, 그리고 온라인에서 스크래핑된 텍스트 간의 퍼플렉서티를 비교함 (Ilinykh et al., 2026).

4. 추론 및 계획 (Reasoning and Planning):

   • 자연어 추론 (NLI): 도메인 내(in-domain) 및 도메인 외(out-of-domain, 하위 도메인 변화) 추론 과업에 대해 미세 조정된 트랜스포머와 프롬프트 기반 LLM을 테스트하여 인간 전문가와 비교함 (Talman et al., 2019; 2021; Sadat & Caragea, 2024).
   • 복합 이미지 해석: 텍스트 설명 유무에 따른 신경학적 이미지(CT/MRI) 진단 정확도를 평가하며, 모델(예: Claude 3.5, OpenAI 04-mini-high)을 인간 의료 전문가와 비교함 (Albaqshi et al., 2025; Zhou et al., 2026).
   • 계획: 일반화 능력을 테스트하기 위해 재구성된 자연어 명세가 포함된 NP-난해(NP-hard) 최적화 문제(그래프 채색, 외판원 문제, 배낭 문제)에 대한 성능을 평가하며, LLM을 그리디 휴리스틱(greedy heuristics) 및 심볼릭 솔버(symbolic solvers)와 비교함 (Duchnowski et al., 2025).

주요 기여 및 결과

1. 언어적 지식 표상

• 수용성과 맥락: LLM은 인간의 수용성 평점과 높은 상관관계를 보이지만, 인간에게는 나타나지 않는 시각적 맥락에서의 "압축 효과(compression effect)"를 보인다. 인간은 문장 수용성을 판단할 때 관련 없는 시각적 맥락을 걸러내지만, VLM은 이미지를 확장된 맥락의 일부로 유지하여 처리에 영향을 미친다. 이는 모달리티 필터링에서의 근본적인 차이를 시사한다.
• 통사적 계층 구조: 인간은 메모리 제한으로 인해 방해 요소의 수와 임베딩 깊이가 증가함에 따라 일치 과업에서 어려움을 겪는다. 반면, LLM(특히 프롬프팅을 사용한 경우)은 이러한 과업에서 종종 인간의 성능을 능가한다. 논문은 이를 LLM이 정보에 대한 완벽한 접근성을 가진 거대한 컨텍스트 벡터를 유지할 수 있는 능력 덕분으로 보며, 인간은 필터링과 억제에 의존한다는 점을 대조한다.
• 서사 일관성: 인간의 서사는 일관되게 더 높은 통합 일관성 점수와 더 높은 퍼플렉서티(놀라움/surprisal)를 달성한다. LLM은 유창한 텍스트를 생성하지만, 인간의 담화에서 발견되는 독창성과 깊은 응집력이 부족하며, 종종 장황하고 결합적인 묘사 위주의 서사를 생성한다.

2. 추론 및 계획

• 추론 (NLI): LLM은 도메인 내 NLI 과업에서는 잘 수행하지만, 도메인 외 테스트에서는 상당한 성능 저하를 보인다. 적대적 테스트 결과, 심층적인 어휘 의미론적 추론보다는 표면적 패턴 매칭에 의존함이 드러났다. 도메인 특화 미세 조정을 거치더라도, LLM은 다양한 지식 영역을 가로지르는 일반화 측면에서 인간 전문가에 뒤처진다.
• 이미지 해석: 모델들은 의료 이미지에서 높은 진단 정확도를 달성하기도 하지만, 이러한 성공은 시각적 분석보다는 증상에 대한 텍스트 설명에 의해 주도된다. 이미지가 제거되어도 성능은 통계적으로 유사하게 유지되며, 오류 분석 결과 이미지 식별이 아닌 진단적 추론에서의 실패가 나타난다.
• 계획: 재구성된 명세(도메인 외)가 주어진 NP-난해 최적화 문제에서 LLM의 정확도는 복잡성이 증가함에 따라 급격히 하락한다. 이들은 일반적으로 심볼릭 솔버(ILP)나 그리디 휴리스틱보다 성능이 낮으며, 이는 강력한 일반 추론 능력의 부재를 나타낸다.

의의 및 주장

본 논문은 실험적 증거가 두 극단적인 견해를 모두 반박한다고 주장한다. 즉, LLM은 복잡한 과업을 수행할 수 없는 "확률적 앵무새"도 아니며, 그렇다고 범용 지능의 대리인도 아니다.

• 구별되는 메커니즘: LLM은 인상적인 유창성을 보여주며 특정 언어 과업(예: 복잡한 구조에서의 일치)에서 종서 인간을 능가하기도 하지만, 인간의 인지와는 구별되는 메커니즘을 통해 이를 수행한다. 이들은 제한된 메모리를 관리하기 위해 인간이 사용하는 정교한 필터링 및 억제 메커니즘 대신, 강력한 패턴 인식과 광범위한 컨텍스트 유지를 활용한다.
• 형식적 역량 vs 기능적 역량: 결과는 "형식적 언어 역량"(순수 언어 구조 처리)과 "기능적 언어 역량"(현실 세계의 추론 및 계획) 사이의 구분을 지지한다. LLM은 전자에 탁월하지만, 후자, 특히 훈련 분포를 넘어서는 일반화가 필요한 과업에서는 고전한다.
• 추론의 한 한계: 논문은 LLM이 깊이 있는 도메인 일반적 추론 능력이 부족하다고 결론짓는다. 추론 및 계획에서의 성공은 주로 특정 도메인 내에서의 미세 조정이나 퓨샷 프롬프팅에 의존한다. 도메인 외 변형이나 복잡한 최적화 문제에 직면했을 때, 이들은 논리적 연역이 아닌 패턴 매칭으로 회귀한다.

본 논문은 향 향후 연구가 인간의 언어 행동과 더 잘 수렴하도록 LLM의 훈련과 처리를 제약하고, 서사 일관성과 놀라움(surprisal)을 개선하도록 설계를 수정하며, 추론을 위한 도메인 전이 능력을 높이기 위해 퓨샷 훈련을 강화하는 데 집중해야 한다고 제언한다. 이러한 노력은 AI의 유용성을 높일 뿐만 아니라, 인간의 언어 습득과 표상의 본질을 밝히는 데에도 기여할 것이다.