Structural Ranking of the Cognitive Plausibility of Computational Models of Analogy and Metaphors with the Minimal Cognitive Grid

기술적 요약: 최소 인지 그리드를 통한 은유와 유추의 계산 모델에 대한 인지적 타당성의 구조적 순위

문제 제기
유추와 은유의 생성 및 해석은 인간의 의미 능력의 기초를 이룹니다. 이러한 능력을 모방하기 위해 수많은 계산 모델이 제안되었지만, 그 내부 메커니즘이 단순히 기능적으로 동등한 출력을 생성하는 것을 넘어 인간 인지 과정과 얼마나 부합하는지를 평가하는 체계적이고 정량적인 프레임워크는 부족합니다. 현재의 인공지능 시스템, 특히 대규모 언어 모델 (LLM) 은 유추 과제에서 높은 성과를 거두지만, 인간 인지와는 근본적으로 다른 메커니즘 (예: 통계적 패턴 인식) 을 통해 작동합니다. 본 논문은 "기능적" 인공물 (출력을 모방) 과 "구조적" 모델 (내부 인지 메커니즘을 모방) 을 구분하는 표준화된 측정 기준의 필요성을 다루며, 이를 통해 인지과학에서의 설명력을 평가합니다.

방법론: 최소 인지 그리드 (MCG)
저자들은 Lieto(2021) 가 제안한 프레임워크인 최소 인지 그리드 (MCG) 를 활용하여 생물학적 또는 인지적 대상에 대한 구조적 정확도에 따라 인공 시스템을 순위화하기 위해 이를 공식적으로 조작화합니다. 이 방법론은 세 가지 명확한 차원에 걸친 정량적 평가를 포함합니다:

1. 기능/구조 비율 (FSR): 이 차원은 출력 일치 (기능적 복제) 와 메커니즘 일치 (구조적 구현) 간의 균형을 평가합니다. 저자들은 두 가지 주요 인지 이론에서 도출된 구조적 제약 조건 집합에 기반한 $FSRM$이라는 측정 기준을 정의합니다:

   • 구조 매핑 이론 (SMT): 제약 조건에는 일대일 매핑, 병렬 연결성, 체계성 (상호 연결된 관계적 구조에 대한 선호), 그리고 추론적 투사가 포함됩니다.
   • 은유의 범주화 이론 (CTM): 제약 조건에는 범주화 (은유를 클래스 포함 진술로 해석) 와 속성 선택 (주요 특징의 전이) 이 포함됩니다.
     모델들은 이러한 메커니즘을 구조적으로 구현하는지 ($s_i=1$) 아니면 단순히 기능적으로만 구현하는지 ($s_i=0$) 에 따라 점수가 매겨지며, 각 제약 조건의 이론적 중요도에 따라 가중치가 부여됩니다.

2. 일반성 (GM): 이 차원은 인간 인지 능력의 Cattell-Horn-Carroll(CHC) 분류에 기반하여 모델이 시뮬레이션할 수 있는 인지 기능의 폭을 평가합니다. 저자들은 정량적 지식, 유동적 추론, 시각 처리, 언어/언어 지식, 그리고 감각/운동 능력이라는 다섯 가지 영역에서 모델을 평가합니다. 점수는 완전 커버리지 (1), 부분 커버리지 (0.5), 부재 (0) 에 따라 부여되며, 구체화된 인지에서 감각/운동 능력의 중요성을 강조하는 특정 가중치 체계가 적용됩니다.

3. 성능 일치 (PMM): 이 차원은 정확도뿐만 아니라 오류 패턴과 반응 시간도 고려하여 모델 행동과 인간 행동 간의 정렬을 정량화합니다. 점수는 다음 요소들의 가중 합입니다:

   • 정확도 델타: 인간 기준 성능에서의 편차.
   • 오류 패턴: 모델이 인간 오류의 분포 (예: 동일한 어려운 항목에서 실패) 를 복제하는지 여부.
   • 반응 시간: 인간 반응 시간과 비교한 실행 지연 시간의 유사성.

주요 기여

• 공식적 조작화: 본 논문은 MCG 의 엄격한 수학적 조작화를 제공하여 질적 이론적 구분을 정량적 점수 ($FSRM$, $GM$, $PMM$) 로 변환함으로써 다양한 AI 아키텍처 간의 직접적인 비교를 가능하게 합니다.
• 통합 인지적 타당성 지표 (CPM): 저자들은 세 가지 차원을 통합하는 복합 점수 $CPM = \lambda \cdot FSR'_M + \mu \cdot GM + \nu \cdot PMM$을 도입합니다. 그들은 인지과학에서의 설명력이 주로 내부 메커니즘과 인간 이론의 정렬에 달려 있다고 주장하며, 구조적 충실도를 우선시하는 가중치 체계 ($\lambda=0.5, \mu=0.25, \nu=0.25$) 를 제안합니다.
• 체계적 비교 분석: 이 프레임워크는 네 가지 다른 클래스의 시스템에 적용됩니다:
  • SME(구조 매핑 엔진) 및 CogSketch: SMT 기반의 상징적 시스템.
  • METCL: CTM 기반의 은유 생성을 위한 논리 기반 모델.
  • LLM: GPT-3.5, GPT-4, GPT-4o 포함.

결과
평가 결과 각 시스템마다 뚜렷한 프로필이 도출되었습니다:

• SME 와 CogSketch: 명시적인 SMT 제약 조건 (일대일 매핑, 체계성) 의 구현으로 인해 가장 높은 구조적 점수 ($FSR'_M \approx 0.606$) 를 달성합니다. 또한 레빈의 점진적 행렬 과제에서 인간 정확도와 오류 패턴을 복제하여 가장 높은 성능 일치 ($PMM \approx 0.923$) 를 보입니다. 그러나 정량적 추론, 언어 처리, 감각 - 운동 작업 능력이 부족하여 일반성 점수는 매우 낮습니다 ($GM \approx 0.063–0.125$).
• METCL: 중간 위치를 차지합니다. CTM 제약 조건 (범주화, 속성 선택) 을 구현함으로써 구조적 충실도에서 중간 점수 ($FSR'_M \approx 0.407$) 를 받지만, SMT 기반의 구조적 제약은 부족합니다. 일반성은 제한적이며 ($GM \approx 0.125$), 성능 일치는 중간 수준입니다 ($PMM \approx 0.714$).
• LLM: 정량적, 유동적, 시각적, 언어적 영역을 포괄하여 가장 높은 일반성 ($GM \approx 0.500–0.800$) 을 보입니다. 그러나 체계성이나 일대일 매핑과 같은 SMT 제약 조건을 메커니즘적 의미로 구현하지 못해 구조적 충실도는 매우 낮습니다 ($FSR'_M \approx 0.109$). 성능 일치는 혼합된 양상을 보입니다 ($PMM \approx 0.578$); 종종 높은 정확도를 보이지만 인간이 성공하는 방해 요소가 풍부한 과제에서 실패하는 등 오류 패턴이 상이하고, 시간적 정렬 데이터가 부족합니다.

제안된 비동등 가중치 체계 (구조적 타당성 우선) 하에서 CogSketch와 SME가 전체적인 인지적 타당성에서 최상위 순위를 차지합니다. 동등 가중치 체계 하에서는 LLM이 뛰어난 일반성으로 인해 METCL 을 앞지르며, 이는 인지적으로 영감을 받은 제약 조건이 부재한 LLM 의 특성상 저자들이 "역설적"이라고 묘사하는 결과입니다.

의의 및 주장
본 논문은 MCG 가 기능적 출력뿐만 아니라 생물학적 또는 인지적 타당성에 기반한 AI 시스템의 일반화 가능하고 재현 가능한 비교를 위한 "청사진"을 제공한다고 주장합니다.

• 설명력: 저자들은 기능/구조 비율이 인지과학에서 결정적인 차원이라고 주장합니다. 이는 모델의 성공이 통계적 일반화가 아닌 관계적 매핑과 같은 현상과 관련된 메커니즘에 기반하는지 평가하기 때문입니다.
• 행동주의와의 차별화: 이 프레임워크는 인간과 유사하지 않은 내부 과정을 통해 인간 수준의 성능을 달성하는 시스템을 처벌함으로써 "재부활한 행동주의"를 피하는 것을 목표로 합니다.
• 확장성: 이 방법론은 상징적, 준상징적, 하이브리드 아키텍처 전반에 걸쳐 공통 측정 언어를 제공하는 현재 및 미래 AI 세대를 평가하기 위한 확장 가능한 도구로 제시됩니다.
• 한계: 저자들은 benchmark 데이터의 불균등한 가용성 (SME/CogSketch 보다 LLM 이 더 많은 데이터셋에서 테스트됨), 일부 시스템의 반응 시간 데이터 부재, 그리고 제약 가중치가 현재 데이터 기반 유도보다는 이론적 관련성에 기반한다는 점을 겸손하게 인정합니다. 향후 연구는 데이터셋을 확장하고 가중치 체계를 정제하여 프레임워크의 일반화 가능성을 더욱 확장하는 데 초점을 맞춰야 한다고 제안합니다.