기술 요약: 두 언어 모델은 어떻게 유사하게 생각하는가?

문제 정의

대규모 언어 모델(LLM)을 비교하는 전통적인 방법들은 두 모델이 유사한 표현 공간을 공유하는지 결정하기 위해 기하학적 유사도 지표(예: 표현 유사도 분석(RSA), 정준 상관 분석(CCA), 또는 선형 회귀)에 의존한다. 이러한 방법들은 모델들이 유사하다는 사실을 확인할 수는 있지만, '왜' 유사한지에 대해서는 설명하지 못하는 "블랙박스"로 작용한다. 구체적으로, 이들은 유사성이 공유된 명시적 언어 전략(예: 동일한 통사 구조의 인코딩)에서 기인하는지, 아니면 표면적인 어휘적 편향에서 기인하는지를 구분할 수 없다.

본 논문은 구현 방식(아키텍처 및 학습)이 다르더라도 언어 모델이 마(Marr)의 계층 구조 중 알고리즘 수준(표현 및 연산 단계)에서 수렴하는지 여부를 다룬다. 본 연구는 단순한 기하학적 구조를 넘어, 어떤 특정 언어적 특징이 모델 간의 유사성과 차이점을 유도하는지 식별하고자 하며, 이를 통해 특징 기반의 해석 가능성으로 나아가고자 한다.

방법론: 언어적 시그니처 유사성 (Linguistic Signature Similarity)

저자들은 신경 활동을 해석 가능한 언어적 특징에 매핑하기 위해 **메트릭 학습 인코딩 모델(Metric-Learning Encoding Models, MLEM)**을 사용하는 새로운 접근 방식을 제안한다.

1. 메트릭 학습 인코딩 모델 (MLEM):

   • MLEM은 신경 활동으로부터 특징을 예측(디코딩)하거나 개별 뉴런에 단변량 인코딩 모델을 적합시키는 대신, 해석 가능한 자극 특징(예: 시제, 주어 수, 관계절 유형) 집합에 대한 거리 함수를 학습한다.
   • 이 모델은 개별 특징과 그 상호작용에 가중치를 부여하는 대칭 양의 정부호 행렬 $W$를 학습한다.
   • 목표는 신경 임베딩의 쌍별 거리($D_N$)와 $W$에 의해 가중치가 부여된 특징 벡터의 쌍별 거리($D_F$) 사이의 스피어먼 상관계수를 최대화하는 것이다. 이는 절대적인 척도보다는 상대적인 자극의 위상(topology)을 보존한다.

2. 언어적 시그니처 (특징 중요도 프로필):

   • 각 언어 모델의 레이어에 대해 저자들은 **특징 중요도(Feature Importances, FIs)**를 계산한다. 이는 특정 특징의 거리 행렬을 무작위로 치환했을 때 MLEM의 스피어먼 상관계수 점수가 감소하는 평균 정도를 의미한다.
   • 이 FI 벡터는 해당 레이어의 언어적 시그니처를 구성하며, 각 레이어가 신경 거리의 조직화를 유도하는 데 있어 각 언어적 특징이 얼마나 기여하는지를 정량화한다.
   • 모델의 전체 시그니처는 이러한 레이어별 FI들의 프로필로 정의된다.

3. 유사도 측정:

   • 레이어 수준: 두 특정 레이어의 시그니처는 유클리드 거리(L2)를 사용하여 비교된다.
   • 모델 수준: 레이어 수가 다른 전체 모델을 비교하기 위해, 저자들은 **다차원 동적 시간 워핑(Multi-dimensional Dynamic Time Warping, DTW)**을 사용한다. 이는 특징 중요도 프로필을 깊이 축을 따라 정렬하여, 레이어 수나 특징 출현 시점이 다른 모델 간의 비교를 가능하게 한다.
   • 예측 모델링: 생성된 모델 수준의 유사도 행렬에 두 번째 MLEM을 학습시켜, 어떤 모델 속성(예: 아키텍처, 규모, 출시 날짜)이 언어적 시그니처 유사성을 가장 잘 예측하는지 결정한다.

실험 설정

• 모델: 10개 제품군, 43개의 자기회귀 언어 모델 (1억 개에서 140억 개의 파라미터 범위 포함).
• 아키텍처: 디코더 트랜스포머(예: GPT-2, Llama-3.2, OLMo-2), 상태 공간 모델(SSM, 예: Mamba, Mamba-2), 그리고 순환 신경망(RNN, 예: RWKV-7).
• 데이터셋: 12가지 언어적 특징(통사적 속성, 부착 위치, 어휘 빈도 포함) 간의 상관관계를 완화하기 위해 균형 잡힌 문맥 자유 문법(관계절 데이터셋)을 통해 생성된 7.7k개의 합성 문장 데이터셋.
• 평가: 모든 모델의 마지막 토큰의 은닉 상태(hidden states)를 추출하였다.

주요 결과

1. 레이어별 역학 (Layer-wise Dynamics)

• 인코딩 성능: MLEM 성능(스피어먼 상관계수)은 모델 전반에 걸쳐 일관된 프로필을 따른다: 얕은 층과 깊은 층에서는 낮고, 중간 층(0.5~0.7)에서 정점을 찍는다. 이는 통사적 정보가 주로 중간 층에서 처리된다는 기존의 연구 결과와 일치한다.
• 특징 진화: 통사적 특징(관계절 유형, 부착 위치)은 중간 층에서 최고 중요도를 보인다.
• 패밀리 궤적: 동일한 제품군 내의 모델들은 언어적 시그니처의 공유 PCA 공간 내에서 매우 유사한 궤적을 그리며, 이는 파라미터 수와 깊이가 크게 다르더라도 마찬가지이다. 일부 모델 패밀리는 최종 레이어가 초기 레이어의 시그니처 근처로 돌아오는 "루프 형태"의 궤적을 보이는데, 이는 다음 토큰 예측 목적 함수에 의해 부과된 제약을 반영할 가능성이 있다.

2. 모델 유사성의 동인 (Drivers of Model Similarity)

• 주요 동인: 모델 언어적 시그니처 간의 유사성은 출시 날짜와 모델 패밀리에 의해 가장 강력하게 주도된다.
  • 출시 날짜는 아키텍처, 정규화, 위치 인코딩, 학습 데이터의 상관된 변화를 요약하는 일반적인 LLM 발전의 대리 지표 역할을 한다.
  • 모델 패밀리는 언어적 시그니처가 규모뿐만 아니라 특정 아키텍처 계보에 의해 형성됨을 나타낸다.
• 이차적/미미한 동인: 파라미터 수, 학습 토큰 수, 그리고 깊이는 적은 기여를 한다.
• 아키텍처 클래스: 모델 패밀리와 출시 날짜를 고려하면, 광범위한 아키텍처 클래스(Transformer vs. SSM vs. RNN)는 유사성을 설명하는 데 거의 기여하지 않는다.

3. 수렴 vs. 발산 (Convergence vs. Divergence)

• 결과는 플라톤적 표현 가설(Platonic Representation Hypothesis)의 부분적 버전을 지지한다. 서로 다른 아키텍처가 표현 프로필을 공유할 수는 있지만, 규모가 커짐에 따라 단일한 종착점으로 붕괴되지는 않는다. 대신, 수렴은 모델 패밀리와 세대에 의해 구조화된다.
• 특징 수준의 분석은 유사한 시그니처가 실제 신경 공간 조직(주요 특징을 통해 검증됨, 다차원 척도법 활용)과 대응하는 반면, 서로 다른 시그니처는 뚜렷한 클러스터링 패턴을 보임을 확인하여 이를 뒷받침한다.

의의 및 주장

본 논문은 이론적으로 동기화된 상징적 기술을 신경 표현에 직접 연결하는 방법을 제공한다고 주장한다. 원시 기하학적 비교에서 특징 기반의 유사성으로 전환함으로써, 다음과 같은 성과를 거두었다:

1. 정렬 설명: 모델들이 유사하다는 사실을 말하는 것을 넘어, 왜 유사한지(즉, 어떤 언어적 변수를 우선시하는지)를 설명한다.
2. 규모/아키텍처 우선순위에 대한 도전: 언어 모델이 언어 처리를 해결하는 "방식"은 규모나 특정 아키텍처 클래스보다 모델 패밀리와 세대(출시 날짜)에 의해 더 많이 형성된다는 점을 시사한다.
3. 일반화 가능성: 저자들은 이 특징 기반 비교 프레임워크가 자극을 명시적인 이론적 특징과 쌍을 이룰 수 있는 경우, 다른 도메인(음성, 시각) 및 다른 신경계(생물학적 뇌)로 확장될 수 있다고 상정한다.

본 연구는 해석 가능성 문제를 완전히 해결한다고 주장하는 것이 아니라, 서로 다른 신경 시스템 간의 "언어적 우선순위"를 비교할 수 있는 구체적이고 해석 가능한 메트릭을 제시한다.