기술적 요약: 이해 없는 수렴

문제 제기

**플라톤적 표현 가설 (PRH)**은 다양한 목적과 아키텍처로 훈련된 대규모 언어 모델 (LLM) 이 현실에 대한 공유된 통계적 모델로 수렴하며, 규모가 커질수록 내부 표현이 점점 더 유사해진다고 주장합니다. 중심 커널 정렬 (CKA) 과 같은 집계 유사도 지표를 사용하여 표현 수렴에 대한 실증적 증거가 존재하지만, 이러한 수렴이 이러한 표현 위에서 작동하는 추론 과정까지 확장되는지는 아직 검증되지 않았습니다. 기존 유사도 지표는 종종 모델이 표현을 어떻게 사용하는지에 대한 조건을 고려하지 않아, 공유된 입력 처리 제약과 공유된 추론 전략을 혼동할 가능성이 있습니다. 본 논문은 "이해 없는 수렴" 현상, 즉 모델이 표현에는 동의하지만 예측으로 이어지는 인과적 추론에는 이견을 보이는지 여부를 조사합니다.

방법론

이 연구는 수학 (GSM8K), 과학 (ARC-Challenge), 진실성 (TruthfulQA), 그리고 상식 (HellaSwag) 의 네 가지 도메인에 걸쳐 800 개의 추론 문제에 대해 8 가지 아키텍처 계열 (15 억에서 720 억 파라미터까지) 에 걸친 16 개의 지시 튜닝 언어 모델을 평가합니다.

이 방법론은 이전에 함께 검토되지 않았던 세 가지 축을 따라 계층화된 분석을 수행합니다:

1. 문제 난이도: 문제를 모델을 통해 해결된 비율에 따라 계층화 (어려움: 14 개 중 04 개 정답; 중간: 59 개; 쉬움: 10~14 개).
2. 계산 단계: 모델 계층을 결정 전 (입력 인코딩) 과 결정 후 (출력 생성) 단계로 분리하며, 이는 정확도 프로브가 처음으로 우연 이상의 정확도를 초과하는 계층으로 정의됩니다.
3. 인과적 관련성: 단순히 공유된 표현에 인코딩된 정보와 예측을 인과적으로 주도하는 정보를 구분합니다.

주요 지표 및 기법:

• 중심 커널 정렬 (CKA): 마지막 입력 토큰의 평균 중심 활성화에 대해 계산된 선형 표현 유사도의 주요 지표.
• 상호 최근접 이웃 (MNN): CKA 결과를 검증하기 위한 위상학적 보완 수단으로 사용.
• 전이 프로브 (Transfer Probes): 한 모델의 표현으로 훈련되어 정확도를 예측하는 선형 프로브를 다른 모델에서 평가하여 정보의 전이 가능성을 테스트.
• 인과적 제거 (Causal Ablation): 정확도 예측 하위 공간에 수직인 보완 공간으로 활성화 투영을 수행하여 "반전률" (예측 변경) 을 측정.
• 어텐션 엔트로피: 수렴 패턴의 메커니즘을 설명하기 위해 어텐션 가중치의 섀넌 엔트로피 분석.

주요 기여 및 결과

1. 난이도 역전

현실을 성공적으로 표현하는 곳에서 최대 수렴을 예측하는 PRH 와는 대조적으로, 이 연구는 난이도 역전을 발견합니다: 모델들은 집단적으로 실패하는 문제에서 성공하는 문제보다 표현적으로 더 유사합니다.

• 어려운 문제 (0~4 개 정답): 평균 CKA = 0.897.
• 쉬운 문제 (10~14 개 정답): 평균 CKA = 0.830.
• 메커니즘: 이 역전은 어텐션 엔트로피에 의해 주도됩니다. 어려운 문제는 표현을 아키텍처 전반에 걸쳐 동질화하는 확산적이고 고엔트로피인 어텐션 패턴을 유발하는 반면, 해결 가능한 문제는 집중적이고 모델 고유의 전략을 허용합니다.
• 도메인 특수성: 이 역전은 과학, 진실성, 상식 추론에서는 유지되지만, 알고리즘적 제약이 성공적인 모델을 유사한 전략으로 강제하는 수학 (GSM8K) 에서는 역전됩니다.

2. 생성 간극

표현 수렴은 주로 입력 인코딩의 속성이지 출력 계산의 속성이 아닙니다.

• 결정 전 계층: 높은 수렴 (CKA = 0.875).
• 결정 후 계층: 상당한 발산 (CKA = 0.274).
• 함의: 모델들은 입력을 인코딩하는 방식에는 동의하지만, 출력을 생성하는 방식에는 근본적으로 이견을 가집니다. 이는 모델 스티칭이 초기 계층에서는 성공하지만 후기 계층에서는 저하되는 이유를 설명합니다.

3. 부수적 정확성

공유된 표현은 작업 관련 정보를 인코딩하지만, 예측을 위해 이를 인과적으로 배치하지는 않습니다.

• 전이 정확도: 한 모델에서 훈련된 프로브가 다른 모델에서 **66%**의 정확도를 달성하여 공유된 인코딩을 확인합니다.
• 인과적 반전률: 공유된 정확도 하위 공간을 제거해도 예측의 **1.5%**만 변경됩니다 (쉬운 하위 집합에서는 5.5% 로 상승).
• 결론: 정확성 정보는 공유된 표현 공간에 존재하지만 실제 추론 과정에는 대부분 부수적입니다.

4. 기준선 및 메커니즘

• 아키텍처 대 학습: 무작위 초기화 (미훈련) 된 모델은 훈련된 모델 (0.612) 보다 더 높은 CKA (0.864) 를 보여주며, 관측된 수렴의 상당 부분이 학습된 것이 아니라 아키텍처적임을 시사합니다. 훈련은 적극적으로 표현을 차별화합니다.
• 베이스 모델: 난이도 역전은 지시 튜닝이 아닌 베이스 모델에서 더 강력하여, 정렬 훈련이 그 원천이 아님을 배제합니다.
• 헤드 수준 인과성: 전역적 제거는 낮은 반전률을 보이지만, 개별 어텐션 헤드 제거는 더 높은 인과적 중요성 (MHA 모델에서 최대 63%) 을 드러내어, 전역 CKA 가 계산 세분성에서의 아키텍처적 차이를 가리고 있음을 시사합니다.

중요성 및 주장

이 논문은 LLM 의 표현 수렴이 공유된 추론 전략이 아니라 공유된 입력 처리 제약(자연어 통계 및 트랜스포머 유도 편향에 의해 주도됨) 을 반영한다고 주장합니다.

• PRH 재해석: PRH 는 지각적 표현 (입력 인코딩) 의 수렴을 올바르게 식별하지만, 계산 과정 (추론 및 출력 생성) 의 발산을 설명하지 못합니다. 학습은 공유된 아키텍처적 출발점에서 모델을 적극적으로 차별화합니다.
• 앙상블 설계: 표현적 비유사성 (낮은 CKA) 을 기준으로 앙상블을 위한 모델을 선택하는 것은 최적이지 않습니다. 모델들은 해결하는 문제 (CKA 가 낮음) 에서 행동적으로 가장 다양하고, 실패하는 문제 (CKA 가 높음) 에서 가장 중복적이므로, 앙상블은 추론 다양성과 출력 수준 행동 다양성을 목표로 해야 합니다.
• 해석 가능성 전이: 입력 처리 (예: 유도 헤드) 에 관한 기계적 해석 가능성 발견은 높은 결정 전 CKA 로 인해 아키텍처 전반에 걸쳐 일반화될 가능성이 높습니다. 그러나 후기 계층의 추론 회로에 관한 발견은 생성 간극과 아키텍처 의존성 (예: 전역 CKA 에 보이지 않는 MHA 대 GQA 차이) 으로 인해 전이되지 않을 가능성이 높습니다.
• 안전성 함의: 모델 수렴이 진실된 표현으로의 수렴을 의미한다는 가정은 지지되지 않습니다. 수렴은 공유된 진실이 아니라 공유된 실패 모드를 반영할 수 있으므로, 신뢰성의 대리 지표로서 표현 유사성에 의존하는 안전성 평가에는 주의가 필요합니다.

이 연구는 다양한 언어 모델이 입력에 대한 공유된 지각적 표현으로 수렴하지만, 추론을 위한 인지적 과정은 발산된 채 유지한다고 결론지으며, 높은 표현 유사성이 공유된 이해를 의미한다는 개념에 도전합니다.