기술 요약: 인간 지각 영역의 기하학이 LLM 표현에서 일시적으로 나타남

문제 제기

대규모 언어 모델 (LLM) 은 오직 텍스트 데이터만으로 훈련되지만, 이전 연구에 따르면 이들의 내부 임베딩 공간은 요일과 같은 개념적 영역에 대응하는 풍부한 기하학적 구조 (예: 요일을 위한 순환 매니폴드 또는 시간을 위한 1 차원 매니폴드) 를 나타내는 것으로 확인되었습니다. 그러나 직접적인 감각적 기반이 부재한 이러한 모델이 색상, 음고, 맛, 감정과 같은 감각 및 정서적 양식 전반에 걸쳐 인간의 지각 조직과 일치하는 내부 표현을 발달시키는지 여부는 여전히 불분명합니다. 또한 기존 연구는 주로 모델 출력이나 작업별 프로빙에 초점을 맞추어 왔기 때문에, 트랜스포머 아키텍처의 중간 계층을 가로질러 이러한 지각 구조가 어떻게 그리고 어디서 나타나고 진화하는지에 대한 이해에는 공백이 존재합니다.

방법론

저자들은 추가적인 훈련이나 프로빙 없이 지각 기하학의 발생을 조사하기 위해 완전히 내재적인 계층별 분석 프레임워크를 제안합니다.

1. 자극 및 추출: 특정 색상, 감정, 음고 주파수, 맛 화합물과 같은 자극 집합을 최소한의 구조화된 프롬프트를 사용하여 사전 훈련된 트랜스포머 모델 (LLaMA-3, Qwen, Gemma 변형 포함) 에 처리하여 각 계층 $l$ 에서 숨겨진 상태 활성화 ($h_i^{(l)}$) 를 추출합니다.
2. 기하학적 구성:
   • 비유사성 계산: 임베딩 간의 쌍별 코사인 비유사성을 계산하여 비유사성 행렬 $D$ 를 형성하고, 규모에 불변인 채로 방향성 구조를 분리합니다.
   • 차원 축소: $D$ 에 다차원 척도법 (MDS) 을 적용하여 쌍별 비유사성을 보존하는 저차원 (2 차원) 기하학적 지도를 생성하여 각 계층별 "Qualia(질적 경험) 지도"를 만듭니다.
3. 정렬 지표: 모델이 생성한 기하학적 지도를 ANEW 및 Marjieh et al., 2023 과 같은 확립된 심리학적 데이터셋에서 유래한 인간 지각 기준과 두 가지 지표를 사용하여 정량적으로 비교합니다.
   • 표현 유사성 분석 (RSA): 모델과 인간 비유사성 행렬의 벡터화된 상삼각 항목 간의 스피어만 순위 상관관계.
   • 일반화 프로크루스테스 분석 (GPA): 모델과 인간 지도 간의 최적 직교 변환을 찾아 기하학적 정렬을 측정하며, 높은 점수가 더 강한 정렬을 나타냅니다.
4. 프로파일링: 이 파이프라인을 모든 계층에 적용하여 지각 구조의 진화를 추적하고, 정렬이 정점에 도달하는 위치와 깊이에 따라 어떻게 변화하는지 식별합니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다.

• 지각 기하학의 계층별 발생: 저자들은 LLM 이 잔류 스트림 내에서 색상, 음고, 맛, 감정과 같은 여러 지각 영역에 대한 구조화된 기하학적 표현을 자발적으로 발달시킨다는 것을 입증합니다. 이러한 구조는 직접적인 감각 감독이 부재함에도 불구하고 인간 지각 기준과 정량적으로 정렬됩니다.
• 양식별 발생 프로파일: 이 연구는 서로 다른 지각 영역이 고유한 궤적을 따른다는 것을 밝혀냈습니다. 모두 상승 - 정점 - 하강 패턴을 보이지만, 정점 정렬의 타이밍과 구조의 안정성은 영역 (예: 감정보다 맛이 더 일찍 정점에 도달함) 과 모델 아키텍처에 따라 다릅니다.
• 일시적 지각 부호화: 논문은 모델 간에 일관된 표현 궤적을 확립합니다. 지각 기하학은 초기 계층에서는 약하거나 확산되어 있다가 중간 계층에서 점진적으로 조직화되고 후기 계층에서는 감쇠합니다. 이는 지각 기하학이 인간과 유사한 주관적 지각으로 균일하게 보존되는 것이 아니라 모델의 내부 변환 파이프라인의 일부로서 일시적으로 부호화됨을 시사합니다.

결과

네 가지 양식에 대한 분석은 다음과 같은 구체적인 결과를 도출합니다.

• 색상: 모델은 인간 색상 고리를 닮은 원형 매니폴드를 회복하여 초기부터 중간 계층에서 정점에 도달합니다. 이 구조는 일시적이며, 표현이 작업별 기능에 특화됨에 따라 더 깊은 계층에서 약화됩니다. 이러한 "상승 - 정점 - 하강" 프로파일은 LLaMA-3-8B, LLaMA-3.2-3B, Gemma-7B 에서 일관되지만, Qwen-3-4B 는 최종 저하 전에 짧은 후기 계층 반등을 보입니다.
• 감정: 모델은 인간의 쾌감 - 각성 구조와 정렬된 잘 조직된 정서적 매니폴드를 회복합니다. 색상과 달리 감정 기하학은 후기 계층에서도 상대적으로 안정적으로 유지되어 이 구조의 더 지속적인 유지를 나타냅니다.
• 음고: 음고 지각의 연속적이고 순서적인 특성과 일치하는 매끄러운 호 모양의 조직이 중간 계층에서 나타납니다. 이 구조는 더 깊은 계층에서 변형되어 음고가 범주적으로가 아니라 관계적으로 표현됨을 시사합니다.
• 맛: 모델은 인간 지각 배열 (예: 기본 맛의 순서) 과 일치하는 맛 매니폴드를 회복합니다. 그러나 맛은 다른 영역에 비해 낮은 RSA 점수와 더 노이즈가 많은 계층별 프로파일을 보이며, 기하학은 일찍 발생하지만 빠르게 저하됩니다.

중요성 및 주장

본 논문은 순전히 언어적 훈련에서 인간과 유사한 지각 기하학이 어떻게 발생하는지에 초점을 맞춰 LLM 표현의 기계적 성격에 대한 새로운 통찰을 제공한다고 주장합니다. 이러한 구조가 중간 계층에서 일시적으로 발생함을 입증함으로써 저자들은 내부 표현의 기계적 분석을 위한 원칙적인 경로를 제시합니다.

저자들은 자신의 작업의 한계를 명시적으로 지적합니다.

• 분석은 기술적입니다. 기하학이 어디에서 그리고 어떻게 발생하는지 식별하지만 이러한 매니폴드를 유발하는 근본적인 메커니즘을 설명하지는 않습니다.
• 연구는 네 가지 지각 영역과 특정 아키텍처로 제한됩니다.
• 인간 기준과의 기하학적 정렬은 인간과 유사한 주관적 지각의 증거가 아니라 구조적으로 유사한 표현 조직의 증거로 해석됩니다.

이 작업은 언어 모델이 언어의 통계적 규칙성을 통해 지각 구조를 암묵적으로 부호화하며, 인간 지각의 안정성과는 유사하지만 다른 일시적이고 깊이 의존적인 방식으로 이러한 구조를 조직화함을 시사합니다.