기술 요약: 언어 모델의 계층적 개념 기하학은 단어 공발생에서 비롯됨

문제 제기

대규모 언어 모델 (LLM) 과 단어 임베딩은 하이퍼님 (hypernym, "A 는 B 의 일종이다" 관계) 과 같은 의미 관계가 특정 방향이나 부분 공간에 인코딩되는 기하학적 구조를 나타냅니다. 이전 연구, 특히 Park 등 [13] 은 "선형 표현 가설"을 제안했는데, 이는 개념 벡터가 부모 벡터에 직교하는 기능적 메커니즘을 통해 계층적 기하학이 발생한다고 주장합니다. 이를 통해 '동물'이라는 속성을 잃지 않고 '새'에서 '물고기'로 전환하는 것과 같은 깔끔한 의미 조작이 가능해집니다. 그러나 이러한 기하학의 기원은 여전히 논쟁의 대상입니다. 이것이 명시적인 기능적 설계의 결과인지, 아니면 데이터 분포의 창발적 속성인지가 문제입니다. 본 논문은 LLM 과 단어 임베딩에서 관찰되는 계층적 분할 기하학이 계층 특이적 기능적 메커니즘이 아닌, 단어 공발생 통계의 필수적 결과인지 여부를 조사합니다.

방법론

이론적 틀

저자들은 WordNet 하이퍼님 그래프에서 더 가까운 단어들이 텍스트 내에서 더 빈번하게 공발생한다는 가정 기반의 분포 이론을 제시합니다.

1. 공발생 모델: 저자들은 단어 간의 의미적 거리에 의존하는 정규화된 공발생 행렬 $M^\star$(점별 상호 정보와 관련됨) 를 정의합니다. 그들은 거리에 따라 양수이며 엄격하게 감소하는 커널 함수 $f(\text{dist}(i, j))$를 가정합니다.
2. 스펙트럼 분해: 이 논문은 WordNet 의 완벽한 이진 부분 트리를 형성하는 단어들에 대한 $M^\star$의 고유분해를 분석합니다. 계층에 적응된 Haar 웨이블릿 기저를 사용하여 $M^\star$의 고유벡터가 계층적으로 조직화됨을 증명합니다.
   • 주 고유벡터 (스케일링 모드) 는 깊이 (depth) 에 대해서만 변합니다.
   • 후속 고유벡터 (웨이블릿 모드) 는 거친 수준에서 정교한 수준으로 부분 트리를 분할합니다.
   • 스펙트럼은 "거친 수준에서 정교한 수준으로 (coarse-to-fine)"의 순서를 보이며, 지배적인 비스케일링 모드는 더 정교한 하위 가지 이전에 상위 수준의 분류학적 분할에 해당합니다.
3. 모수 모델: 정량적 예측을 가능하게 하기 위해 저자들은 지수 감쇠 함수 $f(d) = \alpha e^{-\beta d}$로 커널을 구체화하여 매개변수를 경험적 공발생 데이터에 적합시킵니다.

경험적 검증

이 이론은 두 가지 유형의 표현에 대해 테스트됩니다.

1. Word2vec 임베딩: 저자들은 위키피디아 코퍼스에서 유도된 경험적 공발생 행렬의 상위 고유벡터로부터 직접 Word2vec 임베딩을 구성합니다. WordNet 계층에서 깊이 $L=3$인 완벽한 이진 부분 트리를 샘플링합니다.
2. LLM 표현: 그들은 Gemma 2B 모델의 언임베딩 벡터 (및 견고성을 위해 Llama 3.2-1B 의 잔여 스트림 활성화) 를 분석합니다. 벡터는 전역 이방성을 줄이기 위해 중심화되고 화이트닝됩니다.

지표:

• Top-k 고유공간 정렬: 퇴화 부분 공간에 대한 이론적 고유벡터는 회전까지 정의되므로, 저자들은 적합된 커널에서 유도된 이론적 그람 행렬과 경험적 그람 행렬 간의 상위-$k$개 고유공간의 정렬을 비교합니다.
• 개념 벡터 직교성: 그들은 Park 등 [13] 의 진단을 재현하여 부모 벡터와 "혁신" 벡터 (자식 빼기 부모) 간의 코사인 유사성을 측정하여 근사 직교성을 테스트합니다.

주요 기여

1. 계층의 분포적 기원: 이 논문은 명시적인 기능적 제약이나 계층 특이적 학습 목표 없이도, 계층적 분할 기하학이 쌍별 단어 공발생 통계에서 자연스럽게 창발함을 보여주는 간단한 통계적 메커니즘을 제공합니다.
2. 거친 수준에서 정교한 수준으로의 스펙트럼 조직화: 저자들은 공발생 그람 행렬의 상위 고유벡터가 계층적으로 조직화됨을 증명하고 검증합니다. 즉, 먼저 광범위한 분류학적 가지 (예: 식물 대 동물) 를 분리한 다음 점차 더 정교한 하위 가지 (예: 새 대 물고기) 로 분할합니다.
3. LLM 으로의 확장: 이 연구는 이러한 특정 스펙트럼 서명이 LLM 언임베딩 (Gemma 2B) 으로 놀라울 정도로 잘 확장됨을 보여줍니다. 이는 LLM 의 계층적 기하학이 Word2vec 을 구동하는 동일한 공발생 통계의 부산물일 수 있음을 시사합니다.
4. 개념 벡터의 재해석: 순수한 공발생 기반 모델이 Park 등이 관찰한 "직교 혁신" 패턴을 재현함을 보여줌으로써, 이 기하학적 특징이 반드시 계층적 추론을 위한 기능적 메커니즘을 의미하는 것은 아니며 쌍별 통계의 스펙트럼 구조에서 발생할 수 있음을 주장합니다.

결과

• 이론적 대 경험적 정렬: Word2vec 과 Gemma 2B 언임베딩 모두에서, 경험적 그람 행렬의 상위-$k$개 고유공간은 셔플된 레이블 기준선보다 적합된 지수 커널에 기반한 이론적 예측과 훨씬 더 잘 정렬됩니다. 이 정렬은 다양한 의미 계층 (예: 생물, 인지) 에서 유지됩니다.
• 시각적 확인: 분류학 노드를 주성분 (PC) 에 투영하면 예측된 계층적 분할이 드러납니다. 예를 들어, 생물 분류학에서 PC2 는 식물과 동물을 분리하는 반면, 퇴화된 PC 3~4 는 새와 물고기, 꽃과 나무를 분할합니다.
• 견고성: 결과는 다양한 커널 매개변수화 (지수 대 멱법칙), 다른 트리 깊이 ($L=2$ 및 $L=3$), 그리고 다른 표현 유형 (화이트닝된 언임베딩, 중심화된 화이트닝되지 않은 임베딩, 내부 잔여 스트림 활성화) 에서 지속됩니다.
• 개념 벡터 진단: 공발생 모델은 LLM 에서 발견된 부모 - 자식 혁신의 근사 직교성을 재현하여, 이 패턴이 순수한 통계적 기원과 일관됨을 확인합니다.

중요성과 주장

이 논문은 표현 공간에서 계층적 기하학의 기능적 그림을 정교화한다고 주장합니다. 기하학은 실제적이고 견고하지만, 저자들은 이것이 계층 특이적 기능적 메커니즘에 의해 구동되는 정확한 직교 개념 방향에서 비롯될 필요가 없다고 주장합니다. 대신, 실제에서 관찰되는 근사 직교성은 쌍별 단어 통계에 의해 유도된 스펙트럼 구조의 결과입니다.

이 작업은 단어 임베딩이 이산적, 연속적, 계층적 속성으로 특징지어진다는 더 넓은 관점을 지지합니다. 유사한 속성을 가진 단어들이 더 자주 공발생하며, 이러한 통계적 규칙성 자체가 임베딩의 우아한 기하학적 조직을 만들어냅니다. 이러한 조직이 기능에 유용할 수는 있지만, 논문은 이것이 기능에 의해 구동되는 것이 아니라고 가정합니다. 이 발견은 LLM 의 계층적 구조가 학습된 기능적 필요성이 아닌 데이터 분포의 창발적 속성임을 시사합니다.