기술적 요약: 토큰이 아닌 자신의 잠재 표현 (latents) 에서 배우기: 표본 복잡도 이론

문제 제기

확산 모델과 대규모 언어 모델 (LLM) 을 포함한 생성 모델은 놀라운 실증적 성과를 거두었으나, 생물학적 학습자가 요구하는 것보다 수백만 배에서 수십억 배 더 큰 훈련 데이터에 의존합니다. 최첨단 LLM 은 $10^{13}$~$10^{14}$개의 토큰으로 훈련되는데, 이는 어린이가 성인 수준의 역량을 갖추기 위해 노출되는 양을 훨씬 초과합니다. 멀티모달리티와 그라운딩과 같은 가설들이 제기되었지만, 본 연구는 학습이 원시 토큰 수준이 아닌 추상적인 잠재 공간 (latent space) 에서 이루어질 때 더 효율적이라는 가설을 탐구합니다.

구체적으로, 이 논문은 데이터2벡 (data2vec), JEPA 와 같이 자신의 잠재 표현을 예측하는 자기지도학습 (SSL) 방법과, 마스킹 언어 모델링, 확산 모델과 같이 원시 토큰을 예측하는 방법 간의 이론적 격차를 해소하는 것을 다룹니다. 주요 질문은 다음과 같습니다:

1. 토큰 수준 예측에 비해 자신의 잠재 표현을 예측함으로써 데이터 효율성이 얼마나 향상되는가?
2. 이러한 방법들을 다중 스케일 계층 구조 (예: H-JEPA) 로 명시적으로 적층하는 것이 이론적 이점을 제공하는가?

이러한 질문에 답하기 위해 저자들은 가시적 토큰을 깊이 $L$의 숨겨진 잠재 변수 트리를 통해 생성하는 단순화된 확률적 문맥 자유 문법 (PCFG) 인 **무작위 계층 모델 (Random Hierarchy Model, RHM)**을 활용합니다. RHM 은 구성적 구조의 표본 복잡도 분석을 가능하게 합니다.

방법론

저자들은 RHM 의 잠재 계층을 학습하는 세 가지 서로 다른 접근 방식을 분석합니다:

1. 반복적 잠재 클러스터링 (Iterative Latent Clustering, ILC): 모델이 계층을 레벨별로 복원하는 알고리즘적 접근법입니다. 각 레벨 $\ell$에서 알고리즘은 토큰 튜플에 대한 경험적 컨텍스트 벡터를 추정하고, 이를 클러스터링하여 동의어 (동일한 부모를 공유하는 튜플) 를 식별합니다. 이는 레벨 $\ell+1$의 잠재 레이블을 구성하며, 이는 다음 레벨의 입력으로 사용됩니다.
2. 적층 잠재 - 클러스터링 (Stacked Latent-Clustering, SLC) 네트워크: ILC 알고리즘을 반영하는 미분 가능하고 엔드 - 투 - 엔드 신경 아키텍처입니다. 이는 $L-1$개의 모듈로 구성된 스택으로, 각 모듈은 컨텍스트 벡터를 추정하기 위해 사촌 토큰을 예측하는 **예측기 (Predictor)**와 예측 벡터를 대비적 목적 함수를 통해 이산적 잠재 코드로 매핑하는 **클러스터링기 (Clusterer)**를 포함합니다. 네트워크는 전역 역전파 또는 모듈 간 스톱 - 그라디언트 (stop-gradients) 를 통한 지역 학습 규칙 옵션과 함께 경사 하강법을 통해 훈련됩니다.
3. data2vec 의 이론적 분석: 저자들은 마스킹된 입력의 잠재 표현을 예측하기 위해 교사 - 학생 (teacher-student) 설정을 사용하는 인기 있는 SSL 방법인 data2vec 을 분석합니다. 교사의 타겟이 암묵적으로 학습된 잠재 정보를 전달하여 학생이 계층적 잠재 예측을 귀납적으로 수행할 수 있게 하는 이론적 프레임워크를 제안합니다.

주요 기여 및 결과

1. 표본 복잡도 경계

이 논문은 토큰 수준 목적 함수와 잠재 예측 목적 함수 간의 표본 복잡도에서 엄격한 분리를 확립합니다:

• 토큰 수준 SSL (지도 또는 마스킹): 깊이 $L$의 잠재 트리를 복원하기 위해 토큰 수준 목적 함수는 $P \sim m^{L+1}$로 스케일링되는 샘플 수를 요구합니다 (여기서 $m$은 심볼당 생성 규칙의 수입니다). 신호가 전체 계층을 통해 전파되어야 하며, 해결되지 않은 규칙 하나하나가 상관 신호를 $m$배로 감쇠시키기 때문에 이는 깊이 $L$에 대해 지수적으로 증가합니다.
• 잠재 예측 (ILC, SLC, data2vec): 저자들은 자신의 잠재 표현을 예측함으로써 표본 복잡도를 $P \sim m^3$ (로그 인자까지) 로 줄일 수 있음을 증명합니다. 이 스케일링은 깊이 $L$에 무관합니다.
  • 메커니즘: 한 레벨이 복원되면, 조건부 객체와 예측 타겟 모두 해당 잠재 레벨로 승격됩니다. 각 후속 레벨에서의 문제는 첫 단계와 동일한 통계적 강도를 가진 지역적 동의어 클러스터링 문제가 되어, 노이즈의 지수적 누적을 방지합니다.

2. 알고리즘적 및 신경적 검증

• ILC: 수치 실험은 반복적 클러스터링 알고리즘이 $L$에 무관하게 $m^3$로 스케일링되는 정확도로 루트 없는 전체 계층을 복원함을 확인합니다.
• SLC: 엔드 - 투 - 엔드로 훈련된 SLC 네트워크도 동일한 $m^3$ 스케일링을 달성합니다. 주목할 점은 저자들이 모듈 간 스톱 - 그라디언트와 전역 역전파가 없는 엄격한 지역 학습 규칙을 사용할 때에도 이 스케일링이 유지됨을 보였다는 점이며, 이는 생물학적 타당성을 시사합니다.
• data2vec: 저자들은 data2vec 에 대한 최초의 표본 복잡도 분석을 제공합니다. 실험적 결과는 RHM 에서 data2vec 또한 $m^3$로 스케일링됨을 보여줍니다. 이론적으로 저자들은 data2vec 이 암묵적으로 계층적 잠재 예측을 수행한다고 주장합니다. 교사의 가중치가 업데이트됨에 따라 학생을 위한 타겟은 점진적으로 더 높은 수준의 잠재 표현을 포함하게 되어, 명시적 아키텍처 적층 없이도 예측 작업을 계층을 따라 위로 끌어올리는 효과가 있습니다.

3. 계층적 적층에 대한 함의

이 결과는 잠재 예측 모듈의 명시적 적층 (H-JEPA 와 같이) 이 대체로 불필요함을 시사합니다. 단일 잠재 예측 모듈 (data2vec 과 같은) 은 복잡한 수동 적층 아키텍처 없이도 최적의 $m^3$ 표본 복잡도를 달성하면서 다중 스케일 계층 구조를 암묵적으로 발견하고 활용할 수 있습니다.

의의

이 논문은 "토큰 수준 예측은 최적이지 않다"는 직관을 견고한 정량적 토대 위에 놓습니다. 자신의 잠재 표현에서 배우는 것이 토큰 수준 목적 함수에 비해 표본 효율성에서 지수적 이득을 가져올 수 있음을 입증함으로써, 생성 모델링에서 잠재 공간 예측으로의 전환에 대한 이론적 정당성을 제공합니다.

또한, data2vec 에 대한 분석은 현재 최첨단 자기지도학습 방법들이 이미 암묵적으로 계층적일 수 있음을 시사하여, 명시적 계층적 감독 체계의 필요성에 의문을 제기합니다. 저자들은 자연어와 이미지로 확장하기 전에 새로운 아키텍처를 설계하고 이론적으로 이해하기 위해 RHM 과 같은 합성 데이터 모델을 개발하는 것이 중요하다고 결론지었습니다.

이 연구는 또한 최적의 표본 복잡도를 달성할 수 있는 생물학적 타당성을 가진 학습 규칙 (지역적 업데이트, 예측 코딩) 의 잠재력을 강조하여, 기계 학습의 효율성과 생물학적 학습 제약 사이의 간극을 연결합니다.