기술 요약: 언어에서의 JEPA 역설 (The JEPA Paradox in Language)

1. 문제 정의

Joint-Embedding Predictive Architectures (JEPA)는 마스킹된 문맥(context)으로부터 잠재 공간(latent space) 내의 타겟 표현을 예측함으로써 연속적인 모달리티인 이미지, 비디오, 오디오 분야에서 상당한 성공을 거두었다. 그러나 이러한 결정론적 잠재 표현 예측 패러다임은 텍스트 인코더에서는 표준적인 목적 함수로 자리 잡지 못했으며, 대신 분포적 목적 함수(예: Masked Language Modeling)가 여전히 지배적이다.

본 논문은 이러한 격차가 **제곱 오차 잠재 예측(squared-error latent prediction)**과 언어의 조건부 구조(conditional structure of language) 사이의 근본적인 통계적 불일치에서 기인한다고 주장한다.

• 조건부 집중(Conditional Concentration): JEPA는 문맥과 타겟 위치가 주어졌을 때, 타겟 표현이 하나의 기하학적으로 의미 있는 점 근처에 위치한다는 가정에 의존한다. 이는 공간적 연속성과 국소적 상관관계 덕분에 이미지에서 성립한다.
• 텍스트의 불일치: 언어에서는 단일 문맥이 여러 개의 유효한 어휘적 또는 의미적 완성을 허용하는 경우가 많다. 결과적으로 마스킹된 토큰의 조건부 분포는 다중 모드(multimodal)를 띤다. 제곱 오차 예측기는 단일 벡터를 출력해야 하므로, 이질적인 대안들의 **중심점(centroid)**으로 회귀하도록 강요된다. 이는 모델이 유의미한 구분을 평균화하여 없애버리거나(결과적으로 열악한 표현을 초래), 손실을 최소적으로 만들기 위해 표현 공간을 붕괴(collapse)시키도록 강제한다.

2. 방법론

저자들은 세 가지 필수 조건을 통해 이 불일치를 정식화하고, 이미지 기반의 I-JEPA(Assran et al., 2023)에 대응하는 텍스트 기반의 T-JEPA를 구축하여 이를 검증한다.

이론적 프레임워크

본 논문은 결정론적 잠재 예측이 작동하기 위해 충족되어야 하는 세 가지 조건을 제시한다:

1. 예측 가능성(Predictability): 타겟은 문맥에 대해 낮은 조건부 엔트로피를 가져야 한다. (이미지에서는 공간적 매끄러움에 의해 충족되나, 텍s에서는 어휘적 모호성에 의해 제한됨).
2. 비붕괴(Non-Collapse): 목적 함수는 서로 다른 입력들이 표현 공간 내에서 서로 다른 영역을 차지하도록 강제해야 한다. (시각적 다양성은 이를 제공하지만, 텍스트는 기하학적 페널티 없이 저계수 붕괴(low-rank collapse)를 허용함).
3. 낮은 조건부 분산(Low Conditional Variance): 가변적인 손실 성분보다 감소 가능한 손실 성분이 지배적이어야 한다. (이미지에서 잔여 불확실성은 국소적 질감(texture)이지만, 텍스트에서는 여러 유효한 완성이 손실의 주된 원인이 됨).

실험 설정

• I-JEPA (베이스라인): ViT-H/16 백본을 사용하여 100K ImageNet-1K 이미지를 대상으로 학습됨.
• T-JEPA (제안 모델): 100K English C4 문장을 대상으로 학습된 직접적인 텍스트 아날로그이며, BERT-Large 백본을 사용함.
  • 아키텍처: 문맥 인코더(BERT-Large), 타겟 인코더(EMA 업데이트된 BERT-Large), 그리고 트랜스포머 예측기(Transformer predictor).
  • 목적 함수: 마스킹된 구간(span)의 타겟 임베딩과 예측된 문맥 임베딩 사이의 제곱 오차를 최소화함.
  • 프로토콜: 비교 가능성을 보장하기 위해 일치된 학습 스케줄(15 epochs, AdamW, 특정 warmup/decay)을 적용함. 샘플링 아티팩트를 배제하기 위해 다섯 개의 독립적인 데이터 시드에 걸쳐 실험을 반복함.

진단 도구

연구는 실패 모드를 진단하기 위해 다섯 가지 특정 지표를 추적한다:

1. 상호 정보량(MI) 프록시 (InfoNCE).
2. 표현 공분산의 유효 계수(Effective rank).
3. 쌍별 코사인 유사도(및 그 분산).
4. 훈련-검증 손실 발산(Train-validation loss divergence).
5. 줄일 수 없는 조건부 타겟 분산 (K=16개의 후보 완성을 통해 추정).

3. 주요 결과

실험적 증거는 I-JEPA에서는 나타나지 않는 T-JEPA만의 독특한 "시간적 실패 시그니처(temporal failure signature)"를 드러낸다:

1. 예측 가능성 포화가 붕괴보다 선행함: T-JEPA의 MI 프록시는 조기에 포화(0.35 nats 미만 유지)되며, 이는 마스킹된 타겟이 문맥으로부터 약하게 예측됨을 나타낸다. 이는 유효 계수가 여전히 유의미한 수준일 때 발생한다. 반면 I-JEPA는 MI가 꾸준히 증가하는 모습을 보인다.
2. 손실 발산 및 불안정성: T-TPAs의 훈련 및 검증 손실은 초기에 함께 감소하다가 9,340 스텝 부근에서 파멸적으로 발산한다. 검증 손실은 급증하는 반면 훈련 손실은 불규칙해지는데, 이는 옵티마이저가 일반화 가능한 구조를 배우는 대신 배치 특유의 노이즈를 암기하고 있음을 나타낸다.
3. 유효 계수의 퇴화: 불안정성 지점 이후, T-JEPA의 검증 유효 계수는 붕괴(약 1.57까지 하락)되는 반면, 훈련 계수는 인위적으로 팽창한다. 이는 모델이 손실을 최소화하기 위해 타당한 대안들 사이의 구분을 병합하고 있음을 확인시켜 준다.
4. 줄일 수 없는 분산: T-JEPA는 안정적인 단계 동안 높은 줄일 수 없는 분산을 유지한다(어휘적 모호성을 반영). 이 분산은 모호성이 해결되어서가 아니라, 인코더가 모든 임베딩을 좁은 영역으로 압축함에 따라 붕괴 이후에 급격히 떨어진다.
5. 다운스트림 실패: T-JEPA 표현은 분류 벤치마크(IMDB, SNLI)에서 우연 수준의 성능을 보이며, 검색 작업(FEVER, MSMARCO)에서는 제로 성능을 기록한다. 이는 BERT(MLM) 및 기타 자기 지도 학습 베이스라인(Barlow Twins, VICReg, BYOL)이 유용한 구조를 유지하는 것과 극명히 대조된다.

4. 핵심 기여

1. 조건부 집중(Conditional Concentration): 본 논문은 결정론적 잠재 예측이 유용한 표현을 생성하기 위한 필요 조건으로 "조건부 집중"을 도입한다. 저자들은 언어가 본질적인 다중 모드성 때문에 이 조건을 충족하지 못하는 경우가 많다고 주장한다.
2. 중심점 퇴화(Centroid Degeneracy): 저자들은 제곱 오차 예측이 모델을 호환되지 않는 대안들의 중심점으로 회귀하게 만들어 표현 붕괴를 초래하는 구체적인 실패 모드로 "중심점 퇴화"를 식별한다.
3. 경험적 진단: 본 연구는 정보 포화가 표현 붕괴보다 앞선다는 것을 보여주는 종합적인 진단 프레임워크(MI, rank, cosine similarity, variance)를 제공한다. 이는 정보의 결핍이 예측 신호를 약화시키고, 결과적으로 붕괴로 향하는 압력을 만드는 인과 관계를 확립한다.

5. 의의 및 주장

본 논문은 이러한 결과가 언어를 위한 예측적 표현 학습 자체를 부정하는 것이 아니라고 주장한다. 대신, 언어의 예측 목적 함수는 유효한 완생들의 다중 모드 구조를 보존해야 한다는 누락된 **귀납적 편향(inductive bias)**을 식별한다.

저자들은 성공적인 텍스트 기반 예측 학습은 결정론적인 제곱 오차 회귀를 사용하는 대신, 여러 가능한 지속(continuation)을 처리할 수 있는 분포적, 대조적, 혼합 기반 또는 의미론적 수준의 대안을 요구할 것이라고 제안한다. 이 연구는 시각적 기하학적 제약과 언어의 조합론적 특성을 대조함으로써, 왜 JEPA가 텍스트 인코더의 표준 레시피가 되지 못했는지에 대한 이론적, 경험적 설명을 제공한다.