기술적 요약: 심층 중간 표현의 잠재적 가능성 규명

문제 제기

대규모 데이터셋으로 사전 훈련된 기초 모델은 네트워크 깊이에 따라 진화하는 계층적 표현을 학습합니다. 전이 학습에서 지배적인 가정은 의미적 유용성이 깊이에 따라 단조 증가한다는 것이며, 이로 인해 하류 작업에 최종 레이어 출력만 사용하는 것이 표준 관행이 되었습니다. 그러나 최근의 실증적 분석은 이러한 관점에 도전하여, 중간 레이어가 종종 하류 작업에서 최종 표현보다 최대 10% 더 높은 성능을 보인다는 것을 입증했습니다. 이 현상은 최종 레이어가 사전 훈련 목적 (예: 다음 토큰 예측) 에 과도하게 특화되거나 표현 붕괴를 겪기 때문에 발생합니다. 또한, 작업 관련 정보는 레이어 간에 비단조적으로 분포되어 있어, 단순한 레이어 집계나 가중치 부여만으로는 최적의 작업별 부분 공간을 복원할 수 없습니다. 본 연구가 다루는 핵심 문제는 과도한 계산 비용을 치르지 않으면서 작업 구별 구조를 인코딩하는 특정 중간 레이어 서브셋을 체계적으로 식별하고 융합하는 방법입니다.

방법론

저자들은 **레이어별 최적 임베딩 선택 (LOES)**과 **기하학적 정규화 (GeoReg)**라는 두 개의 결합된 구성 요소를 포함하는 통합 프레임워크를 제안합니다.

1. 레이어별 최적 임베딩 선택 (LOES)

LOES 는 비중복 레이어를 반복적으로 선택함으로써 작업 최적 부분 공간을 근사하도록 설계된 구성적 스펙트럼 프레임워크입니다. 이는 직교성과 등방성에 제약된 리지 잔차 최적화 문제로 레이어 선택을 공식화합니다. 알고리즘은 두 단계로 진행됩니다:

• 초기화: 첫 번째 레이어는 원래 타겟에 대해 리지 프로브를 적합시키고 적합 손실과 등방성 항을 결합한 점수를 최소화하여 선택됩니다.

• 반복적 선택: 현재 선택된 레이어 집합 $S$가 주어지면, 후보 레이어들은 $S$의 스패인에 대해 직교화되어 한계 설명력을 격리합니다. 각 후보는 복합 목적 함수 (식 7) 를 사용하여 점수가 매겨집니다:
  $$\text{Score}(\ell) = \text{Loss}_\ell + \alpha(1 - \text{Iso}(X_\ell)) + \gamma \text{Red}_\ell - \eta \text{Tri}(\tilde{X}_\ell)$$
  여기서:

  • $\text{Loss}_\ell$: 직교화된 잔차에 대한 리지 프로브의 평균 제곱 오차.
  • $\text{Iso}(X_\ell)$: 경험적 공분산의 고유값에서 유도된 등방성 점수로, 잘 조건화된 임베딩을 장려합니다.
  • $\text{Red}_\ell$: 이미 선택된 레이어들과의 후보의 전역 정렬을 측정하는 중복성 항.
  • $\text{Tri}(\tilde{X}_\ell)$: 클래스 중심점의 평균 삼각형 면적을 추정하여 고체적 단순체 구조를 장려하는 분류를 위한 선택적 항.

  이 점수를 최소화하는 레이어가 선택되어 원래 타겟에 대해 다시 적합된 후 앙상블에 추가됩니다. 이 과정은 예산 $K$에 도달할 때까지 반복됩니다.

2. 기하학적 정규화 (GeoReg)

파인튜닝 중에 등방성 및 클래스 분리성과 같은 유리한 기하학적 속성의 저하를 방지하기 위해 저자들은 GeoReg 를 도입했습니다. 이 보조 손실 함수는 융합된 다중 레이어 임베딩에 대한 하류 적응 동안 적용됩니다. 이는 임베딩 공분산의 스펙트럼 불균형을 처벌하여 (균일한 고유값 분포 장려) 그리고 클래스 중심점이 낮은 부피를 차지하는 구성 (붕괴를 나타냄) 을 처벌합니다. 사전 훈련 정규화제 (예: VICReg) 와 달리, GeoReg 는 경쟁 작업 경사에 대항하여 LOES 가 식별한 기하학을 보존하기 위해 전이 단계 동안 특히 작동합니다.

주요 기여

• 실증적 증명: 본 논문은 하류 작업에 대한 최적 표현이 거의 최종 레이어 단독이 아니라 중간 레이어의 서브셋으로 형성된 작업별 부분 공간임을 입증합니다.
• LOES 알고리즘: 기하학적 제약 (등방성 및 직교성) 하에서 잔차 오차를 최소화함으로써 최적 레이어 조합을 식별하는 스펙트럼 알고리즘입니다. 이는 높은 유효 랭크와 낮은 이방성을 가진 부분 공간을 명시적으로 구성함으로써 학습 가능한 가중치 기준선보다 우수한 성능을 보입니다.
• 해석 가능성 렌즈: 레이어 선택 선호도를 분석함으로써, 이 방법은 다양한 기초 모델이 특정 의미 또는 구조적 속성을 어디에 인코딩하는지 드러내며, 사전 훈련 패러다임 (예: 대비 학습 vs 마스크된 재구성) 이 정보 분포에 체계적으로 영향을 미친다는 것을 보여줍니다.
• GeoReg: 대규모 모델에서 종종 관찰되는 특징 붕괴를 완화하여 파인튜닝 설정에서의 안정성을 향상시키는 손실 함수입니다.
• 확장성: 이 방법은 모델 깊이에 따라 성능 향상이 이루어지며, 비모달리티에 구애받지 않고 비전, 언어, 음성 및 멀티모달 아키텍처 전반에 걸쳐 작동합니다.

결과

저자들은 다양한 아키텍처 (DINOv2, CLIP, BERT, ModernBERT, Wav2Vec 2.0) 와 데이터셋 (ImageNet, MTEB 벤치마크, ASVspoof 등) 에 걸쳐 LOES 를 평가했습니다.

• 성능 향상: LOES 는 표준 마지막 레이어 전이 및 학습 가능한 가중치 기준선보다 일관되게 우수한 성능을 발휘했습니다. 성장은 특히 더 깊은 모델과 다양한 사전 훈련 체계에서 두드러졌습니다. 예를 들어, ModernBERT 에서 LOES 는 MTOP 작업에서 정확도를 78.07% 에서 94.48% 로 향상시킨 반면, BERT-large 는 95.32% 에서 97.81% 로 소폭의 향상을 보였습니다.
• 사전 훈련 영향: 대규모 다양성 코퍼스 (예: CLIP, DINOv2) 로 사전 훈련된 모델은 작업 관련 정보를 초기~중간 레이어에 분포시키는 경향이 있는 반면, 더 좁은 분포 (예: ImageNet 에서 훈련된 MAE, ViT) 로 훈련된 모델은 구별 특징을 후기 레이어에 집중시킵니다.
• 크로스 링구얼 및 크로스 모달: LOES 는 소수 언어 (예: 우르두어에서 +10.9%) 에 대해 상당한 이점을 제공하며, 다른 레이어 깊이가 필요한 스푸핑 감지 대 감정 인식과 같은 음성 작업에 효과적으로 적응합니다.
• 효율성: 이 방법은 작은 보정 집합에 대한 폐형식 리지 회귀에 의존하므로 최소한의 계산 오버헤드 (일반적으로 월클록 시간 1% 미만 증가) 와 파라미터 수 (1% 미만 증가) 를 도입합니다.
• 비교: LOES 는 레이어 서브셋에 대한 포괄적 검색 (비용의 일부로 거의 최적 해를 복원) 및 탐욕적 선택 기준선보다 우수한 성능을 보입니다.

중요성 및 주장

본 논문은 레이어별 임베딩 기하학이 부수적인 것이 아니라 심층 모델이 지식을 표현하고 전이하는 방식의 핵심이라고 주장합니다. 단조적인 의미적 유용성에 대한 가정을 넘어선 이 작업은 효과적인 전이가 어떤 레이어가 작업 구별 구조를 인코딩하는지 식별하고 그들의 임베딩이 기하학적으로 어떻게 조직화되는지에 달려 있음을 강력하게 입증합니다.

저자들은 LOES 를 단순히 성능 향상 도구가 아닌, 의미적 요소가 레이어 간에 어떻게 분포되는지에 대한 구조화된 관점을 제공하는 해석 가능성 도구로 위치시킵니다. 그들은 기초 모델이 확장되고 다양화됨에 따라 원칙적인 레이어 선택이 점점 더 가치 있게 되며, 특히 최종 레이어만으로는 작업 관련 정보를 충분히 포착하지 못하는 저자원 및 소수 도메인에서 특히 중요하다고 주장합니다. 이 연구는 중간 표현의 기하학이 효율적이고 투명한 모델 적응을 위한 중요하지만 아직 충분히 활용되지 않은 자원임을 시사합니다.