기술 요약: 비매끄러운 구성 요소로부터의 이점을 얻는 비전 트랜스포머 파인튜닝

문제 정의

트랜스포머 아키텍처의 매끄러움(smoothness)은 일반화, 학습 안정성 및 적대적 강건성과 관련하여 광범위하게 연구되어 왔으나, 전이 학습(파인튜닝)에서의 구체적인 역할은 여전히 제대로 이해되지 않고 있습니다. 기존의 가설들은 매끄러움을 촉진하는 것(예: 리프시츠 정규화)이 학습에 유익하다고 제안합니다. 그러나 파운데이션 모델을 다운스트림 태스크에 적응시키는 맥락에서, 과도한 매끄러움은 입력 변화에 따라 출력을 조정하는 구성 요소의 능력을 제한하여 성능을 저해할 수 있습니다. 본 논문은 다음과 같은 질문을 다룹니다: 파인튜닝 시 어떤 트랜스포머 구성 요소를 우선적으로 고려해야 하며, 그 이유는 무엇인가?

방법론

저자들은 **가소성(plasticity)**이라는 새로운 지표를 기반으로 비전 트랜스포머(ViT)의 구성 요소별 체계적인 분석을 제안합니다.

1. 가소성의 정의

본 논문은 트랜스포머 구성 요소 $f$의 가소성을 입력 섭동(perturbation)에 대한 평균 변화율로 정의합니다. 형식적으로, 구성 요소 $f$와 서로 다른 토큰 시퀀스 쌍 $(x, y)$에 대한 균등 분포 $\nu$에 대해 가소성 $P(f)$는 다음과 같습니다:
$$P(f) = \mathbb{E}_{(x,y)\sim\nu} \left[ \frac{\|f(x) - f(y)\|_F}{\|x - y\|_F} \right]$$

• 높은 가소성 ($P(f) > 1$): 낮은 매끄러움(비매끄러움)을 나타내며, 해당 구성 요소가 평균적으로 입력 변화를 증폭함을 의미합니다.
• 낮은 가소성 ($P(f) < 1$): 높은 매끄러움을 나타내며, 해당 구성 요소가 입력 변화를 수축시킴을 의미합니다.

2. 이론적 분석

저자들은 표준 ViT 구성 요소들의 가소성에 대한 이론적 상한(upper bounds)을 도출했습니다:

• LayerNorm: 토큰의 최소 표준 편차의 역수와 가중치 노름(weight norm)에 의존하는 타이트한 상한을 가짐이 증명되었습니다.
• 피드포워드 레이어 (FC): 가중치 행렬의 스펙트럴 노름(spectral norm)에 의해 제한됩니다.
• 멀티 헤드 셀프 어텐션 (MHA): 가중치의 스펙트럴 노름과 시퀀스 길이 $n$을 포함하는 항에 의해 제한됩니다. 분석 결과, MHA는 특히 시퀀스 길이가 증가함에 따라 LayerNorm이나 선형 레이어에 비해 더 느슨한 상한(더 높은 잠재적 가소성)을 가짐을 보여줍니다.

이는 다음과 같은 이론적 가소성 순위를 도출합니다: MHA $\to$ FC1 $\approx$ FC2 $\to$ LN2 $\to$ LN1.

3. 경험적 검증

• 가소성 측정: 저자들은 다양한 11개 분류 벤치마크(CIFAR, DomainNet, Flowers, Pets 포함)에서 사전 학습된 ViT(Base, Large, Huge)의 가소성을 계산하였으며, 이를 자기지도 학습 모델(DINOv3) 및 LLM(GPT-2)으로 확장하여 분석하였습니다.
• 파인튜닝 실험: 특정 구성 요소의 효과를 격리하기 위해, 저자들은 86M 파라미터의 ViT를 대상으로 1,000회 이상의 파인튜닝 실행을 수행했습니다. 각 실행에서는 다른 구성 요소들은 고정(freeze)된 상태에서 오직 하나의 특정 유형의 구성 요소(예: 오직 MHA, 오직 FC1, 오직 LN1)만을 업데이트했습니다.
• 최적화: 실험은 학습률(learning rate)과 무작위 시드(random seed)에 대한 탐색을 통해 SGD와 Adam 옵티마이저 모두를 사용하여 수행되었으며, 이를 통해 견고성을 확보했습니다.

주요 결과

1. 경험적 가소성 순위

실험 데이터는 이론적 순위를 확인해주었습니다. 모든 벤치마크와 모델 규모(ViT-Base부터 ViT-Huge, 그리고 DINOv3 및 GPT-2로 확장)에 걸쳐:

• MHA는 일관되게 가장 높은 가소성($P(f) > 1$)을 보였습니다.
• **피드포워드 레이어 (FC1, FC2)**가 높은 가소성을 가진 채 그 뒤를 이었습니다.
• **LayerNorm (LN2, LN1)**은 가장 낮은 가소성($P(f) < 1$)을 보였으며, "경직된" 또는 매끄러운 구성 요소로 작용했습니다.

2. 파인튜닝 성능

구성 요소별 파인튜닝 실험은 가소성과 다운스트림 성능 사이의 직접적인 상관관계를 드러냈습니다:

• 우수한 정확도: 높은 가소성을 가진 구성 요소(MHA 및 FC 레이어)를 적응시키는 것이 낮은 가소성을 가진 구성 요소(LayerNorm)를 적응시키는 것보다 일관되게 높은 Top-1 정확도를 달asm했습니다.
• 통계적 유의성: 까다로운 데이터셋(예: CIFAR-100, Sketch, Clipart)에서 MHA 및 FC 레이어는 LayerNorm보다 성능이 유의미하게 높았습니다. 예를 들어, 작은 데이터셋에서는 MHA만을 튜닝하는 것이 종종 전체 파인튜닝 베이스라인을 능가했습니다.
• 강건성: 높은 가소성을 가진 구성 요소는 다양한 학습률과 초기화 시드에 대해 더 큰 안정성을 보였으며, 성능의 분산이 더 작았습니다.
• 최적화 역학: 본 논문은 높은 가소성을 가진 구성 요소가 훈련 중에 **더 큰 그래디언트 노름(gradient norms)**을 생성하여, 더 가파른 손실 하강(loss descent)과 로컬 미니마로의 빠른 수렴을 유도한다는 것을 관찰했습니다. 이는 매끄러운 구성 요소가 그래디언트 노름을 제한하여 최적화를 느리게 만드는 것과 대조적입니다.

3. 매개변수 효율적 방법(PEFT)과의 비교

본 연구는 높은 가소성을 가진 구성 요소(예: MHA)를 선택적으로 파인튜닝하는 것이 훨씬 적은 학습 가능한 파라미터를 사용하더라도 LoRA와 같은 인기 있는 PEFT 방법들과 경쟁 가능하거나 오히려 더 우수할 수 있음을 발견했습니다. 예를 들어, CIFAR-100에서 Adam을 사용하여 LayerNorm만을 튜닝하는 것이 15배 적은 파라미터로 LoRA보다 성능이 좋았으나, 일반적으로 MHA 튜닝이 가장 좋은 결과를 냈습니다.

의의 및 주장

본 논문은 매끄러움이 학습에 보편적으로 바람직하다는 통념에 도전하며, 트랜스포머의 기능적 특성에 대한 새로운 관점을 제공한다고 주장합니다.

• 패러다임 전환: 저자들은 매끄러움이 프리트레이닝(pretraining) 시에는 일반화와 안정성에 도움이 되지만, **비매끄러움(높은 가소성)**이 효과적인 적응(adaptation)을 가능하게 하는 핵심 요소라고 주장합니다.
• 실무적 가이드라인: 본 연구는 실무자들에게 원칙적인 가이드를 제공합니다: 매개변수 효율적 파인튜닝 전략을 설계할 때, 정규화 레이어보다는 어텐션 모듈과 피드포워드 레이어에 우선순위를 두어야 합니다.
• 이론과 실제의 연결: 본 논문은 리프시츠 상수(Lipschitz constants)에 대한 이론적 경계와 경험적 최적화 역학 사이를 성공적으로 연결하였으며, 모듈의 "가소성"이 다운스트림 데이터에 대한 정보를 전달하고 그래디언트 기반 최적화를 용이하게 하는 능력을 결정한다는 것을 입증했습니다.

저자들은 비매끄러운 구성 요소의 가소성을 이해하고 활용하는 것이 파운데이션 모델을 위한 더 효율적인 적응 방법을 설계하는 데 필수적이라고 결론짓습니다.