💻 computer science

LEAP: Layer-skipping Efficiency via Adaptive Progression for Vision Transformer Distillation

이 논문은 적응형 레이어 스킵(adaptive layer-skipping)을 사용하여 학생 모델이 단순한 특징에서 복잡한 특징으로 점진적으로 학습하도록 유도함으로써, 수렴을 가속화하고 정확도를 향상시키며 훈련 비용을 절감하는 Vision Transformer 증류를 위한 훈련 커리큘럼인 LEAP을 제안한다.

원저자: Jiaqi Zhang, Ashton Lee, Anthony Wong, John Zou, Sami BuGhanem, Randall Balestriero

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiaqi Zhang, Ashton Lee, Anthony Wong, John Zou, Sami BuGhanem, Randall Balestriero

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 사진 속 사물을 인식하는 데 있어 모든 것을 알고 있는 천재적인 세계적 수준의 교수(교사)가 있다고 상상해 보십시오. 이 교수는 40개의 복잡한 사고 층(layer)을 가진 거대한 뇌를 가지고 있습니다. 이제 당신은 12개의 층만을 가진 작고 열정적인 학생(학생)을 가르치고 싶습니다.

문제는 무엇일까요? 만약 당신이 학생에게 교수의 가장 진보되고 복잡한 아이디어들을 즉시 배우라고 강요한다면, 학생은 압도당하고 만다는 것입니다. 이는 마치 아이에게 숫자를 세는 법을 배우기도 전에 양자 역학을 가르치려는 것과 같습니다. 학생은 혼란에 빠지고, 학습 속도는 느려지며, 훈련 과정은 영원히 걸리게 됩니다.

이것이 바로 LEAP 논문이 해결하고자 하는 핵심 문제입니다.

기존 방식: "한꺼번에 하기"

전통적으로 이 학생을 가르칠 때, 연구자들은 이렇게 말하곤 했습니다: "쉬운 것은 무시해. 그냥 교수의 최종적이고 가장 복적인 답변만을 보고 그것을 똑같이 따라 해봐."

결과: 학생은 자신의 단순한 뇌와 교수의 복잡한 뇌 사이의 거대한 간극을 메우기 위해 고군분투합니다. 이는 마치 걷는 법을 배우기도 전에 마라톤을 뛰라고 요구하는 것과 같습니다.

LEAP의 솔루션: "사다리 오르기" 커리큘럼

LEAP의 저자들은 교수의 뇌가 단순히 하나의 큰 지식 덩어리가 아니라, 하나의 '사다리'라는 점을 깨달았습니다.

아래쪽 발판 (초기 층): 여기에는 "이것은 가로선이다" 또는 "이것은 원이다"와 같이 단순하고 이해하기 쉬운 정보가 담겨 있습니다.
위쪽 발와 (깊은 층): 여기에는 "이것은 공원에 앉아 있는 골든 리트리버이다"와 같은 복잡하고 추상적인 아이디어가 담겨 있습니다.

LEAP는 다음과 같은 구조화된 수업 계획인 커리큘럼(Climbing Guide)을 도입합니다:

쉬운 것부터 시작하기: 학생은 먼저 교수의 가장 단순한 층(아래쪽 발판)을 복제하도록 요청받습니다. 이 단계는 이해하기 쉽기 때문에 학생은 이를 빠르게 학습하고 강력한 기초를 쌓을 수 있습니다.
진척도 확인: 시스템은 끊임없이 확인합니다: "학생이 이 단계를 마스터했는가?" 시스템은 학생의 뇌가 현재 교수의 사고 방식과 유사하게 작동하는지 확인하기 위해 특별한 "유사성 테스트"(CKA라고 불림)를 사용합니다.
단계 높이기: 학생이 준비되었을 때만 시스템은 말합니다: "좋아, 기초는 잡혔구나. 이제 다음 단계인 조금 더 어려운 층을 살펴보자."
계속 오르기: 이 과정은 학생이 마침내 복잡하고 깊은 층을 다룰 수 있을 때까지 단계별로 계속됩니다.

이것이 왜 게임 체인저인가

이 논문은 이 "단계별" 접근 방식이 세 가지 이유에서 마법의 탄환이라고 주장합니다:

더 빠릅니다: 학생이 곧바로 어려운 단계로 뛰어들어 혼란을 겪지 않기 때문에 훨씬 더 빠르게 학습합니다. 논문은 학생이 훨씬 적은 시간 안에 높은 정확도에 도달함을 보여줍니다.
에너지를 절약합니다: 학생이 쉬운 내용을 빠르게 배우기 때문에, 시스템은 훈련 초기 단계에서 교수의 복잡하고 깊은 생각을 계산하는 데 에너지를 낭비할 필요가 없습니다. 이는 실제로 필요할 때까지 무거운 기계를 꺼두는 것과 같습니다. 논문은 컴퓨터 전력의 약 **25%**와 훈련에 필요한 시간의 **21%**를 절감했다고 보고합니다.
더 효과적입니다: 최종적인 학생은 단순한 복사본이 아니라, 스마트한 복사본입니다. 사진에서 특정 사물을 찾거나 이미지를 분할(배경을 잘라내는 작업)하는 실제 작업에서 테스트했을 때, LEAP로 훈련된 학생은 기존 방식으로 훈련된 학생보다 훨씬 더 뛰어난 성능을 보입니다.

결론

LEAP는 스마트한 교수 전략입니다. 학생을 수영장 깊은 곳으로 바로 던져 넣는 대신, 먼저 얕은 곳에서 수영하는 법을 가르친 뒤, 학생이 강해짐에 따라 점진적으로 더 깊은 곳으로 이동합니다. 그 결과, 훈련에 사용된 거대 모델의 "두뇌 능력"을 잃지 않으면서도 더 작은 기기에서 실행될 수 있는, 더 똑똑하고 빠르며 효율적인 AI 모델을 만들어냅니다.

기술 요약: LEAP - 적응형 진행을 통한 비전 트랜스포머 증류의 레이어 스킵 효율성

문제 정의

DINOv2와 같은 비전 트랜스포머(ViT) 기반의 비전 파운데이션 모델(VFM)은 최첨단 성능을 달나 성취했지만, 방대한 파라미터 수(예: 20억 개의 파라미터를 가진 ViT-Giant)로 인해 엣지 배포가 불가능합니다. 지식 증류(Knowledge Distillation, KD)는 이러한 "교사(teacher)" 모델을 컴팩트한 "학생(student)" 모델로 압축하기 위한 표준적인 해결책입니다. 그러나 특징 기반 KD(feature-based KD)는 근본적인 **교사-학생 간의 격차(teacher-student gap)**에 직면합니다. 즉, 학생 모델의 제한된 표현 능력과 낮은 랭크의 특징 공간은 깊은 교사 모델(예: 40개 레이어의 ViT-G)의 복잡하고 고차원적인 특징 맵을 단 한 번의 단계로 모방하는 데 어려움을 겪습니다.

PKD와 같은 중간 레이어 매칭이나 투영 헤드(projection heads, 예: ViTKD)와 같은 기존 전략들은 종종 **정적 매핑 스케줄(static mapping schedules)**에 의존합니다. 이러한 접근 방식은 학생 모델이 훈련 초기부터 복잡한 심층 레이어 특징에 정렬되도록 강제하거나 임의의 수동 레이어 선택을 요구합니다. 이러한 "한꺼번에 처리하는(all-at-once)" 방식은 학생의 진화하는 역량을 고려하지 못하여, 특히 교사와 학생 사이의 크기 차이가 클 때 훈련의 불안정성과 느린 수렴을 초래합니다.

방법론: LEAP

저자들은 "쉬운 것에서 어려운 것으로(easy-to-hard)" 이어지는 진행 과정을 도입하여 교사-학생 간의 격차를 완화하기 위해 설계된 훈련 커리큘럼인 **LEAP (Layer-skipping Efficiency via Adaptive Progression)**를 제안합니다.

핵심 통찰: 이동된 유사도(Shifted Similarity)

**중심 커널 정렬(Centered Kernel Alignment, CKA)**을 이용한 레이어별 유사성 분석을 통해, 저자들은 베이스라인 훈련 과정에서의 시간적 이동을 관찰했습니다:

훈련 초기 에포크에서 학생의 최종 특징 맵은 교사의 얕은(shallow) 중간 레이어와 더 높은 유사성을 보입니다.
훈련이 진행됨에 따라, 피크 유사도는 점진적으로 교사의 깊은(deeper) 레이어를 향해 이동합니다.
이는 얕은 레이어가 초기에는 학생에게 "쉬운" 목표가 되는 반면, 깊은 레이어는 학습을 위해 기초적인 표현력이 필요한 더 복잡한 의미론적 추상화를 나타낸다는 것을 시사합니다.

적응형 커리큘럼

LEAP는 교사의 중간 특징 맵을 점진적으로 어려워지는 타겟 시퀀스로 취급합니다. 커리큘럼은 **온라인 CKA 유사도 임계값( $\tau$ )**을 기반으로 진행됩니다:

초기화: 학생은 교사의 첫 번째 ViT 블록을 모방하며 시작합니다.
적응형 진행: 시스템은 현재 교사 타겟 블록( $T_m$ )과 학생의 터미널 특징 맵 사이의 CKA 유사도를 모니터링합니다.
전환: 유사도 점수가 사전 정의된 임계값 $\tau$ 에 도달하거나 (인내 한계에 도달할 때까지) 커리큘럼은 다음 교사 블록( $T_{m+1}$ )으로 넘어갑니다.
효율성: 이 메커니즘을 통해 학생이 학습할 준비가 될 때까지 교사의 깊은 레이어를 계산하지 않음으로써 **교사 추론의 조기 종료(early stopping)**가 가능해집니다.

손실 함수는 단일 레이어 선형 투영기를 통해 정렬된 학생의 최종 특징과 현재 교사 타겟 사이의 평균 제곱 오차(MSE)를 최소화합니다.

주요 기여

LEAP 커리큘럼: 수동 레이어 할당이나 중간 특징 선택의 필요성을 제거한, 특징 기반 ViT 증류를 위한 새로운 레이어 스킵 커리큘럼입니다. 이는 유사성 지표를 바탕으로 각 단계에서 가장 "쉬운" 타겟을 동적으로 선택합니다.
강건성 및 분석: 다양한 학생 용량(ViT-Small, Vi-Tiny)과 데이터셋 규모(ImageNet-100, ImageNet-1K)에 걸친 커리큘럼의 강건성에 대한 철저한 분석을 제공합니다. 저자들은 증류된 모델이 이미지 레벨, 인스턴스 레벨, 픽셀 레벨 작업 전반에서 다재다능함을 유지함을 검증했습니다.
효율성 이득: 적응형 진행은 깊은 교사 레이어의 추론을 연기함으로써 훈련 계산 비용(FLOPs)과 실제 실행 시간(wall-clock time)을 크게 절감합니다.

실험 결과

ImageNet-100 (절제 연구 및 튜닝)

정확도: LEAP로 증류된 ViT-S는 **90.1%**의 선형 프로빙 정확도를 달성하여 베이스라인 대비 +12.24% 향상되었습니다. ViT-Tiny는 75.90%에서 **81.76%**로 개선되었습니다.
효율성: 커리큘럼은 교사 추론의 조기 종료를 통해 훈련 FLOPs를 각각 25.1%(ViT-S) 및 28.8%(ViT-Tiny) 감소시켰으며, 훈련 시간을 각각 21% 및 22.5% 단축했습니다.
강건성: 클린 정확도의 향상은 mini-ImageNet-C에서의 분포 외(out-of-distribution) 강건성으로도 이어졌습니다.

다운스트림 작업 (ImageNet-100)

인스턴스 검색 (Instance Retrieval): Oxford 및 Paris 데이터셋에서 LEAP로 증류된 ViT-S는 베이스라인 대비 Paris에서 7.75%, Oxford에서 **3.84%**의 mAP 향상을 보이며 상당한 이득을 나타냈습니다.
의미론적 분할 (Semantic Segmentation): ADE20K에서 LEAP는 모든 프로토콜(Linear Segmentation, EOMT, Multi-Scale)에서 mIoU를 크게 개선했습니다. ViT-S의 경우, Linear Segmentation에서 mIoU가 12.15%에서 **20.53%**로, EOMT에서는 24.49%에서 **38.10%**로 증가했습니다.

ImageNet-1K (확장성)

검색: LEAP는 강력한 성능을 유지하며 Paris 데이터셋에서 7.75%, Oxford에서 **3.84%**의 mAP 향상을 달성했습니다.
분류 및 분할: 대규모 분류(선형 프로빙) 및 분할에서 LEAP는 경쟁력 있는 결과를 얻으며 베이스라인과의 격차를 좁혔습니다. 저자들은 이 데이터셋에서 글로벌 분류에 대한 거대한 이득이 부족한 이유를 컴팩트한 학생 모델의 "아키텍처 용량 천장(architectural capacity ceiling)" 때문이라고 설명합니다.
효율성: 이 규모에서는 절감 효과가 더 완만했지만(ViT-Tiny 기준 11.51% FLOP 감소), 특징의 무결성을 유지했음을 검색 성능 향상을 통해 입증했습니다.

절제 연구 (Ablation Studies)

점진적 vs. 정적 (Progressive vs. Static): LEAP는 모든 단일 레이어 정적 감독 전략보다 우수한 성능을 보였으며, 이는 이점이 단일 "최적" 레이어가 아닌 구조화된 진행에서 온다는 것을 확인시켜 줍니다.
조밀한 정렬 대비 (vs. Dense Alignment): 12개의 투사기를 사용하는 조밀한 일대일 레이어 정렬과 비교했을 때, 단 하나의 투사기만을 사용하는 LEAP는 거의 동일한 성능(83.36% vs. 83.38% 선형 프로빙)을 달성하여 높은 구조적 효율성을 입증했습니다.

의의 및 주장

본 논문은 LEAP가 학생의 진화하는 역량을 존중함으로써 수렴을 가속화하고 최종 특징 정렬을 개선하는 구조화된 학습 경로를 제공한다고 주장합니다. 교사의 표현 공간을 정적인 타겟이 아닌 커리큘럼으로 취급함으로써, LEAP는 다음을 달립니다:

수렴 가속화: 학생은 고차원적 추상화를 다루기 전에 안정적인 기초를 구축합니다.
계산 비용 감소: 교사 추론의 조기 종료를 통해 훈련 FLop를 크게 낮춥니다.
다재다능함 강화: 증류된 모델은 증류 과정의 작업별 미세 조정 없이도 다양한 다운스트림 작업(분할, 검색, 분류)에 적응할 수 있는 능력을 유지합니다.

저자들은 중간 특징에 접근 가능한 **화이트박스 교사(white-box teacher)**가 필요하다는 점과 대규모 데이터셋에서 (CKA 임계값 설정과 같은) 하이퍼파라미터 튜닝이 최적이 아닐 수 있다는 한계를 인정합니다. 향후 연구로 교차 아키텍처 증류(예: Transformer에서 CNN으로) 및 멀티모달 시나리오를 제안합니다.