🤖 machine learning

Accelerating Vision Transformers with Adaptive Patch Sizes

이 논문은 이미지 내의 균일한 영역에는 큰 패치를, 복잡한 영역에는 작은 패치를 할당하여 토큰 수를 줄이고 성능을 유지하면서 비전 트랜스포머의 학습 및 추론 속도를 획기적으로 개선하는 '적응형 패치 트랜스포머 (APT)'를 제안합니다.

원저자: Rohan Choudhury, JungEun Kim, Jinhyung Park, Eunho Yang, László A. Jeni, Kris M. Kitani

게시일 2026-04-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rohan Choudhury, JungEun Kim, Jinhyung Park, Eunho Yang, László A. Jeni, Kris M. Kitani

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🖼️ 1. 기존 방식의 문제점: "모든 사진을 똑같은 크기로 자르다"

기존의 AI 는 사진을 볼 때, 마치 모자이크 타일을 깔듯이 이미지를 똑같은 크기의 작은 사각형 (패치) 으로 잘라냅니다.

상황: 하늘이 맑고 구름 한 점 없는 사진과, 사람이 가득 찬 복잡한 거리 사진을 비교해 봅시다.
기존 AI 의 행동: 두 사진 모두 똑같은 크기의 타일 (예: 16x16 픽셀) 로 잘라냅니다.
- 하늘 사진: 넓은 하늘 부분도 16x16 조각으로 쪼개서 100 개나 되는 조각을 만들어 AI 에게 보여줍니다. (불필요한 정보 과부하)
- 거리 사진: 복잡한 사람 얼굴 부분도 똑같이 16x16 조각으로 쪼갭니다.
결과: AI 는 단순한 하늘 부분에서도 복잡한 거리 부분과 똑같은 양의 일을 합니다. 이는 시간과 전력을 낭비하는 꼴입니다.

🧩 2. APT 의 해결책: "내용에 따라 조각 크기를 조절하다"

이 논문이 제안한 APT는 **"사진의 내용을 보고 조각 크기를 유동적으로 바꾼다"**는 아이디어입니다.

비유: 사진을 퍼즐로 만든다고 상상해 보세요.
- 단순한 부분 (하늘, 벽, 바다): 내용이 단순하고 반복되니까, 큰 퍼즐 조각으로 한 번에 덮어버립니다. (예: 64x64 픽셀)
- 복잡한 부분 (사람 얼굴, 나무 잎사귀, 글자): 디테일이 많으니까, 작은 퍼즐 조각으로 정교하게 잘라냅니다. (예: 16x16 픽셀)
효과:
- AI 가 처리해야 하는 '조각 (토큰)'의 총 개수가 확 줄어듭니다.
- 단순한 부분은 큰 조각으로 빠르게 넘기고, 중요한 부분에만 집중하므로 처리 속도가 40~50% 빨라집니다.

🚀 3. 왜 이것이 혁신적인가요? (핵심 장점)

이 기술은 단순히 "조금 더 빠르다"를 넘어선 몇 가지 놀라운 특징이 있습니다.

기존 AI 를 바로 쓸 수 있음 (레고 블록처럼):
- 이미 훈련된 AI 모델을 뜯어고칠 필요 없이, 이 '조각 자르기 기술'만 적용하면 됩니다. 마치 기존 레고 조립에 새로운 연결 부품을 끼우는 것처럼 쉽습니다.
1 번만 훈련하면 됨 (순간 습득):
- 보통 새로운 기술을 적용하려면 AI 를 다시 길게 훈련시켜야 하지만, APT 는 **1 번만 훈련 (1 Epoch)**해도 원래 성능을 회복합니다. 마치 새로운 운전법을 배우는 데 1 시간만 걸리는 것과 같습니다.
고화질 사진도 가볍게:
- 고해상도 사진일수록 조각 수가 기하급수적으로 늘어나는데, APT 는 복잡한 부분만 잘게 자르고 나머지는 크게 자르기 때문에, 고화질 사진 처리 속도가 최대 94% 까지 빨라지기도 합니다.

🎯 4. 실제 활용 사례

이 기술은 사진 분류뿐만 아니라 다양한 분야에서 작동합니다.

질문과 답하기 (VQA): "이 사진에서 개가 무슨 색이야?"라고 물었을 때, 배경은 크게, 개는 작게 자르므로 AI 가 개에 더 집중해서 빨리 답합니다.
물체 감지 (Object Detection): 차나 사람을 찾을 때, 배경은 빠르게 넘기고 사람/차 주변은 정밀하게 분석하여 정확도를 유지하면서 속도를 높입니다.
이미지 분할 (Semantic Segmentation): 픽셀 단위로 사물을 구분할 때도, 중요한 경계선만 잘게 자르고 나머지는 크게 자르므로 정밀도를 잃지 않습니다.

💡 요약

이 논문은 **"모든 것을 똑같이 처리하지 말고, 중요한 곳에 집중하고 단순한 곳은 대충 처리하자"**는 지혜를 AI 에게 심어주었습니다.

기존의 AI 가 **모든 사진을 똑같은 크기의 작은 타일로 자르는 '일률적인 기계'**였다면, APT 를 적용한 AI 는 **내용을 보고 똑똑하게 조각 크기를 조절하는 '유연한 예술가'**가 됩니다. 그 결과, AI 는 더 적은 노력으로 더 빠르고 똑똑하게 세상을 이해하게 되었습니다.

Adaptive Patch Transformers (APT) 기술 요약

이 논문은 비전 트랜스포머 (Vision Transformers, ViT) 의 확장성 한계를 해결하기 위해 제안된 **적응형 패치 트랜스포머 (Adaptive Patch Transformer, APT)**에 대한 연구입니다. ICLR 2026 에 발표된 이 논문은 고정된 패치 크기를 사용하는 기존 ViT 의 비효율성을 극복하고, 이미지 콘텐츠에 따라 동적으로 패치 크기를 조절하여 추론 및 학습 속도를 획기적으로 개선하는 방법을 제시합니다.

1. 문제 제기 (Problem)

기존의 비전 트랜스포머 (ViT) 는 입력 이미지를 **고정된 크기의 패치 (예: 16x16)**로 균일하게 분할하여 토큰 시퀀스로 변환합니다. 이 방식에는 두 가지 주요 문제가 있습니다.

비효율적인 계산: 이미지의 콘텐츠와 무관하게 모든 영역에 동일한 계산량을 할당합니다. 예를 들어, 단순한 배경 (하늘, 벽 등) 과 복잡한 디테일 (얼굴, 물체 등) 에 동일한 수의 토큰을 생성하므로, 고해상도 이미지일수록 불필요한 토큰 수가 급증하여 계산 비용이 기하급수적으로 증가합니다.
기존 방법의 한계: 기존 토큰 축소 방법들은 주로 토큰을 임의로 제거 (Pruning) 하거나 유사한 토큰을 병합 (Merging) 하는 방식을 사용합니다. 그러나 고정된 축소 비율은 이미지 복잡도에 맞지 않으며, 추론 시 패딩 (padding) 이나 불규칙한 형태를 생성하여 실제 속도 향상을 방해하는 경우가 많습니다. 또한, 많은 방법들이 학습 속도를 높이지 못하거나 배치 크기 1 이상에서 추론이 어렵습니다.

2. 방법론 (Methodology)

APT 는 자연어 처리 모델의 적응형 토큰라이저 (Byte-Pair Encoding 등) 에서 영감을 받아, 이미지 내의 콘텐츠 복잡도에 따라 패치 크기를 동적으로 조절합니다.

2.1. 적응형 패치 크기 할당 (Adaptive Patch Sizing)

엔트로피 기반 결정: 이미지 영역의 정보량 (복잡도) 을 측정하기 위해 **엔트로피 (Entropy)**를 사용합니다. 엔트로피가 낮은 영역 (단순하고 반복적인 배경) 은 큰 패치 (예: 64x64) 로, 엔트로피가 높은 영역 (복잡한 디테일) 은 작은 패치 (예: 16x16) 로 분할합니다.
계층적 분할 (Quadtree 구조): 이미지는 최상위 스케일 (가장 큰 패치) 로 시작하여 엔트로피 임계값 ( $\tau$ ) 을 기준으로 하위 스케일로 재분할됩니다. 이 과정은 최소 패치 크기 (기본 ViT 패치 크기) 에 도달할 때까지 반복됩니다.
결과: 동일한 이미지라도 콘텐츠에 따라 토큰 수가 크게 줄어들며, 고해상도 이미지일수록 축소 효과가 극대화됩니다.

2.2. 패치 집계 및 임베딩 (Patch Aggregation)

서로 다른 크기의 패치를 트랜스포머의 일관된 임베딩 차원으로 변환하기 위해 다음과 같은 전략을 사용합니다:

Zero-initialized MLP: 큰 패치는 하위 패치 (sub-patches) 로 분할하여 임베딩한 후, 이를 컨볼루션 레이어로 집계합니다. 이때 **0 으로 초기화된 MLP (Zero-initialized MLP)**를 사용하여 원래 큰 패치의 임베딩과 결합합니다.
효과: 이 방식은 초기 학습 단계에서 모델 성능을 저하시키지 않으면서 (Zero-initialized 연결은 새로운 정보를 점진적으로 통합하도록 설계됨), 미세 조정 (Fine-tuning) 시 1 에포크 이내로 원래 모델의 성능을 회복하도록 돕습니다.

2.3. 동적 입력 처리 (Dynamic Input Handling)

시퀀스 패킹 (Sequence Packing): 이미지마다 토큰 수가 다르기 때문에, 배치 내 모든 토큰을 하나의 긴 시퀀스로 연결하고 블록 대각선 마스크 (block-diagonal mask) 를 사용하여 서로 다른 이미지의 토큰 간 주의를 제한합니다. 이는 FlashAttention 과 같은 최적화된 어텐션 백엔드와 호환되어 오버헤드 없이 처리됩니다.
위치 인코딩: 가변 길이의 시퀀스를 처리하기 위해 NaViT 에서 제안된 **위치 인코딩 보간법 (Interpolation)**을 사용하여 다양한 스케일의 패치에 대해 공간적 일관성을 유지합니다.

3. 주요 기여 (Key Contributions)

APT 아키텍처 제안: 이미지 콘텐츠에 따라 패치 크기를 동적으로 조절하여 ViT 의 입력 토큰 수를 획기적으로 줄이는 새로운 방법론을 제시했습니다.
초고속 수렴 및 호환성: 사전 학습된 ViT 모델에 바로 적용 가능하며, 1 에포크의 미세 조정만으로도 기존 모델과 동등한 성능을 달성합니다. 이는 기존 방법들이 수십 에포크의 학습을 요구하는 것과 대조적입니다.
다양한 작업 확장: 단순한 이미지 분류뿐만 아니라, 객체 감지 (Object Detection), 시맨틱 세그멘테이션 (Semantic Segmentation), 비주얼 질문 응답 (VQA) 과 같은 밀집 예측 (Dense Prediction) 및 비주얼 - 언어 작업에서도 높은 성능을 유지하면서 속도를 향상시킵니다.

4. 실험 결과 (Results)

실험은 ImageNet 분류, VQA (LLaVA), 객체 감지 (EVA-02), 시맨틱 세그멘테이션 (ADE20K) 등 다양한 작업에서 수행되었습니다.

속도 향상:
- ViT-L 모델에서 40%, ViT-H 모델에서 **50%**의 처리량 (Throughput) 증가를 달성했습니다.
- 고해상도 이미지 (예: 448x448) 일수록 속도 향상 폭이 커져 최대 **94%**까지 빨라지기도 했습니다.
- 학습 및 추론 시간 모두 30% 이상 단축되었습니다.
성능 유지:
- ImageNet 분류에서 APT 는 기존 ViT 와 동일한 정확도를 유지하거나, 미세 조정 후 오히려 더 높은 정확도를 기록했습니다.
- VQA, 객체 감지, 세그멘테이션 작업에서도 베이스라인 모델과 동등하거나 더 나은 성능을 보여주며, 토큰 수 감소에도 불구하고 시각적 정밀도가 유지됨을 입증했습니다.
비교 우위: 기존 토큰 병합 (Token Merging) 이나 가지치기 (Pruning) 기반 방법들보다 FlashAttention 호환성으로 인해 더 높은 실제 속도 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 ViT 의 계산 효율성 문제를 해결하는 중요한 전환점을 제시합니다.

실용성: 별도의 복잡한 학습 과정 없이 사전 학습된 모델에 쉽게 적용할 수 있어, 실제 산업 환경에서의 도입 장벽을 낮춥니다.
자원 절감: 고해상도 이미지 처리에 필요한 계산 자원 (GPU 시간, 전력) 을 대폭 절감하여, 대규모 모델의 학습 및 배포 비용을 줄여줍니다.
미래 지향성: 고정된 패치 크기의 한계를 넘어, 콘텐츠 인식형 (Content-aware) 토큰화 전략이 비전 모델의 표준이 될 수 있음을 시사합니다.

결론적으로, APT 는 ViT 의 확장성을 제한하던 병목 현상을 해결하면서도 성능 저하 없이 학습 및 추론 속도를 획기적으로 가속화하는 강력한 솔루션입니다.