Random Wins All: Rethinking Grouping Strategies for Vision Tokens

이 논문은 비전 트랜스포머의 토큰 그룹화 전략에 대한 복잡한 설계가 불필요하며, 위치 정보와 헤드 다양성 등 네 가지 핵심 조건만 충족된다면 단순한 무작위 그룹화 전략이 다양한 시각 작업 및 다른 모달리티에서 기존 방법들을 능가하는 성능을 발휘함을 실험과 분석을 통해 증명합니다.

핵심

🎲 "랜덤이 최고다!" 비전 트랜스포머의 새로운 비밀

이 논문은 "복잡한 규칙을 다 버리고, 그냥 무작위로 섞어도 더 잘한다?" 라는 놀라운 질문에서 시작합니다.

컴퓨터가 사진을 보고 이해하는 기술 (비전 트랜스포머) 을 만들 때, 연구자들은 항상 "어떻게 하면 더 똑똑하게 만들까?" 고민하며 복잡한 규칙을 만들어왔습니다. 하지만 이 논문은 "아니, 그 복잡한 규칙들은 사실 필요 없을지도 몰라" 라고 말하며, 아주 단순한 랜덤 (무작위) 전략을 제안합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 기존 방식: "정해진 좌석표" vs "랜덤 좌석"

기존의 복잡한 방법들 (Swin Transformer 등):
사진을 컴퓨터가 볼 때, 이미지를 작은 조각 (토큰) 으로 나눕니다. 기존 연구자들은 이 조각들을 처리할 때 아주 정교한 규칙을 세웠습니다.

• 비유: 마치 대형 콘서트장이나 기차에 탑승할 때, "A 구역은 창가, B 구역은 복도" 처럼 미리 정해진 좌석표 (규칙) 에 따라 사람들을 배치하는 것과 같습니다.
• 문제점: 이 좌석표를 만들고 관리하는 과정이 너무 복잡하고, 계산하는 데 시간이 많이 걸립니다.

이 논문의 제안 (랜덤 그룹링):
연구자들은 "과연 이렇게 정교하게 좌석을 배정해야 할까?"라고 의문을 품었습니다. 대신 그들은 아무 규칙 없이, 그냥 주사위를 굴려서 사람들을 무작위로 섞어 그룹을 만듭니다.

• 비유: 기차에 탈 때 좌석표 없이, "누가 먼저 타든 상관없이 빈 자리에 앉으세요!" 라고 하는 것과 같습니다.
• 결과: 놀랍게도, 이 무작위 섞기가 복잡한 좌석표 방식보다 더 빠르고, 더 똑똑한 결과를 냈습니다!

---

2. 왜 무작위가 더 잘할까? (4 가지 핵심 열쇠)

"무작위라면 엉망이 되지 않겠어?"라고 생각하실 수 있습니다. 하지만 이 논문은 무작위가 성공한 데에는 4 가지 중요한 조건이 있었다고 설명합니다.

🔑 1. 위치 정보 (주소표)

• 상황: 무작위로 섞으면 "이 사람은 원래 어디에 있었지?"를 모를 수 있습니다.
• 해결: 컴퓨터는 각 조각이 원래 사진의 어디에 있었는지 (위치 정보) 를 알려주는 '주소표'를 붙여줍니다.
• 비유: 무작위로 섞인 파티에 초대장을 주면, 사람들은 "아, 나는 원래 이 테이블에 앉아야 했구나"라고 기억하며 제자리를 찾습니다. 위치 정보가 없으면 혼란이 생깁니다.

🔑 2. 다양한 시선 (헤드 다양성)

• 상황: 컴퓨터는 여러 개의 '눈 (헤드)'을 가지고 사진을 봅니다.
• 해결: 모든 눈이 똑같은 규칙으로 무작위 섞기를 하면, 모든 눈이 똑같은 것만 보게 됩니다. 하지만 각 눈마다 서로 다른 주사위 (랜덤 규칙) 를 쓰게 하면, 한 눈은 A 를 보고 다른 눈은 B 를 보는 식으로 다양한 관점을 얻습니다.
• 비유: 같은 반 친구들이 모두 같은 책을 읽으면 생각이 비슷해지지만, 각자 다른 책을 읽으면 (다양성) 더 풍부한 지식이 생기는 것과 같습니다.

🔑 3. 넓은 시야 (전체적인 맥락)

• 상황: 너무 작은 방 (그룹) 에만 가두면, 멀리 있는 친구를 볼 수 없습니다.
• 해결: 무작위 섞기는 작은 방에 가두지 않고, 전체 공간에 흩어져서도 서로 연결될 수 있게 합니다.
• 비유: 교실 전체를 작은 방으로 나누지 않고, 교실 구석구석에 있는 친구들이 서로 대화할 수 있게 하면 (전체 시야), 더 좋은 아이디어가 나옵니다.

🔑 4. 고정된 패턴 (일관성)

• 상황: 매번 완전히 새로운 무작위 규칙을 쓴다면?
• 해결: 중요한 점은 "한 번 정해진 무작위 규칙은 모든 사진에 똑같이 적용된다" 는 것입니다. 매번 규칙이 바뀌면 컴퓨터가 혼란을 겪습니다.
• 비유: 매일 아침마다 집 문이 어디에 있는지 달라진다면 (매번 다른 규칙) 집을 못 찾지만, 문 위치는 매일 같고 (고정된 패턴) 사람만 무작위로 들어오게 하면, 집은 안정적으로 유지됩니다.

---

3. 결론: 복잡한 것은 필요 없다!

이 논문의 핵심 메시지는 다음과 같습니다.

"우리는 너무 복잡한 규칙을 만들려고 애쓰지 않아도 됩니다. 중요한 것은 '위치', '다양성', '넓은 시야', '일관성'만 지켜주면, 아주 단순한 '무작위 섞기'만으로도 최고의 성능을 낼 수 있다는 것입니다."

실제 효과:

• 속도: 복잡한 규칙을 계산할 필요가 없으니, 처리 속도가 훨씬 빠릅니다.
• 성능: 이미지 분류, 물체 감지 (자동차나 사람 찾기), 3D 점구름 처리, 심지어 AI 와 대화하는 모델 (LLaVA) 까지 모든 분야에서 기존 복잡한 방법들을 이겼습니다.

한 줄 요약:

"복잡한 지도를 가지고 길을 찾는 대신, 나침반 (위치 정보) 만 들고 자유롭게 걷는 것이 오히려 더 빠르고 정확한 길에 도달할 수 있다!"

이 연구는 AI 개발자들이 "더 복잡하게" 만드는 것에 집착하기보다, "단순하고 본질적인 것"을 다시 생각하게 만드는 중요한 계기가 될 것입니다.

기술 요약

1. 문제 제기 (Problem)

비전 트랜스포머 (Vision Transformer) 는 이미지 분류, 객체 감지, 세그멘테이션 등 다양한 컴퓨터 비전 작업에서 뛰어난 성능을 보이지만, 핵심 연산인 **자기 주의 (Self-Attention) 의 이차적 복잡도 (Quadratic Complexity)**로 인해 계산 비용이 토큰 수의 제곱에 비례하여 급증하는 문제가 있습니다.

이 문제를 해결하기 위해 기존 연구들은 토큰 그룹화 (Token Grouping) 전략을 도입했습니다.

• 기존 접근법: Swin Transformer(비중첩 윈도우), Quadtree(계층적 트리 구조), BiFormer(양방향 라우팅) 등 정교하게 설계된 그룹화 방식을 사용하여 계산량을 줄이고 효율성을 높였습니다.
• 핵심 질문: 이러한 복잡하고 정교하게 설계된 그룹화 방법들이 정말로 필수적인가? 더 단순하고 통합된 방법이 존재할 수 있는가?

저자들은 기존 방법들이 그룹화 과정의 복잡성으로 인해 효율성과 배포에 어려움을 초래한다고 지적하며, **"단순한 무작위 그룹화 (Random Grouping)"**가 오히려 더 나은 성능을 낼 수 있다는 가설을 제시합니다.

2. 방법론 (Methodology)

논문은 Random Grouping Strategy를 제안합니다. 이는 매우 간단하고 빠른 토큰 그룹화 방식입니다.

• 작동 원리:

  1. 랜덤 텐서 생성: 입력 토큰의 해상도 ($h \times w$) 에 맞춰 랜덤 텐서 $P$를 생성합니다.
  2. 정렬 및 그룹화: $P$를 내림차순으로 정렬하고, 이에 따라 입력 토큰 $X$를 재배열합니다. 재배열된 토큰을 균등하게 분할하여 그룹을 형성합니다.
  3. 적용: 각 그룹 내에서 자기 주의 (Self-Attention) 또는 풀링 (Pooling) 연산을 수행합니다.
  4. 고해상도 대응: 객체 감지 등 고해상도 작업 시에는 생성된 $P$를 최근접 보간 (Nearest-neighbor interpolation) 으로 조정하여 적용합니다.
  5. 멀티헤드 설정: 각 어텐션 헤드가 서로 다른 랜덤 텐서를 사용하여 그룹화되도록 하여 헤드의 다양성을 확보합니다.

• 핵심 특징:

  • 복잡한 계산이나 학습 과정 없이, 단순히 토큰을 무작위로 섞어 그룹화합니다.
  • 기존 백본 (Swin, Quadtree, BiFormer, PVT 등) 의 그룹화 로직을 이 단순한 랜덤 로직으로만 교체하여 실험합니다.

3. 주요 기여 (Key Contributions)

1. 단순한 랜덤 그룹화 전략 제안: Vision Transformer 의 복잡도와 계산 부하를 줄이기 위해, 복잡한 설계 없이 무작위 그룹화를 적용하는 방법을 제안했습니다.
2. 광범위한 실험을 통한 검증: 이미지 분류, 객체 감지, 인스턴스/시맨틱 세그멘테이션, 포인트 클라우드 처리, 그리고 비전 - 언어 모델 (LLaVA) 에 이르기까지 다양한 태스크와 백본에서 제안된 방법이 기존 정교한 방법들보다 우수한 성능과 추론 속도를 보임을 입증했습니다.
3. 성능 향상의 원인 분석 (4 가지 핵심 요소): 무작위 그룹화가 왜 잘 작동하는지 분석하여, 그룹화 전략 설계에 필수적인 4 가지 요소를 규명했습니다.
   • 위치 정보 (Positional Information): 무작위 그룹화는 국소적 편향 (Local Bias) 을 제거하므로, 위치 인코딩 (CPE 등) 이 필수적입니다.
   • 헤드 특징 다양성 (Head Feature Diversity): 각 헤드가 서로 다른 랜덤 패턴을 사용할 때 헤들 간의 특징 유사도가 낮아지고 성능이 향상됩니다.
   • 전역 수용野 (Global Receptive Field): 완전한 국소 그룹화가 아닌, 일부 전역 정보를 포착할 수 있는 구조가 중요합니다.
   • 고정된 그룹화 패턴 (Fixed Grouping Pattern): 입력 이미지마다 그룹화 방식이 완전히 달라지는 것이 아니라, 생성된 랜덤 텐서가 고정되어 일관된 패턴을 유지해야 합니다.

4. 실험 결과 (Results)

다양한 벤치마크에서 제안된 Random Grouping이 기존 SOTA 방법들을 압도하는 결과를 보였습니다.

• 이미지 분류 (ImageNet-1K):
  • Swin Transformer 대비: Small 모델에서 +0.9%, Base 모델에서 +0.9%, Large 모델에서 +1.3% 의 Top-1 정확도 향상.
  • Quadtree 대비: 3 배 이상의 추론 속도 향상과 동시에 성능도 개선.
  • BiFormer 등 다른 그룹화 방법들보다도 높은 정확도와 빠른 속도를 기록.
• 객체 감지 및 인스턴스 세그멘테이션 (COCO):
  • Mask R-CNN 및 RetinaNet 백본 적용 시, 기존 Swin 기반 모델 대비 AP (Average Precision) 가 크게 향상됨 (예: Random-Swin-S 는 +0.9 AP 향상).
• 시맨틱 세그멘테이션:
  • Semantic FPN 및 UperNet 프레임워크에서 BiFormer 등 복잡한 방법 대비 mIoU 가 +1.1~+1.2 포인트 향상.
• 기타 태스크:
  • 포인트 클라우드: Point Transformer v3 대비 지연 시간 (Latency) 감소 및 성능 향상.
  • 비전 - 언어 모델 (LLaVA): 랜덤 패턴 적용 시 모든 벤치마크 (VQAT, MME, GQA 등) 에서 성능 향상.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 **"복잡한 그룹화 전략이 정말로 필요한가?"**라는 근본적인 질문에 대해 **"아니다"**라고 답하며, 단순함의 힘을 증명했습니다.

• 패러다임 전환: 토큰 그룹화 설계에 있어 복잡한 구조나 휴리스틱이 필수적이지 않으며, 위치 정보, 헤드 다양성, 전역 수용野, 고정된 패턴이라는 4 가지 조건만 충족되면, 매우 단순한 무작위 그룹화만으로도 최상의 성능을 달성할 수 있음을 보였습니다.
• 실용성: 구현이 쉽고 계산 오버헤드가 적어 실제 배포 환경에서 효율적인 비전 트랜스포머를 구축하는 데 큰 기여를 할 것으로 기대됩니다.
• 일반화: 비전 작업뿐만 아니라 포인트 클라우드 및 멀티모달 모델까지 적용 가능하여 범용적인 유효성을 입증했습니다.

결론적으로, 이 연구는 Vision Transformer 의 효율성 문제를 해결하기 위해 불필요한 복잡성을 제거하고, 핵심 요소에 집중하는 단순한 접근법의 우월성을 제시합니다.