Revisiting Model Stitching In the Foundation Model Era

이 논문은 비동종 비전 기반 모델 (VFMs) 간의 레이어 연결을 위한 새로운 스티칭 프로토콜을 제시하여, 단순한 진단 도구를 넘어 모델 간 표현의 정합성을 파악하고 다양한 강점을 결합한 효율적인 멀티모달 시스템 구축을 가능하게 함을 보여줍니다.

핵심

🧩 "모델 스티칭 (Model Stitching)"의 재발견: 서로 다른 AI 의 지식을 하나로 엮다

이 논문은 최근 인공지능 (AI) 분야에서 큰 화제를 모으고 있는 **'비전 파운데이션 모델 (Vision Foundation Models, VFMs)'**에 대한 흥미로운 실험 결과를 담고 있습니다.

쉽게 말해, **"서로 다른 배경을 가진 두 명의 AI 전문가를 만나게 해서, 한 사람의 초기 학습 경험과 다른 사람의 최종 판단 능력을 연결하면 더 똑똑한 AI 를 만들 수 있을까?"**라는 질문에서 시작합니다.

---

1. 배경: 왜 이 연구를 했나요?

과거에는 AI 모델을 만들 때, 모든 것을 처음부터 새로 가르치는 (훈련하는) 방식이 일반적이었습니다. 하지만 요즘은 CLIP, DINOv2 같은 거대 AI 모델들이 이미 인터넷의 수많은 이미지와 텍스트를 학습해 놓았습니다.

• CLIP: 이미지와 텍스트의 관계를 잘 이해하는 '언어형' AI.
• DINOv2: 이미지의 세부적인 질감과 구조를 잘 파악하는 '시각형' AI.

이 두 AI 는 각자 다른 목적과 데이터로 훈련되었기 때문에, 서로의 '생각 방식 (표현)'이 완전히 다를 것이라고 여겨졌습니다. 마치 한국어만 하는 사람과 프랑스어만 하는 사람이 서로 대화할 수 있을까? 하는 질문과 비슷합니다.

2. 핵심 아이디어: '스티칭 (Stitching)'이란 무엇인가요?

논문의 제목인 '스티칭 (Stitching)'은 **'바느질'**을 의미합니다.

• 시나리오: AI 모델은 레이어 (층) 가 여러 겹으로 쌓인 구조입니다.
  • Source (출발지): 한 AI 의 초반 레이어 (기본적인 눈, 귀 기능).
  • Target (도착지): 다른 AI 의 후반 레이어 (복잡한 판단, 결론 도출).
  • Stitch Layer (바느질 실): 이 두 부분을 이어주는 아주 얇은 연결 고리.

연구진은 **"서로 다른 AI 의 초반부와 후반부를 이 얇은 실로 이어붙여도, 원래 AI 들만큼 잘 작동할까?"**를 확인했습니다.

3. 주요 발견: 실패한 방법과 성공한 비법

연구진은 기존에 쓰이던 두 가지 방법을 시도해 보았지만, 큰 AI 들에게는 효과가 없었습니다.

• ❌ 실패한 방법 1 (단순 연결): 중간 단계의 특징만 맞추려고 노력함. (예: "이게 코야, 저게 눈이야"만 맞추기)
• ❌ 실패한 방법 2 (결과만 맞추기): 최종 문제 풀이 점수만 보고 바느질 실을 조정함. (초반 레이어에서는 너무 어렵게 느껴져서 실패함)

✅ 성공한 비법 (두 단계 훈련법):
연구진은 새로운 방법을 개발했습니다.

1. 1 단계 (마지막 결과 미리 보기): 바느질 실을 훈련할 때, 중간이 아닌 **AI 가 최종적으로 내놓는 결론 (이미지 특징)**을 맞추도록 가르칩니다. 마치 "이 그림이 '강아지'인지 '고양이'인지 최종 판단을 미리 맞춰보게" 하는 것입니다.
2. 2 단계 (실제 문제 풀이): 그 다음에 실제 시험 문제 (분류 작업) 를 풀며 다듬습니다.

이 방법을 쓰니, 서로 다른 AI 들을 이어붙여도 오히려 원래 AI 들보다 더 잘하는 경우가 나왔습니다!

4. 왜 더 잘할까요? (시너지 효과)

서로 다른 AI 를 이어붙였을 때 성능이 오르는 이유는 '상호 보완' 때문입니다.

• 비유: 한 사람은 건축 구조를 잘 아는 엔지니어 (DINOv2) 이고, 다른 사람은 디자인과 의미를 잘 아는 디자이너 (SigLIP) 입니다.
• 결과: 이 둘을 이어붙이면, 구조적 안정성 (엔지니어의 강점) 과 미적/의미적 이해 (디자이너의 강점) 를 모두 갖춘 완벽한 건축가가 됩니다.
• 핵심: 단순히 AI 의 능력을 더하는 게 아니라, 서로의 약점을 보완해주기 때문에 성능이 올라갑니다.

5. 실용적 응용: 'VFM 스티치 트리 (VST)'

이 기술을 이용해 더 효율적인 시스템을 만들 수 있습니다.

• 문제: 멀티모달 AI(이미지 + 텍스트) 를 만들 때, CLIP 과 DINOv2 두 모델을 모두 다 쓰면 컴퓨터 성능 (메모리, 속도) 이 2 배나 필요합니다.
• 해결책 (VST):
  • 두 AI 가 처음 14 개 레이어는 공유합니다. (같은 기초 교육)
  • 나중 10 개 레이어만 따로 가집니다. (전문 분야)
  • 효과: 성능은 거의 두 모델을 다 쓴 것과 비슷하지만, 컴퓨터 비용은 40% 만 듭니다.

이는 마치 두 명의 전문가가 처음에는 같은 사무실에서 기초 작업을 공유하다가, 마지막 단계에서 각자 전문 분야로 나뉘어 일하는 것과 같습니다.

6. 결론: 이 연구의 의미

이 논문은 단순한 실험을 넘어, AI 개발의 패러다임을 바꿉니다.

1. 진단 도구에서 실용 도구로: 예전에는 "이 두 AI 가 비슷하냐?"를 확인하는 진단 도구였지만, 이제는 **"서로 다른 AI 를 섞어서 더 좋은 AI 를 만드는 실용적인 레시피"**가 되었습니다.
2. 효율성: 더 많은 AI 를 쓰지 않아도, 기존 AI 들을 잘 조합하면 더 똑똑하고 빠른 시스템을 만들 수 있습니다.
3. 미래: 앞으로는 여러 AI 의 강점을 상황에 따라 유연하게 조합하는 '지식 융합' 시대가 올 것입니다.

한 줄 요약:

"서로 다른 배경을 가진 AI 전문가들을 얇은 실로 잘 이어붙이면, 서로의 약점을 보완해 더 똑똑하고 효율적인 '슈퍼 AI'를 만들 수 있다!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 비전 기초 모델 (Vision Foundation Models, VFMs) 은 대규모 이질적인 데이터와 다양한 목적 함수 (자기지도학습, 시각 - 언어 대비 학습 등) 로 학습되어 다양한 작업에서 뛰어난 성능을 보입니다.
• 핵심 질문: 서로 다른 데이터, 목적, 모달리티 (예: CLIP, DINOv2, SigLIP 2) 로 학습된 이질적인 VFMs 들은 내부 표현 (representation) 이 호환되는가? 즉, 한 모델의 초기 레이어와 다른 모델의 후기 레이어를 연결하는 모델 스티칭 (Model Stitching) 이 가능한가?
• 기존 방법의 한계: 기존 연구 (ResNet 등 소규모 모델) 에서는 동일한 데이터셋에서 학습된 모델들이 스티칭 가능함을 보였으나, VFMs 에서는 다음과 같은 문제가 발생했습니다.
  • Layer Feature Matching (LFM): 스티칭 지점에서 중간 특징을 맞추는 방식은 최종 출력 특징의 불일치를 유발하여 성능이 급격히 저하됨.
  • Task Loss Training (TLT): 하류 작업 손실 (Task Loss) 을 직접 최적화하는 방식은 얕은 (shallow) 스티칭 지점에서 경사 소실 및 최적화 난이도로 인해 실패함.

2. 제안 방법론 (Methodology)

저자들은 VFMs 의 스티칭을 성공적으로 수행하기 위한 체계적인 프로토콜과 새로운 학습 전략을 제안했습니다.

A. 스티칭 학습 전략의 개선 (Two-Stage Training)

기존의 단순한 특징 매칭이나 작업 손실 최적화의 실패 원인을 분석하고, 2 단계 학습 (Two-Stage Training) 방식을 제안했습니다.

1. Final Feature Matching (FFM, 1 단계):
   • 스티칭 레이어를 학습할 때, 스티칭 지점의 중간 특징이 아닌 타겟 모델의 최종 (penultimate) 특징을 직접 매칭하도록 L2 손실을 사용합니다.
   • 효과: 얕은 스티칭 지점에서도 최종 특징의 불일치를 크게 줄여주며, 이는 스티칭 레이어가 좋은 초기화 (Initialization) 를 갖도록 돕습니다.
2. Task Loss Training (TLT, 2 단계):
   • FFM 으로 초기화된 스티칭 레이어를 바탕으로 하류 작업 (분류, 세그멘테이션 등) 의 손실 함수를 사용하여 미세 조정 (Fine-tuning) 합니다.
   • 효과: 최적화 경사를 안정화시켜 최종 정확도를 극대화합니다.

B. VFM 스티칭 트리 (VFM Stitch Tree, VST)

• 개념: 여러 VFMs 을 병렬로 실행할 때 발생하는 연산/메모리 오버헤드를 줄이기 위해, 초기 레이어는 여러 모델이 공유하고, 후기 레이어는 모델별 전문성 (Specialization) 을 유지하는 아키텍처를 제안합니다.
• 구조: 공통된 얕은 레이어 (Shared Early Layers) 와 각 모델의 깊은 레이어 (Specialized Deep Layers) 를 스티칭 레이어로 연결합니다.
• 장점: 정확도와 지연 시간 (Latency) 사이의 조절 가능한 트레이드오프 (Knob) 를 제공합니다.

3. 주요 실험 결과 (Key Results)

A. 이질적 VFMs 의 스티칭 가능성 입증

• 성능 향상: 제안된 2 단계 학습 (FFM + TLT) 을 적용하면, DINOv2 와 SigLIP 2 와 같이 서로 다른 특성을 가진 모델들을 스티칭했을 때, 각각의 구성 모델 (Source, Target) 의 선형 프로빙 (Linear Probing) 성능을 일관되게 상회했습니다.
• 상호 보완적 지식 융합: 단순히 스티칭 레이어의 용량 (Capacity) 증가 때문이 아님을 증명하기 위해, 동일한 모델을 서로 연결한 'Self-Stitch' 베이스라인과 비교했습니다.
  • 결과: 이질적 모델 간 스티칭이 Self-Stitch 보다 일관되게 더 높은 성능을 보임 (예: +2.3% ~ +2.6% 향상). 이는 서로 다른 VFMs 간의 상호 보완적 지식 (Complementary Knowledge) 이 성공적으로 융합되었음을 의미합니다.
• 범용성: fMoW, iNaturalist, FGVC-Aircraft(분류) 와 ADE20K(세그멘테이션) 등 다양한 데이터셋과 작업에서 동일한 결과가 확인되었습니다. 또한 CLIP, DINOv3 등 다양한 모델 조합에서도 유효함이 입증되었습니다.

B. VFM 스티칭 트리 (VST) 의 효율성

• 리소스 절감: 멀티모달 LLM (예: MoF-LLaVA) 에서 두 개의 VFMs 을 모두 사용하는 경우 (Full) 대비, VST 를 사용하면 추가 리소스를 크게 줄이면서도 상당한 성능 향상을 얻었습니다.
  • VST-22: 전체 성능 향상의 45% 를 달성하면서 추가 리소스는 4.3% 만 소모.
  • VST-14: 전체 성능 향상의 84% 를 달성하면서 추가 리소스는 39% 만 소모.
• 이는 사용자가 컴퓨팅 예산에 따라 정확도와 효율성 사이의 균형을 유연하게 조절할 수 있음을 보여줍니다.

4. 주요 기여 (Contributions)

1. VFMs 에 대한 체계적인 스티칭 연구: 기초 모델 시대에서 이질적인 VFMs 들이 적절한 학습 전략 (FFM 기반 초기화 + TLT) 하에 신뢰할 수 있게 스티칭 가능함을 최초로 증명했습니다.
2. 학습 전략의 혁신: 기존 실패했던 스티칭 방법론의 한계를 극복하고, 최종 특징 매칭을 통한 초기화가 얕은 스티칭 지점에서의 성능 저하를 해결함을 보였습니다.
3. 실용적 아키텍처 제안 (VST): 멀티모달 시스템에서 여러 비전 인코더를 효율적으로 통합하는 새로운 아키텍처를 제안하여, 정확도와 지연 시간 사이의 조절 가능한 트레이드오프를 가능하게 했습니다.
4. 진단 도구에서 실용적 도구로의 전환: 모델 스티칭을 단순한 표현 분석 (Diagnostic Probe) 을 넘어, 상보적인 모델 강점을 통합하는 실용적인 방법론 (Practical Recipe) 으로 격상시켰습니다.

5. 의의 및 결론 (Significance)

이 논문은 기초 모델 (Foundation Models) 의 표현이 서로 얼마나 호환되는지에 대한 근본적인 질문에 답을 제시했습니다. 단순히 모델을 재학습하거나 새로운 모델을 만드는 대신, 기존에 학습된 다양한 VFMs 들을 유연하게 조합하여 상보적인 강점을 활용할 수 있음을 보여주었습니다. 특히 제안된 VST 는 멀티모달 LLM 의 배포 비용과 성능 사이의 딜레마를 해결할 수 있는 중요한 실마리를 제공하며, 향후 대규모 멀티모달 시스템의 설계와 확장성에 큰 영향을 미칠 것으로 기대됩니다.