Xray-Visual Models: Scaling Vision models on Industry Scale Data

이 논문은 페이스북과 인스타그램의 산업 규모 데이터를 활용하여 이미지와 비디오 이해를 위한 차세대 범용 비전 모델인 'Xray-Visual'을 제안하고, 이를 통해 다양한 벤치마크에서 최첨단 성능과 높은 효율성을 입증했습니다.

핵심

메타 AI 의 'Xray-Visual': 거대한 눈과 뇌를 가진 새로운 인공지능

이 논문은 메타 (Meta) 가 만든 **'Xray-Visual'**이라는 새로운 인공지능 모델을 소개합니다. 이 모델은 단순히 사진을 보는 것을 넘어, 수백억 개의 페이스북과 인스타그램 게시물을 학습하여 사진과 영상을 동시에 이해하는 '초능력'을 갖게 되었습니다.

복잡한 기술 용어 대신, 일상적인 비유를 통해 이 모델이 어떻게 작동하고 왜 특별한지 설명해 드리겠습니다.

---

1. 거대한 도서관과 요리사 (데이터의 규모)

일반적인 인공지능은 교과서 (공식 데이터) 만으로 배웁니다. 하지만 Xray-Visual 은 전 세계 사람들이 올린 1,000 억 개가 넘는 사진과 영상을 학습했습니다.

• 비유: 기존 모델이 '정제된 요리 교재'만 보고 요리법을 배운다면, Xray-Visual 은 전 세계의 **거대한 시장 (페이스북/인스타그램)**에 가서 수백만 명의 사람들이 실제로 만든 요리를 직접 보고, 맛보고, 설명을 들으며 배운 것입니다.
• 데이터 정제: 하지만 시장에는 쓰레기도 많고, 설명이 엉망인 요리도 있습니다. 그래서 연구팀은 **'최고의 요리사 (데이터 큐레이션 팀)'**를 투입했습니다. 이 팀은 불필요한 잡음 (이모지, URL 등) 을 걷어내고, 희귀한 재료 (드문 주제) 도 골고루 섞어 **가장 맛있는 레시피 (고품질 데이터)**만 남겼습니다.

2. 3 단계 훈련 과정 (학교 교육 시스템)

이 모델은 한 번에 모든 것을 배우지 않습니다. 마치 학생이 성장하듯 3 단계로 훈련됩니다.

1. 1 단계: 눈 감고 그림 그리기 (MAE)
   • 모델에게 사진의 일부를 가리고, 나머지 부분만 보고 가려진 부분을 상상해서 채우게 합니다.
   • 비유: 퍼즐 조각 중 일부만 주고, 나머지 조각이 어떻게 생겼을지 추측하는 게임입니다. 이를 통해 사물의 기본 구조를 익힙니다.
2. 2 단계: 태그 맞추기 (해시태그 분류)
   • 이제 사진에 맞는 해시태그를 맞춰보게 합니다. "이건 '강아지'야, '바다'야?"라고 묻는 것입니다.
   • 비유: 그림을 보고 제목을 짓는 연습을 통해 사물의 이름을 정확히 익힙니다.
3. 3 단계: 사진과 설명 연결하기 (CLIP 학습)
   • 마지막으로 사진과 그 사진에 대한 **세부적인 설명 (캡션)**을 짝짓게 합니다.
   • 비유: 사진과 그 사진에 대한 '이야기'를 완벽하게 연결하는 훈련입니다. 이때 **LLM(대형 언어 모델)**이라는 '유능한 번역가'를 고용해서 설명을 더 풍부하고 정확하게 이해하도록 돕습니다.

3. 효율적인 뇌 (EViT 기술)

기존의 거대 모델들은 사진을 볼 때 모든 픽셀을 꼼꼼히 분석하려다 컴퓨터가 너무 느려지거나 비싸게 작동했습니다.

• 비유: Xray-Visual 은 **'스마트한 눈 (EViT)'**을 가졌습니다. 사진의 모든 부분을 똑같이 보는 게 아니라, 중요한 부분 (눈, 코, 입 등) 에만 집중하고 중요하지 않은 배경 (하늘, 벽 등) 은 빠르게 넘깁니다.
• 효과: 같은 성능을 내면서도 계산량을 4 분의 1 로 줄여서 훨씬 빠르고 저렴하게 작동합니다. 마치 고해상도 영화를 볼 때 중요한 장면만 선명하게 보고, 배경은 흐리게 처리해서 데이터 부하를 줄이는 것과 같습니다.

4. 실전에서의 강점 (교과서 vs 현실)

기존의 최고 성능 모델들은 시험지 (학술적 벤치마크) 에서는 잘 풀지만, **실제 세상 (현실 데이터)**에서는 엉뚱한 답을 내놓는 경우가 많았습니다.

• 비유: 시험지에서는 '고양이'를 100% 맞히지만, 실제 인스타그램에 올라온 어두운 조명 속의 고양이 사진이나 필터가 낀 사진을 보면 "이건 뭐지?"라고 당황합니다.
• Xray-Visual 의 특징: 수조 개의 실제 소셜 미디어 데이터를 학습했기 때문에, 조명이 어둡거나, 필터가 걸리거나, 낯선 상황에서도 "아, 이건 고양이네!"라고 정확히 알아봅니다. 특히 광고와 영상을 매칭하거나 검색할 때 기존 모델보다 훨씬 뛰어난 성능을 보여줍니다.

5. 요약: 왜 이것이 중요한가요?

• 더 많이, 더 잘 배웠습니다: 1,000 억 개의 데이터를 학습하여 세상 모든 것을 이해합니다.
• 더 똑똑하게 배웠습니다: 3 단계 훈련과 AI 번역가 (LLM) 를 통해 사진과 언어를 완벽하게 연결합니다.
• 더 효율적입니다: 불필요한 계산을 줄여서 빠르고 저렴하게 작동합니다.
• 실전에 강합니다: 시험지뿐만 아니라, 실제 세상 (소셜 미디어) 에서도 가장 잘 작동합니다.

결론적으로, Xray-Visual 은 **거대한 데이터를 먹고 자라, 현실 세계의 복잡한 시각 정보를 가장 빠르고 정확하게 이해하는 '초지능 눈'**이라고 할 수 있습니다. 이는 메타의 추천 시스템, 광고 매칭, 콘텐츠 검색 등 우리 일상의 많은 부분을 더 스마트하게 만들어 줄 것입니다.

기술 요약

1. 문제 정의 (Problem)

최근 딥러닝 아키텍처와 대규모 사전 학습의 발전으로 컴퓨터 비전 분야에서 획기적인 진전이 있었으나, 여전히 다음과 같은 한계가 존재합니다.

• 데이터 규모의 격차: 대규모 언어 모델 (LLM) 에 비해 비전 모델은 훈련에 사용할 수 있는 고품질 데이터의 규모가 훨씬 작습니다. 텍스트 데이터는 인간이 생성한 방대한 양이 존재하지만, 동등한 규모의 시각적 데이터는 수집 및 정제 (curation) 가 어렵습니다.
• 일반화 및 도메인 이동 (Domain Shift) 문제: 기존 최첨단 (SOTA) 비전 모델들은 학술적 벤치마크 (ImageNet 등) 에서는 우수한 성능을 보이지만, 실제 소셜 미디어와 같은 복잡하고 노이즈가 많은 실제 세계 (Real-world) 데이터 분포에서는 성능이 급격히 저하되는 경향이 있습니다.
• 계산 효율성: 고해상도 이미지를 처리하기 위해 많은 토큰 (tokens) 을 사용하는 모델들은 계산 비용이 매우 높습니다.

2. 방법론 (Methodology)

2.1 대규모 데이터 정제 파이프라인

Xray-Visual 은 1000 억 개 이상의 원시 소셜 미디어 콘텐츠에서 시작하여, 다음과 같은 정제 과정을 거쳐 고품질 데이터를 구축했습니다.

• ViSE (Image Dataset): 페이스북과 인스타그램의 공개 게시물에서 추출한 150 억 개 이상의 이미지 - 텍스트 쌍. URL, 이모지, 사용자 태그 제거, 영어 캡션 필터링, WordNet 기반의 의미적 균형 (semantic balancing) 및 리샘플링을 통해 긴 꼬리 (long-tail) 분포를 해소했습니다.
• URU (Video Dataset): 240 억 개의 인스타그램 게시물에서 추출한 100 억 개의 비디오 - 해시태그 쌍. 해시태그를 표준화 (canonicalization) 하고, 희귀한 시각적 개념을 과대표 (oversampling) 하여 데이터의 다양성을 확보했습니다.
• 합성 캡션 및 LLM 기반 정제: MMLLM(다중 모달 LLM) 을 사용하여 합성 캡션을 생성한 후, LLaMA-1B를 활용해 반복적인 표현을 제거하고 문장을 다듬는 (rewriting) 과정을 거쳤습니다. 이는 검색 성능을 높이는 동시에 분류 정확도 저하를 방지하기 위해 해시태그 기반 손실과 병행되었습니다.

2.2 통합 모델 아키텍처

• Unified Architecture: 이미지와 비디오를 동시에 처리할 수 있는 단일 모델을 설계했습니다. 3D 토큰화 (3D tokenization) 를 적용한 **Vision Transformer (ViT)**를 백본으로 사용합니다.
• EViT (Efficient ViT): 계산 효율성을 높이기 위해 Efficient Token Reorganization 기법을 도입했습니다. 주의를 기울이지 않는 토큰 (inattentive tokens) 을 제거하여 토큰 수를 줄이면서도 고해상도 입력을 처리할 수 있게 했습니다.
• Register Tokens: DINOv2 에서 영감을 받아, 이상치 토큰 (outlier tokens) 을 처리하고 비디오 성능을 향상시키기 위해 토큰 시퀀스에 레지스터 토큰을 추가했습니다.
• LLM2CLIP: 기존 CLIP 의 작은 텍스트 인코더 대신 LLaMA-1B를 텍스트 인코더로 사용하여, 긴 문맥 이해와 복잡한 텍스트 표현 능력을 강화했습니다.

2.3 3 단계 학습 파이프라인

1. 자기지도 학습 (MAE): 이미지와 비디오의 마스킹 패치를 재구성하는 방식으로 시각적 표현을 학습합니다.
2. 반지도 학습 (Hashtag Classification): 대규모 해시태그 레이블을 활용한 분류 태스크를 통해 객체 중심 표현을 강화합니다.
3. 대조 학습 (CLIP-style Contrastive Learning): 정제된 이미지/비디오 - 캡션 쌍을 사용하여 시각과 텍스트 표현을 정렬합니다. 이 단계에서 SLIP(자기지도와 지도 학습 결합), Denoising Loss(노이즈 제거 손실), SimCLR 등을 추가하여 강건성을 높였습니다.

2.4 학습 전략

• 멀티모달 배치 샘플링: 이미지와 비디오 배치를 균일하게 분배하여 한 모달리티에 편향되지 않도록 학습합니다.
• 점진적 해상도 학습 (Progressive Resolution): 224x224 에서 시작하여 336x336, 448x448 로 점진적으로 해상도를 높여 학습합니다.
• 지식 증류 (Knowledge Distillation): 20 억 파라미터 (2B) 의 큰 교사 모델을 통해 더 작은 학생 모델 (ViT-L, ViT-H) 로 지식을 전달하여 배포 효율성을 높였습니다.

3. 주요 기여 (Key Contributions)

1. 산업 규모 데이터셋 구축: 150 억 개의 이미지 - 텍스트 쌍과 100 억 개의 비디오 - 해시태그 쌍을 포함한 대규모 고품질 데이터셋 (ViSE, URU) 을 구축하고 정제 파이프라인을 공개했습니다. 이는 공개된 비전 인코더 학습용 데이터 중 가장 큰 규모입니다.
2. 통합 아키텍처 및 효율성: 이미지와 비디오를 단일 모델로 처리하며, EViT 기술을 통해 토큰 수를 4 분의 1 (288 개) 로 줄이고도 SOTA 성능을 달성했습니다. 이는 기존 모델 대비 **4 배 높은 처리 속도 (QPS)**를 제공합니다.
3. LLM 기반 텍스트 인코더 도입: 텍스트 인코더로 LLM 을 사용하여 실제 세계의 복잡한 검색 및 검색 (retrieval) 작업에서 기존 모델보다 월등히 뛰어난 성능을 입증했습니다.
4. 강건성 및 일반화: 도메인 이동 (Domain Shift) 과 적대적 공격 (Adversarial Perturbations) 에 대한 강건성을 크게 향상시켰으며, 학술 벤치마크뿐만 아니라 내부 실제 배포 지표에서도 최상위 성능을 기록했습니다.

4. 실험 결과 (Results)

• 이미지 분류 (ImageNet): 89.3% 의 Top-1 정확도를 달성하여 기존 SOTA 모델을 능가했습니다. 특히 336px 해상도와 288 토큰만 사용하여 448px/1024 토큰을 사용하는 모델보다 효율적이면서도 더 높은 정확도를 보였습니다.
• 비디오 이해 (Kinetics, HMDB51): Kinetics-700 에서 78.1% 의 Top-1 정확도를 기록하여 SOTA 를 달성했습니다. 순수 비디오 모델보다 이미지와 비디오를 함께 학습한 통합 모델이 비디오 이해에 더 효과적이었습니다.
• 교차 모달 검색 (MSCOCO, Internal Benchmarks):
  • MS-COCO 이미지 - 텍스트 검색에서 SOTA 성능을 기록했습니다.
  • 내부 지표 (Ads-to-Reels, FB Search): 실제 소셜 미디어 데이터에 대한 검색 성능에서 기존 모델 (Perception Encoder, DiNO 등) 대비 10% 이상의 성능 향상을 보였습니다. 이는 기존 모델들이 실제 데이터 분포에서 성능이 급격히 떨어지는 반면, Xray-Visual 은 이를 잘 극복함을 의미합니다.
• 강건성 (Robustness): ObjectNet, ImageNet-Sketch, ImageNet-Adversarial 등 다양한 OOD(Out-of-Distribution) 벤치마크에서 기존 모델 대비 압도적인 성능 개선을 보였습니다 (예: ImageNet-Adversarial 에서 +15.5% 향상).

5. 의의 및 결론 (Significance)

Xray-Visual 은 비전 모델의 발전에 있어 다음과 같은 중요한 의의를 가집니다:

• 데이터 규모의 확장: 텍스트 기반 LLM 의 성공을 비전 모델로 확장하기 위해, 소셜 미디어와 같은 산업 규모 데이터를 효과적으로 정제하고 활용하는 방법을 제시했습니다.
• 실제 배포 중심의 설계: 학술적 벤치마크 성능뿐만 아니라, 실제 서비스 (광고 추천, 콘텐츠 검색 등) 에서 발생하는 도메인 이동과 노이즈에 강건한 모델을 설계하는 것이 중요함을 강조했습니다.
• 효율성과 성능의 동시 달성: 토큰 수를 획기적으로 줄이면서도 SOTA 성능을 유지하여, 대규모 비전 모델의 실용적 배포 가능성을 높였습니다.
• LLM 과 비전 모델의 융합: 텍스트 인코더로 LLM 을 도입함으로써, 시각 - 언어 모델의 의미적 정렬 능력을 비약적으로 향상시켰습니다.

결론적으로, Xray-Visual 은 대규모 데이터, 효율적인 아키텍처, 그리고 실제 세계의 복잡성을 고려한 학습 전략을 결합하여, 차세대 범용 비전 모델의 새로운 기준을 제시한 연구입니다.