🤖 AI

LeVLJEPA: End-to-End Vision-Language Pretraining Without Negatives

LEVLJEPA는 네거티브 없이 교차 모달 예측을 활용하는 최초의 완전 비대조적 엔드 투 엔드 시각-언어 사전 학습 방법을 도입하여, 글로벌 리드아웃에서의 경쟁력을 유지하면서도 시각적 질의응답 및 시맨틱 세그멘테이션과 같은 다운스트림 태스크를 위한 조밀한 시맨틱 특징 생성에서 우수한 성능을 입증한다.

원저자: Lukas Kuhn, Giuseppe Serra, Randall Balestriero, Florian Buettner

게시일 2026-07-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lukas Kuhn, Giuseppe Serra, Randall Balestriero, Florian Buettner

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 사진을 보여주고 그 사진에 대한 이야기를 들려줌으로써 세상을 이해하도록 가르치려 한다고 상상해 보세요. 오랫동안 이를 수행하는 가장 좋은 방법은 거대한 군중과 함께 하는 고난도의 "틀린 그림 찾기" 게임을 하는 것과 같았습니다.

기존의 방식: "틀린 그림 찾기" 게임 (대조 학습)

전통적인 방식(CLIP과 같은)을 생각해보면, 선생님이 고양이 사진을 들어 보이며 "이것은 고양이다"라고 말하는 것과 같습니다. 로봇이 확실히 배우게 만들기 위해, 선생님은 그 외에 일치하지 않는 다른 10,000개의 사진과 이야기들도 함께 보여줍니다. 로봇은 다음과 같이 배워야 합니다: "아, 이 특정 사진은 이 이야기와 일치하지만, 저 10,000개의 다른 것들과는 확실히 일치하지 않는다."

이 방식은 사진을 보고 "이것이 고양이인가요, 강아지인가요?"(제로샷 분류)와 같은 단순한 작업에는 효과적입니다. 하지만 결함이 하나 있습니다. 로봇은 "일치 vs 불일치"라는 게임에서 이기기 위해 큰 그림에만 집중하는 법을 배우며, 이미지의 아주 작고 세밀한 부분들은 무시하게 됩니다. 이는 책의 내용을 공부하는 대신 책의 표지만 암기하여 시험을 준비하는 것과 같습니다.

새로운 방식: "눈 가린 번역가" (LeVLJEPA)

이 논문의 저자들은 대담한 질문을 던졌습니다: 우리가 로봇에게 "틀린" 정답(부정 예시)을 전혀 보여주지 않고도 가르칠 수 있을까?

그들은 눈 가린 번역가 게임처럼 작동하는 새로운 시스템을 구축했습니다:

설정: 두 명의 전문가가 있습니다. 한 명은 사진을 보고, 다른 한 명은 이야기를 읽습니다.
게임: "사진 전문가"는 "이야기 전문가"가 무슨 생각을 하고 있는지 추측하려 노력하고, 그 반대도 마찬가지입니다.
반전: 추측 대상이 되는 사람은 "얼어붙은(frozen)" 상태입니다(생각을 바꾸거나 피드백을 줄 수 없습니다). 추측하는 사람은 오로지 스스로의 힘으로 알아내야 합니다.
안전장치: 추측하는 이가 단순히 포기하고 모든 것에 대해 "모르겠다"라고 답하는 현상(이를 "붕괴/collapse"라고 부릅니다)을 방지하기 위해, 그들은 규칙을 따라야 합니다: 그들의 추측은 카드 뭉치가 뭉쳐 있는 것이 아니라, 공정한 카드 배분처럼 고르게 퍼져 있어야 합니다.

이 방법은 부정 예시를 사용하지 않으며, 복잡한 온도 설정(temperature settings)이나 거대한 "틀린" 정답의 무리도 필요로 하지 않습니다. 그저 예측과 균형을 유지하기 위한 단순한 규칙에 의존할 뿐입니다.

놀라운 발견: "디테일" vs "요약"

연구진은 이 새로운 방식을 기존의 "틀린 그림 찾기" 방식들과 비교 테스트했습니다. 결과는 다음과 같습니다:

요약 테스트 (전역 특징 - Global Features): 만약 로봇에게 "이 사진의 주요 대상이 무엇인가요?"(단순 분류와 같은 작업)라고 묻는다면, 기존 방식과 새로운 방식은 거의 동일한 성능을 보였습니다. 둘 다 "큰 그림"을 보는 데는 능숙합니다.
디테일 테스트 (밀집 특징 - Dense Features): 여기서 마법이 일어납니다. 현대적인 AI 시스템은 단순히 "주요 대상"만을 보는 것이 아니라, 복잡한 장면(예: 지저기한 차고 안에 있는 특정 도구를 찾거나 로봇 팔의 움직임을 따라가는 것)을 이해하기 위해 **이미지의 모든 패치(patch)**를 살펴봅니다.
- 기존의 "틀린 그림 찾기" 방식은 도시의 스카이라인만을 기억하는 관광객과 같습니다.
- 새로운 LeVLJEPA 방식은 모든 거리, 골목, 상점을 알고 있는 현지 가이드와 같습니다.

연구진이 이 새로운 방식을 복잡한 시각-언어 모델(예: 명령을 따르거나 상세한 질문에 답하는 로봇)의 "두뇌"로 사용했을 때, 이 모델은 경쟁자들을 압도했습니다. 이 모델은 다음 작업에서 훨씬 뛰어난 성능을 보였습니다:

의미론적 분할 (Semantic Segmentation): 어떤 픽셀이 어떤 물체에 속하는지 정확히 식별하는 것 (예: 자동차 주변에 완벽한 윤곽선을 그리는 것).
시각적 질의응답 (Visual Question Answering): "파란 테이블 위에 놓인 빨간색 물체는 무엇인가?"와 같은 까다로운 질문에 답하는 것.

시사점

이 논문은 기존의 방식(부정 예시를 사용하는 방식)이 단순한 "일치 혹은 불일치" 게임에는 훌륭하지만, AI가 세밀한 디테일을 보아야 하는 발전을 오히려 가로막고 있다고 결론짓습니다.

"부정 예시 없는 예측"이라는 이 새로운 접근 방식으로 전환함으로써, 그들은 픽셀 단위로 세상을 고해상도로 볼 수 있는 훨씬 더 나은 비전 인코더를 만들어냈습니다. 이는 현대의 AI 시스템이 현실 세계에서 기능하기 위해 꼭 필요한 능력입니다.

요약하자면: 기존의 방식은 AI에게 책의 표지를 인식하도록 가르쳤습니다. 새로운 방식은 AI에게 페이지마다 적힌 전체 이야기를 읽도록 가르쳤습니다.

기술 요약: LeVLJEPA

문제 정의

시각-언어 사전 학습(Vision-language pretraining, VLP)은 역사적으로 단일 풀링된 이미지 임베딩과 텍스트 임베딩의 정렬을 최적화하는 대조 학습(contrastive objectives, 예: CLIP, SigLIP)에 의해 주도되어 왔습니다. 반면, 시각 전용 자기 지도 학습(vision-only self-supervised learning)은 이미 비대조적(non-contrastive)이고 예측적인 방법(예: DINO, I-JEPA, LeJEPA)으로 크게 전환되었습니다.

이러한 불일치는 훈련 목적 함수와 현대적 배포 요구 사항 사이의 미스얼라인먼트(misalignment)를 생성합니다. 시각-언어 인코더는 제로샷 분류기로서가 아니라, 밀집 예측 시스템(예: 시맨틱 세그멘테이션) 및 시각-언어 모델(예: LLaVA)을 위한 **동결된 시각 백본(frozen visual backbones)**으로서 점점 더 많이 사용되고 있습니다. 이러한 다운스트림 시스템은 단일 풀링 벡터가 아닌 전체 패치 토큰 그리드를 소비합니다. 그러나 대조 학습 목적 함수는 주로 글로벌 풀링 임베딩을 감독하며, 개별 토큰 특징은 부수적인 결과로 취급합니다. 본 논문은 다음과 같은 질문을 던집니다: 엔드 투 엔드 시각-언어 사전 학습이 부정적 쌍(negative pairs) 없이도 더 나은 밀집 토큰 수준 애플리케이션을 위해 작동할 수 있는가?

방법론: LeVLJEPA

저자들은 LeVLJEPA를 소개합니다. 이는 LeJEPA 프레임워크를 교차 모달(cross-modal) 설정으로 확장한 최초의 완전한 비대조적 엔드 투 엔드 시각-언어 사전 학습 방법입니다. 이는 부정적 쌍 없이 표현 붕괴(representation collapse)를 방지하기 위한 특정 제약 조건을 갖춘 예측 아키텍처를 사용합니다.

아키텍처 및 목적 함수

이 방법은 두 개의 인코더, 즉 이미지를 위한 비전 트랜스포머(ViT)와 텍스트를 위한 GPT-2 기반 인코더를 사용합니다. 두 인코더는 임베딩( $Z_V$ 및 $Z_T$ )을 생성하며, 이들은 모달리티별 예측기(MLP)를 통해 교차 모달 예측을 생성합니다.

훈련 목적 함수 $L_{LeVLJEPA}$ 는 두 가지 구성 요소로 결합됩니다:

스톱 그래디언트(Stop-Gradients)를 포함한 교차 모달 예측:
- 이미지 인코더는 텍스트 임베딩을 예측하고, 텍스트 인코더는 이미지 임베딩을 예측합니다.
- 결정적으로, 타겟은 스톱 그래디언트(stop-gradient) 연산을 통해 분리(detach)됩니다. 그래디언트는 예측을 수행하는 인코더를 통해서만 흐르며, 타겟을 생성하는 인코더로는 흐르지 않습니다.
- 손실 함수: $L_{cross} = \frac{1}{B} \sum (\|h_v(z_v) - \text{sg}(z_t)\|^2 + \|h_t(z_t) - \text{sg}(z_v)\|^2)$ .
- 이러한 비대칭성은 인코더가 공유된 저차원 서브스페이스로 붕괴되는 현상(직접적인 대칭 회귀를 사용할 때 관찰되는 실패 모드)을 방지합니다.
모달리티별 분포 정규화 (SIGReg):
- 부정적 쌍 없이 붕괴를 방지하기 위해, 각 모달리티의 임베딩 분포는 **등방성 가우시안(isotropic Gaussian)**이 되도록 정규화됩니다.
- 이는 SIGReg(Sketched Isotropic Gaussian Regularization)를 통해 달성됩니다. SIGReg은 임베딩을 무작위 1D 방향으로 투영하고 특성 함수 기반의 정규성 검정(Epps–Pulley)을 적용합니다.
- 이를 통해 직접적인 밀도 매칭과 관련된 차원의 저주를 피하며, 온도 파라미터, 모멘텀 인코더 또는 티처-스튜던트 스케줄을 필요로 하지 않습니다.

훈련 프로토콜

데이터셋: CC12M (12M 샘플) 및 Datacomp-L (92M 샘플)의 두 가지 규모에서 평가되었습니다.
안정성: 이 방법은 대조 학습 방법의 특징인 배치 크기 의존성 없이 안정적으로 훈련됩니다. 목적 함수는 샘플당 계산되므로 배치 크기에 대해 거의 불변합니다.
절제 실험(Ablations): 어떤 구성 요소라도 제거하면(예: 스톱 그래디언트 없이 직접 MSE를 사용하거나, SIGReg 없이 예측기만 사용하는 경우) 붕괴가 발생하거나 성능이 저하됨을 실험을 통해 확인했습니다.

주요 결과

1. 글로벌 표현 품질 (풀링된 임베딩)

이미지를 단일 벡터로 축소하는 프로토콜로 평가했을 때:

제로샷 전이(Zero-Shot Transfer): Datacomp-L 규모에서 대조 학습 베이스라인(InfoNCE, SigLIP)이 LeVLJEPA보다 우수한 성능을 보입니다. 이는 제로샷 분류가 대조 학습이 최적화하는 이미지-텍스트 정렬을 직접 측정하기 때문에 예상된 결과입니다. 더 작은 CC12M 규모에서는 그 격차가 크게 줄어듭니다.
선형 프로빙(Linear Probing): 동결된 CLS 토큰에 대해, LeVLJEPA는 ImageNet, Places365, Aircraft, Pets 전반에서 대조 학습 베이스라인과 대등한 성능을 보입니다. 이는 LeVLJEPA가 학습한 글로벌 시각 특징이 동일하게 변별력이 있음을 나타내며, 제로샷 격차는 특징의 품질보다는 정렬 메커니즘 때문임을 시사합니다.
배경 강건성(Background Robustness): LeVLJEPA는 배경 변화(ImageNet-9)에 대해 우수한 강건성을 보여주며, 전경을 다른 배경에 합성했을 때 정확도 하락이 더 작습니다. 이는 더 객체 중심적인 표현을 시사합니다.

2. 밀집 시맨틱 특징 (패치 토큰)

패치 토큰의 전체 시퀀스를 소비하는 작업에 대해 평가했을 때, LeVLJEPA는 뚜렷한 우위를 보입니다:

시맨틱 세그멘테이션(Semantic Segmentation): ADE20K 및 COCO-Stuff에서, LeVLJEPA는 선형 헤드를 가진 동결된 백본으로 사용되었을 때 대조 학습 베이스라인보다 상당한 차이(~2.0–2.2 mIoU)로 앞섭니다. 이는 개별 토큰 특징에 더 강력한 공간적 및 시맨틱 구조가 있음을 나타냅니다.
시각-언어 모델 (VLMs): VLM(동결된 LLM에 학습된 경량 브릿지를 사용하는 방식)을 위한 동결된 시각 백본으로 사용되었을 때, LeVLJEPA는 두 가지 서로 다른 언어 모델 제품군(Llama-1B 및 Qwen-1.5B)에 대해 GQA, VQAv2, POPE에서 가장 높은 정확도를 달고 합니다.
- 주목할 점은, SigLIP은 가장 강력한 제로샷 모델이지만 가장 약한 VLM 백본인 반면, LeVLJEPA는 가장 약한 제로샷 모델이지만 가장 강력한 백본이라는 것입니다.
- LeVLJEPA는 또한 POPE(객체 환각)에서 가장 균형 잡힌 응답을 생성하여, 다른 모델들에서 보이는 "예(yes)" 편향을 줄여줍니다.

의의 및 주장

본 논문은 비대조적 사전 학습이 고품질의 밀집 시맨틱 시각 특징을 생성하는 데 효과적인 수단임을 입증하며, 고품질 시각-언어 표현을 위해 대조적 부정적 샘플이 반드시 필요하다는 가설에 도전합니다.

정렬과 특징 품질의 분리: 결과는 강력한 제로샷 분류기를 만드는 표현적 속성(글로벌 정렬)이 강력한 시각 특징 인코더를 만드는 속성(밀집 토큰 구조)과 구별된다는 것을 보여줍니다.
현대적 배포와의 관련성: 시각-언로 인코더가 밀집 예측 및 지시어 튜닝 모델을 위한 동결된 백본으로 점점 더 많이 배포됨에 따라, 표준 평가 프로토콜(제로샷, 풀링된 벡터에 대한 선형 프로빙)은 관련 성능 지표를 포착하지 못합니다. LeVLJEPA는 이러한 배포 시나리오에서 탁월한 성능을 발휘합니다.
단순성 및 안정성: 이 방법은 부정적 샘플링, 온도 튜닝, 모멘텀 인코더 또는 티처-스튜던트 스케줄 없이도 더 단순한 훈련 레시피로 이러한 결과를 달성하며, 대규모 훈련에서도 안정적입니다.

저자들은 대조 학습 목적 함수가 직접적인 이미지-텍스트 정렬 측면에서 이점을 유지할 수는 있지만, 차세대 시각-언어 시스템에 필요한 밀집한 per-token 특징을 학습하는 데는 비대조적 예측 목적 함수가 더 우수하다고 결론짓습니다.