💻 computer science

AV-JEPA: Extending LeJEPA to Audio-Visual Self-Supervised Learning

이 논문은 디코더, EMA 교사 또는 대조적 네거티브에 의존하지 않고도 경쟁력 있는 성능과 제로샷 검색 능력을 달성하기 위해 초기 융합 비전 트랜스포머와 모달리티 드롭아웃을 사용하여 LeJEPA를 확장한 간소화된 오디오-비주얼 자기지도 학습 프레임워크인 AV-JEPA를 소개한다.

원저자: Benjamin Robson, Santeri Mentu, Wenshuai Zhao, Arno Solin

게시일 2026-07-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Benjamin Robson, Santeri Mentu, Wenshuai Zhao, Arno Solin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 마치 모든 것을 배우고 싶어 하지만 선생님도 교과서도 없는 교실에 갇혀 있는, 의욕 넘치는 백지 상태의 학생과 같은 세상을 상상해 보세요. 이것이 바로 기계가 라벨이 없는 방대한 데이터 속에서 스스로 패턴을 찾아내며 스스로를 가르치는 인공지능의 한 분야인 **자기 지도 학습(self-supervised learning)**의 영역입니다. 보통 고양이나 자동차를 인식하는 법을 배우기 위해 컴퓨터는 사람이 사진을 가리키며 "이것은 고양이야"라고 말해줄 필요가 있습니다. 하지만 컴퓨터가 단순히 사진을 보고 무엇이 빠져 있는지를 추측함으로써 배울 수 있다면 어떨까요? 그것이 바로 **마스크 학습(masked learning)**의 마법입니다. 이미지나 소리의 일부를 가려 놓으면, 컴퓨터는 빈칸을 채워 넣어야 합니다. 오랫동안 이 작업을 수행하는 가장 좋은 방법은 컴퓨터가 마치 깨진 꽃병을 복원하려는 퍼즐 해결사처럼, 빠진 조각들을 픽셀 단위로 재구성하도록 강제하는 것이었습니다. 하지만 더 추상적인 새로운 아이디어인 JEPA(Joint-Embedding Predictive Architecture)가 등장했습니다. JEPA는 깨진 꽃병을 재건하는 대신, 컴퓨터에게 빠진 부분의 본질이나 "분위기(vibe)"를 예측하도록 요구합니다. 이는 마치 모든 개별 재료를 맛보려 하기보다 김에서 나는 냄새를 맡아 수프의 맛을 추측하는 것과 같습니다. 이 논문은 이 "분위기를 추측하는" 방법이 컴퓨터가 시각과 청각이라는 두 가지 서로 다른 감각을 동시에 이해하려고 할 때도 효과가 있을지라는 거대한 질문을 던집니다.

핀란드 출신의 연구팀인 이 논문의 저자들은 "그렇다!"라고 답하며 AV-JEPA라는 새로운 모델을 소개합니다. AV-JEPA를 영상과 소리를 통해 범죄 현장을 이해하는 데 매우 똑똑한 탐정이라고 생각해 보세요. 다만 한 가지 차이점이 있습니다. 이 탐정은 누락된 영상 프레임이나 오디오 파형을 재구성하려고 노력하는 대신(이는 기억만으로 범죄 현장을 다시 그리는 것과 같습니다), 한쪽 감각이 결여되었을 때의 장면의 느낌을 예측하는 법을 배웁니다.

그들이 이 일을 어떻게 해냈는지 살펴보겠습니다. 여러분이 기타 연주자의 영상을 보고 있다고 상상해 보세요. 보통 컴퓨터는 영상과 오디오를 함께 봅니다. 하지만 AV-JEPA는 감각들 사이에서 "숨바꼭질" 게임을 합니다. 클립을 가져와서 두 가지 버전을 만듭니다. 하나는 영상이 완전히 검게 가려진 버전(그래서 컴퓨터는 기타 소리만 들을 수 있음)이고, 다른 하나는 오디오가 무음 처리된 버전(그래서 컴퓨터는 기타 모습만 볼 수 있음)입니다. 모델의 임무는 '오디오 전용' 버전을 보고 '영상 전용' 버전이 어떤 느낌일지 예측하고, 그 반대도 마찬가지로 수행하는 것입니다. 모델은 무엇이 일어나고 있는지 알려주는 사람 없이도, 그리고 빠진 부분을 재건하려고 시도하지 않고도 이 일을 수행합니다. 그저 공유된 정신적 공간 안에서 소리의 "영혼"을 이미지의 "영혼"과 정렬하는 법을 배울 뿐입니다.

재구성 퍼즐을 수행하는 무거운 작업들을 건너뛰는 방식임에도 불구하고 결과는 상당히 인상적입니다. 연구진이 소리가 포함된 영상 데이터셋인 VGGSound를 통해 이 모델을 테스트했을 때, 모델은 영상에서 무슨 일이 일어나고 있는지 식별하는 데 **57.1%**의 정확도를 달성했습니다. 또 다른 거대 데이터셋인 AudioSet에서는 32.7 mAP(소리를 얼마나 잘 식별하는지를 나타내는 척도)를 기록했습니다. 이 수치들은 "퍼즐을 재건하는" 기존의 오래된 방식(VGGSound에서 최대 67%까지 도달할 수 있음)을 사용하는 현재의 최고 모델들보다는 약간 낮지만, 저자들은 AV-JEPA가 훨씬 단순하다는 점을 강조합니다. 이 모델은 이미지를 재건하기 위한 복잡한 추가 부품을 필요로 하지 않으며, 가이드 역할을 할 "교사" 모델도 필요하지 않습니다. 그저 스스로 배울 뿐입니다.

이 논문에서 발견한 가장 멋진 사실 중 하나는 모델이 스스로 적절한 것에 집중하는 법을 배웠다는 점입니다. 연구진이 소리를 들을 때 모델이 어디를 "보고" 있는지 확인했을 때, 모델은 자연스럽게 소리의 근원을 향해 시선을 집중했습니다. 새가 지저귀면 새를 보았고, 플루트 소리가 나면 연주자의 입을 보았습니다. 누구도 소리의 근원을 찾도록 가르치지 않았음에도, 모델은 소리와 시각적 근원이 연결되어 있다는 것을 스스로 알아냈습니다. 한쪽을 통해 다른 쪽을 예측해야 했기 때문입니다.

또한 이 논문은 이 모델이 "제로샷(zero-shot)" 검색을 수행할 수 있음을 보여주었습니다. 이는 특정 검색 작업에 대해 명시적으로 학습하지 않고도, 소리만으로 영상을 찾거나 영상만으로 소리를 찾는 것을 의미합니다. 이는 마치 노래 한 구절을 흥얼거림으로써 그 노래가 담긴 책을 도서관에서 찾아내는 것과 같습니다.

하지만 저자들은 한계점에 대해서도 솔직하게 밝혔습니다. 그들은 모델이 오디오에 크게 편향되어 있다는 것을 발견했습니다. 테스트 결과, 모델의 결정은 시각적 증거보다는 들리는 소리에 의해 주로 주도되었습니다. 마치 탐정이 단서를 듣는 데는 천재적이지만, 시각적 증거에는 다소 주의가 산만한 것과 같습니다. 논문은 이 모델이 "깔끔하고" 단순한 구조로서 큰 진전이지만, 이미지를 재건하는 데 수년을 소비하는 복잡한 모델들과 비교했을 때 보는 능력만큼 듣는 능력을 갖추기 위해서는 여전히 할 일이 많다고 제안합니다. 하지만 재구성 퍼즐을 던져버리고 오직 감각 사이의 연결에만 집중하는 방법으로서, AV-JEPA는 컴퓨터가 세상이 어떻게 들리고 보이는지를 학습하는 매우 유망한 새로운 길을 제시하고 있습니다.

기술 요약: AV-JEPA

문제 정의
오디오-비주얼 도메인의 자기지도 학습(Self-supervised learning, SSL)은 마스크드 오토인코딩(Masked Autoencoding, MAE) 방식(예: AV-MAE, CAV-MAE, MAViL)이 주도해 왔습니다. 이러한 방식은 효과적이긴 하지만, 전용 디코더 네트워크를 사용하여 마스킹된 오디오 스펙트로그램과 비디오 패치를 재구성하는 데 의존합니다. 이 패러다임은 구조적 오버헤드를 발생시키고, 정교한 마스킹 비율 튜닝을 요구하며, 종종 대조적 부정 쌍(contrastive negative-pair) 손실이나 복잡한 다중 항 목적 함수를 필요로 합니다. 더욱이, 이러한 재구성 기반 방법들은 학습된 임베딩의 품질에 대한 공식적인 이론적 보증이 부족합니다. 한쪽 뷰의 임베딩을 다른 쪽 뷰로부터 예측함으로써 잠재 공간(latent space)에서 작동하는 합동 임베딩 예측 아키텍처(Joint-Embedding Predictive Architecture, JEPA)는 유망한 대안을 제시합니다. 그러나 기존의 JEPA 구현체, 특히 LeJEPA는 단일 모달리티 비전 작업에 대해서만 검증되었으며, 교차 모달리티 오디오-비주얼 정렬로 확장되지 않았습니다.

방법론
저자들은 LeJEPA를 오디오-비주얼 자기지도 학습으로 확장한 AV-JEPA를 제안합니다. 이 아키텍처와 훈련 파이프라인은 디코더, EMA 텔러(teacher), 또는 대조적 부정 쌍 없이 교차 모달리티 정렬을 달나하도록 설계되었습니다.

아키텍처: 모델은 **조기 융합(early-fusion) Vision Transformer (ViT-Base)**를 활용합니다. 원시 오디오(16 kHz로 리샘플링됨)는 멜-스펙트로그램으로 변환되며, 비디오 프레임은 튜브릿(tubelets)으로 처리됩니다. 두 모달리티는 학습 가능한 [CLS] 토큰과 함께 하나의 시퀀스로 토큰화되어 결합됩니다. 모달리티 유형 임베딩은 오디오와 비디오 토큰을 구분합니다. 공유된 12계층 ViT 인코더가 이 결합된 시퀀스를 처리합니다.
뷰 생성 (모달리티 드롭아웃): 공간적 마스킹 대신, AV-JEPA는 부분 뷰 메커니즘으로서 **모달리티 드롭아웃(modality dropout)**을 채택합니다. 각 훈련 클립에 대해 모델은 다음을 생성합니다:
- 글로벌 뷰 (Global Views): 오디오와 비디오 모달리티가 모두 존재하며 가벼운 증강(augmentation)이 적용됩니다.
- 로컬 뷰 (Local Views): 한 모달리티가 제거된 두 개의 뷰(오디오 전용 및 비디오 전용)가 생성됩니다.
  이 설정은 모델이 단일 모달리티로부터 결합된 표현을 예측해야 하는 암시적인 교차 모달리티 예측 작업을 생성하며, 이 모든 과정은 완전히 잠재 공간 내에서 이루어집니다.
목적 함수: 훈련은 다음 두 항으로 구성된 LeJEPA 손실을 최소화합니다:
1. 불변성 (Invariance): 개별 뷰 임베딩( $z_i$ )과 결합 뷰 중심( $\bar{z}$ ) 사이의 거리를 최소화하여, 단일 모달리티 임베딩이 결합된 표현과 정렬되도록 강제합니다.
2. SIGReg (Sketched Isotropic Gaussian Regularization): 임베딩 분포가 등방성 가우시안( $N(0, I)$ )과 일치하도록 강제합니다. 이는 다운스트림 예측 위험을 최소화한다고 이론적으로 증명되었습니다. 이 정규화는 임베딩의 단변량 투영을 가우시안 타겟에 맞추기 위해 슬라이스 특성 함수 테스트(Epps–Pulley)를 사용합니다.
훈련: 모델은 AudioSet-2M에서 사전 훈련되며, VGGSound 및 AudioSet에서 미세 조정(fine-tuning)됩니다. 미세 조정 중에는 분류 헤드(선형 및 어텐티브 프로브)가 [CLS] 토큰에 부착됩니다.

주요 기여

JEPA의 오디오-비주얼 학습 확장: JEPA 기반 SSL을 교차 모달리티 오디오-비주얼 표현 학습에 적용한 첫 번째 사례입니다.
교차 모달리티 뷰 생성: 모달리티 드롭아웃을 도입하여 교차 모달리티의 로컬 뷰를 번갈아 생성함으로써, 재구성 타겟 없이 잠재 공간 내에서 암시적인 교차 모달리티 예측을 가능하게 했습니다.
깔끔한 아키텍처: 디코더, 스톱-그레이디언트(stop-gradients), EMA 텔러, 또는 대조적 부정 쌍이 필요 없는 통합된 조기 융합 ViT 백본을 제공합니다.
경험적 검증: 결과적인 백본이 표준 벤치마크에서 경쟁력 있는 성능을 달성하고 제로샷 교차 모달리티 검색을 지원함을 입증했습니다.

결과

VGGSound 분류: AudioSet-2M에서 사전 훈련 후 미세 조정을 거친 후, AV-JEPA는 어텐티브 프로브(attentive probe)를 사용하여 57.1%의 top-1 정확도를, 선형 프로브(linear probe)를 사용하여 56.6%를 달성했습니다. 이는 오디오-비주얼 분류에서 이 수준의 정확도를 기록한 첫 번째 JEPA 기반 결과입니다.
AudioSet 분류: 모델은 AudioSet 평가 분할에서 32.7 mAP를 달성했습니다. 모달리티별 분석에 따르면 강력한 오디오 주도 표현(오디오 전용 26.0 mAP vs. 비디오 전용 12.8 mAP)을 보여주며, 이는 데이터셋의 클래스들이 오디오에 지배적이라는 점과 일치합니다.
교차 모달리티 검색: 모델은 별도의 추가 없이 제로샷 오디오-투-비디오 및 비디오-투-오디오 검색을 지원합니다. VGGSound 및 AudioSet에서 Recall@10은 약 **36%**에 도달하며, 이는 우연 수준을 크게 상회하며 양방향에서 대칭적인 성능을 보입니다.
정성적 분석: 마지막 트랜스포머 층의 어텐션 맵은 모델이 위치 정보에 대한 감독(supervision)을 받지 않았음에도 불구하고, 자연스럽게 비디오의 소리 발생 영역(예: 악기, 입)과 오디오의 조화적/시간적 구조에 주목함을 보여줍니다.

의의 및 주장
본 논문은 AV-JEPA를 멀티모달 학습을 위한 이론적으로 근거가 확실하고 구조적으로 깔끔한, 기존의 마스크드 오토인코딩 파이프라인에 대한 대안으로 포지셔닝합니다. 저자들은 LeJEPA 프레임워크를 활용함으로써, 재구성 디코더나 대조적 손실의 복잡성 없이도 고품질의 교차 모달리티 정렬을 달성할 수 있음을 보여주었습니다.

저자들은 현재의 성능 격차가 최첨단(SOTA) MAE 기반 방법들(VGGSound에서 63~~67%, AudioSet에서 42~~53 mAP 달성)과의 차이가 재구성/대조적 목적 함수의 부재, 비디오 전용 사전 훈련 단계의 부재, 그리고 비주얼 스트림에 대한 ImageNet 초기화의 부재에서 비롯될 가능성이 높다고 인정했습니다. 이들은 더 긴 사전 훈련, 더 큰 모델, 그리고 하이브리드 초기화 전략을 포함한 향후 연구가 이 격차를 더욱 좁힐 수 있을 것이라고 제안합니다. 그럼에도 불구하고, 이 연구는 JEPA가 오디오-비주얼 자기지도 학습을 위한 실행 가능하고 유망한 패러다임임을 확립했습니다.

유사한 논문