⚡ electrical engineering

Unlocking Spatial Grounding in Large Audio-Visual Retrieval models

이 논문은 픽셀 수준의 지도 학습 없이도 대규모 오디오-비주얼 검색 모델로부터 미세한 공간 그라운딩 능력을 끌어내기 위해 중간 시각 토큰과 오디오 정보 기반 공간 풀링을 활용하는 프레임워크인 LAIP를 소개하며, 이를 통해 로컬라이제이션 벤치마크에서 최첨단 성능을 달성한다.

원저자: Hugo Malard, Michel Olvera, Sanjeel Parekh, Gaël Richard, Slim Essid, Stéphane Lathuilière

게시일 2026-07-29

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hugo Malard, Michel Olvera, Sanjeel Parekh, Gaël Richard, Slim Essid, Stéphane Lathuilière

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 단순히 보는 것뿐만 아니라 듣는 법을 통해 세상을 이해하도록 가르치려 한다고 상상해 보세요. 이것이 바로 컴퓨터가 소리와 시각이 어떻게 연결되는지 파악하려고 노력하는 인공지능의 한 분야인 **오디오-비주얼 학습(audio-visual learning)**의 세계입니다. 이것은 마치 탐정이 범죄 현장을 단순히 보기만 하는 것이 아니라, 사이렌 소리, 유리창 깨지는 소리, 그리고 외침 소리를 들으며 그 소음이 정확히 어디에서 왔는지 조각을 맞춰가는 것과 같습니다.

오랫동안 로봇에게 이 일을 가르치는 것은 설계도 없이 집을 짓는 것과 같았습니다. 컴퓨터에게 비디오 속에서 소리의 근원을 정확히 가리키도록 가르치려면, 보통 사람이 모든 비디오 프레임에 소리 근원 주변에 상자를 그려주어야 합니다. 이를 "조밀한 공간 주석(dense spatial annotation)"이라고 부르는데, 이는 매우 지루하고 비용이 많이 들며 느린 작업입니다. 마치 친구에게 한 시간 내내 무리 지어 날아가는 새들의 완벽한 윤곽선을 그리라고 요청하는 것과 같습니다. 이 작업이 너무 어렵기 때문에, 대부분의 연구자들은 비디오에 소리가 존재한다는 사실만 알 뿐, 그것이 정확히 '어디에' 있는지는 모르는 약한 단서(weak clues)를 사용하는 것에 머물러 있었습니다.

하지만 최근 과학자들은 거대한 "검색 모델(retrieval models)"을 구축했습니다. 이들은 수백만 개의 비디오와 소리를 학습하여 "이 오디오와 일치하는 비디오 클립을 찾아줘"와 같은 질문에 답할 수 있는 매우 똑똑한 AI 시스템입니다. 이 모델들은 소리의 전반적인 분위기를 전체 비디오와 매칭하는 데는 탁월합니다. 하지만 소리가 발생하는 구체적인 지점을 지목하는 데는 서툽니다. 이들은 숲 전체는 보지만, 소리를 내고 있는 특정 나무는 놓칩니다. 큰 질문은 이것이었습니다: "이 거대한 사전 학습된 모델들(비디오를 찾는 데 뛰어난 모델들)을 가져와서, 사람 군단을 고용해 박스를 그리지 않고도 소리의 정확한 근원을 가리키는 능력을 끌어낼 수 있을까?"

논문의 핵심 아이디어: 숨겨진 지도를 열다

당신이 읽고 있는 논문인 **"Unlocking Spatial Grounding in Large Audio-Visual Retrieval models"**는 이렇게 말합니다: "네, 가능합니다." 저자들(프랑스, Meta, NVIDIA의 연구팀)은 이 거대한 검색 모델들이 실제로 소리가 어디에 있는지 알고 있지만, 정보를 처리하는 과정에서 그 정보를 뇌 깊숙한 곳에 숨긴 채 버려버린다는 사실을 발견했습니다.

거대한 도서관(검색 모델)을 상상해 보세요. 이 도서관은 수백만 권의 책(비디오)을 읽었고 수백만 개의 오디오북(소리)을 들었습니다. 당신이 사서에게 "짖는 개에 대한 책이 있나요?"라고 물으면, 사서는 즉시 적절한 선반을 찾아낼 수 있습니다. 하지만 당신이 "개의 그림 속에서 정확히 입 부분이 짖고 있는 위치가 어디인가요?"라고 묻는다면, 사서는 보통 어깨를 으쓱하며 "그냥 개 그림이라는 건 알아요"라고 대답할 뿐입니다.

저자들은 사서가 실제로 무지한 것이 아니라는 점을 깨달았습니다. 사서는 개의 입에 대한 상세한 지도를 머릿속에 가지고 있지만, 단순히 "네, 개 그림 책이 있습니다"라는 간단한 답변을 내놓는 순간 그 지도를 버려버리는 것입니다. 논문은 그 지도를 버려지기 전에 잡아내는 영리한 기술인 LAIP(Localization via Audio-Informed Pooling)를 소개합니다.

LAIP의 작동 원리: 오디오 탐정

이 방법의 핵심은 AiSP(Audio-informed Spatial Pooling)라고 불리는 새로운 모듈입니다. 이것이 어떻게 작동하는지 쉬운 말로 설명하면 다음과 같습니다:

설정: AI는 비디오를 프레임 단위로 살펴봅니다. AI 내부에는 이미지의 서로 다른 부분을 나타내는 수천 개의 작은 "토큰(데이터 조각)"들이 있습니다. 보통 AI는 비디오가 소리와 일치하는지 결정하기 위해 이 모든 작은 조각들을 하나의 거대한 요약 토큰으로 압축합니다. 이것은 피자 한 판을 통째로 반죽 덩어리로 뭉쳐서 페퍼로니 맛이 나는지 확인하는 것과 같습니다. 이렇게 하면 페퍼로니 조각의 위치를 잃어버리게 됩니다.
개입: AI가 모든 것을 즉시 뭉쳐버리지 못하도록, 저자들은 최종 요약 직전에 "정지 표지판"을 삽 xét합니다. 그들은 오디오(짖는 소리)를 가져와서 **쿼리(질의)**로 사용합니다.
마법: 그들은 오디오에게 묻습니다: "이봐, 너는 이 작은 이미지 조각들 중 어떤 것과 대화하고 있니?" 오디오는 마치 손전등처럼 작동하여 소리에 해당하는 특정 이미지 토큰들을 비춥니다. 그러면 AI는 오직 그 관련 있는 조각들만을 모아 새로운 요약본을 만듭니다.
결과: AI가 소리에 맞는 이미지의 특정 부분에 주의를 기울이도록 강제되었기 때문에, AI는 의도치 않게 소리가 어디서 오는지에 대한 지도를 그리게 됩니다. 이것은 만약 사서가 단순히 책을 건네주는 대신, 그 책에서 "짖다"라는 단어가 나타나는 정확한 페이지와 문단을 가리켜야만 제대로 된 책을 찾았음을 증명할 수 있는 것과 같습니다.

연구 결과

결과는 놀라울 정도로 강력합니다. 저자들은 세 가지 벤치마크(AI 표준 테스트)로 이 방법을 테스트했습니다:

AVATAR: 복잡하고 움직임이 많은 비디오에서 소리를 찾는 이 테스트에서, 그들의 방법은 이전 최고 모델들의 성능을 거의 두 배 가까이 높였습니다. 점수는 약 13-14%에서 27.63%(CIoU) 및 27.77%(AUC)로 뛰어올랐습니다.
AVSBench: 이 테스트에서도 최고 점수를 기록했습니다. 단일 소스 음향에 대해 65.18의 F-score를 달 기록하며, 이전 최고치인 45.33을 넘어섰습니다.
ADE-SP: 여기서도 경쟁자들을 압도하며 33.35 m-IoU와 53.57 mAP에 도달했습니다.

논문은 이 방식이 작동하는 이유가 거대한 검색 모델들이 이미 방대한 데이터를 통해 소리와 시각 사이의 풍부한 연결 고리를 학습했기 때문이라고 설명합니다. 저자들은 AI에게 개나 자동차가 무엇인지 처음부터 가르칠 필요가 없었습니다. 단지 소리가 들릴 때 그림의 어느 부분을 바라봐야 하는지를 가르치기만 하면 되었습니다.

검증된 내용 (실패한 시도들)

저자들은 무엇이 효과가 없는지도 명확히 보여주었습니다. 그들은 몇 가지 다른 아이디어를 시도했지만 미흡함을 발견했습니다:

최종 레이어 사용: 만약 AI가 이미 이미지를 하나의 덩어리로 뭉쳐버린 후인 마지막 단계에서 이 작업을 수행하려고 하면 실패합니다. 공간적 세부 사항이 이미 사라졌기 때문입니다. 반드시 이미지가 상세하게 남아 있는 중간 레이어에서 수행해야 합니다.
단순 어텐션(Simple Attention): 단순히 AI에게 이미지를 한 번 보라고 하는 것만으로는 부족합니다. 그들은 계층적(hierarchical) 접근 방식(넓은 시야에서 클로즈업으로 줌인하는 것처럼 단계별로 진행하는 방식)이 필수적이라는 것을 발견했습니다.
그래디언트 맵(Gradient Maps): 그들은 AI가 무엇을 보고 있는지 확인하기 위해 표준 수학적 기법(그래디언트 기반 맵)을 사용해 보았으나, 결과는 형편없었습니다. 이 방식은 4.14점에 그쳤는데 비해 그들의 방식은 26.22점을 기록했습니다. 이는 그들의 특정 "풀링(pooling)" 방식이 차이를 만든 것이지, 단순히 AI의 내부 수학을 들여다보는 것이 핵심이 아님을 증명합니다.

한계점 (The Catch)

논문은 한계점에 대해서도 솔직하게 밝히고 있습니다. 이 방법은 AI가 소리의 위치를 찾는 데는 뛰어나게 만들지만, 원래의 작업인 "영상을 빠르게 검색하는 기능"을 사용하는 데는 약간의 어려움을 줍니다. 이제 AI는 어떤 부분에 집중할지 결정하기 위해 소리를 살펴봐야 하므로, 비디오의 "지문(fingerprint)"을 미리 계산하여 데이터베이스에 저장해 둘 수 없습니다. 질문을 던질 때마다 매번 다시 계산해야 합니다. 저자들은 기존의 검색 모델은 여전히 검색 기능을 잘 수행하지만, 새로운 "로컬라이저(localizer)" 버전은 거대 데이터베이스에서 다소 느릴 수 있다고 언급했습니다.

요약

요컨대, 이 논문은 소리의 근원을 찾기 위해 새로운 AI를 처음부터 만들 필요가 없다는 것을 증명합니다. 이미 소리와 비디오를 매칭하는 데 뛰어난 거대 사전 학습 AI를 가져와서, 영리한 추가 모듈(LAIP)을 더하기만 하면 소리가 정확히 어디에서 오는지 가리키는 숨겨진 능력을 끌어낼 수 있습니다. 이는 때때로 정답이 더 큰 뇌를 만드는 것이 아니라, 기존의 뇌가 올바른 세부 사항에 주의를 기울이는 법을 배우는 데 있다는 것을 상기시켜 줍니다.

기술 요약: 대규모 오디오-비주얼 검색 모델의 공간적 접지(Spatial Grounding) 해제

문제 정의

오디오-비주얼 음원 위치 추적(AV-SSL)은 비디오 프레임 내에서 동기화된 오디오 신호에 해당하는 공간적 영역을 식별하는 것을 목표로 합니다. 이 작업은 밀집되고 복잡한 시각적 장면 내에서 음원의 희소성으로 인해 본질적으로 까다롭습니다. 주요 병목 현상은 감독 학습에 필요한 조밀한 공간 주석(픽셀 수준 마스크)의 부족이며, 긴 비디오 클립에 대해 이를 생성하는 것은 비용이 매우 많이 듭니다. 결과적으로, 이 분야는 시간적으로 정렬된 오디오-비디오 쌍만을 활용하는 약지도 학습(weakly supervised) 방식에 의존해 왔습니다.

대규모 대조 학습(contrastive pretraining)은 강력한 멀티모달 검색 모델(예: PE-AV)을 탄생시켰으나, 이러한 모델들은 미세한 공간적 대응보다는 전역적 매칭(global matching)에 최적화되어 있습니다. 표준적인 검색 아키텍처에서는 백본의 상위 레이어에 있는 전역 풀링 메커니즘을 통해 조밀한 공간 정보가 점진적으로 손실되며, 그 결과 프레임 및 비디오 특징값은 정밀한 위치 추적에 필요한 세밀함을 결여하게 됩니다. 본 연구가 다루는 핵심 질문은, 공간적 세부 정보를 본질적으로 버리는 이러한 대규모 검색 모델이 약지도 학습만을 사용하여 미세한 공간적 접지(spatial grounding)를 회복하도록 적응될 수 있는가 하는 점입니다.

방법론: LAIP 프레임워크

저자들은 사전 학습된 검색 모델의 비주얼 백본에 시간적으로 정렬된 오디오 정보를 템포럴 어그리게이션(temporal aggregation) 이전에 주입하도록 설계된 LAIP(Localization via Audio-Informed Pooling) 프레임워크를 제안합니다.

핵심 아키텍처

LAIP는 오디오, 프레임, 비디오 인코더로 구성된 대규모 검색 백본(구체적으로 PE-AV)에서 작동합니다. 처음부터 위치 추적 모델을 학습시키거나 동결된 특징에 무거운 헤드를 부착하는 대신, LAIP는 프레임 인코더와 비디오 인코더 사이의 인터페이스를 수정합니다.

중간 특징 추출(Intermediate Feature Extraction): 공간적 세부 정보가 프레임 인코더의 마지막 레이어에서 억제된다는 점을 인식하여, LAIP는 더 이른 레이어(구체적으로 24개 레이어 중 16번째 레이어)로부터 중간 비주얼 토큰( $V_t^\ell$ )을 추출합니다.
오디오-비주얼 정렬(Audio-Visual Alignment): 오디오와 비디오가 서로 다른 시간적 해상도에서 작동하므로, 가벼운 로컬 어그리게이터(1D 컨볼루션 네트워크 및 템포럴 평균 풀링)를 사용하여 오디오 스트림을 비디오 프레임 레이트에 맞추어 각 프레임당 동기화된 오디오 임베딩 $a_t$ 를 생성합니다.
오디오 기반 공간 풀링(Audio-informed Spatial Pooling, AiSP): 핵심 혁신인 AiSP 모듈은 표준 전역 어그리게이션을 대체합니다. 이는 가벼운 컨볼루션 적응 블록이 뒤따르는 세 개의 스택형 AiSP 레이어로 구성된 계층적 설계를 채택합니다.
- 메커니즘: 각 단계에서 오디오 토큰은 공간 비주얼 토큰에 어텐션(attention)을 수행하는 쿼리 역할을 합니다. 어텐션 가중치는 세그멘테이션 맵을 형성하며, 비주얼 토큰은 이 어텐션 점수에 따라 로컬 공간 블록( $K \times K$ ) 내에서 풀링됩니다.
- 널 토큰(Null Token): 오디오가 가시적인 객체와 일치하지 않는 경우(예: 화면 밖 소리)를 처리하기 위해, 학습 가능한 널 토큰( $x_\emptyset$ )이 키(keys)에 추가됩니다. 이를 통해 오디오 쿼리는 관련 음원이 존재하지 않을 때 비주얼 토큰을 선택하지 않고 "기권"할 수 있습니다.
- 점진적 정제(Progressive Refinement): 계층적 스태킹은 비주얼 토큰의 공간 해상도를 점진적으로 감소시켜, 원래의 비디오 인코더와 호환되는 오디오 조건부 비주얼 토큰( $\tilde{c}_t$ )으로 압축합니다.

학습 목적 함수(Training Objective)

모델은 오디오-비주얼 도메인에 맞게 조정된 SigLIP 및 FLAIR에서 영감을 얻은 전역 대조 목적 함수를 사용하여 학습됩니다.

대조 손실( $L_{SIG}$ ): LAIP를 통해 생성된 풀링된 비디오 표현은 시그모이드 기반 대조 손실을 사용하여 전역 오디오 [CLS] 토큰과 정렬됩니다. 부정 쌍(negative pairs)은 오디오와 비디오가 불일치할 때 형성됩니다.
다중 해상도 정규화( $L_{MRes}$ ): 중간 어텐션 맵이 공간적으로 일관성을 갖도록 하기 위해, 서로 다른 풀링 단계 간의 어텐션 맵 일관성을 강제하는 손실 항을 적용합니다(저해상도 맵을 고해상도 맵에 맞춰 업샘플링).
널 토큰 정규화( $L_\emptyset$ ): 부정 쌍에 대해 널 토큰에 부여되는 어텐션에 페널티를 적용하여, 음원이 존재하지 않을 때 모델이 비주얼 영역을 선택하지 않도록 유도합니다.
어댑터(Adapters): 모델이 원래의 [CLS] 토큰을 모방하도록 붕괴되는 것을 방지하기 위해 비디오 인코더의 MLP 블록에 작은 어댑터를 추가하며, 나머지 사전 학습된 가중치는 동결된 상태를 유지합니다.

주요 기여

검색 표현의 활용: 저자들은 대규모 검색 모델이 전역 정렬에 최적화되어 있음에도 불구하고, 중간 비주얼 토큰에 활용 가능한 구조적 공간 정보를 보유하고 있음을 입증했습니다. 이를 통해 조밀한 공간 주석 없이도 위치 추적이 가능합니다.
LAIP 프레임워크: 비디오 풀링 전에 오디오 쿼리를 비주얼 백본에 주입하는 가벼운 오디오 정보 기반 아키텍처를 도입했습니다. 이는 기존의 검색 파이프라인과 호환성을 유지하면서 강력한 교차 모달 시너지를 가능하게 합니다.
로컬 작업을 위한 글로벌 감독: 계층적 풀링, 다중 스케일 일관성 및 널 토큰 처리를 포함한 특정 아키텍처와 결-합될 때, 전역 대조 목적 함수만으로도 풍부한 공간 오디오-비주얼 표현을 학습하기에 충분하다는 것을 보여주었습니다.

실험 결과

본 방법론은 AVATAR, AVSBench, ADE-SP의 세 가지 벤치마크에서 평가되었습니다.

AVATAR 벤치마크: LAIP는 네 가지 시나리오(단일 음원, 혼합 음원, 다중 엔티티, 화면 밖 음원) 모두에서 최첨단(SOTA) 성능을 달성했습니다. 특히, 이전 최고 모델인 TAVLO(약 13.4% CIoU)에 비해 성능을 거의 두 배 가까이 향적으로 높였습니다(약 27.6% CIoU 달성). 또한 더 높은 프레임 레이트로 작동하는 베이스라인 모델들보다 우수한 성능을 보였습니다.
AVSBench: 단일 음원(S4) 및 다중 음원(MS3) 테스트 세트에서 LAIP는 큰 차이로 최고의 F-score와 도전적인 MS3 분할에서의 최고의 Mask-IoU를 달성했습니다.
ADE-SP: LAIP는 사운드 프롬프트 세그멘테이션을 위해 명시적으로 설계된 모델들(예: TACO, DenseAV)을 포함한 모든 베이스라인을 능가하여 33.35 m-IoU 및 53.57 mAP를 기록했습니다.
절제 연구(Ablation Studies): 실험을 통해 계층적 풀링 설계, 다중 해상도 정규화, 그리고 널 토큰 메커니즘의 필요성을 확인했습니다. 계층적 AiSP를 단일 어텐션 레이어로 교체하거나 최종 인코더 레이어의 특징을 사용했을 때 성능이 크게 하락했습니다.

의의 및 주장

본 논문은 정확한 음원 위치 추적이 작고 정제된 데이터셋으로부터 처음부터 학습될 필요가 없다고 주장합니다. 대신, 기존의 대규모 검색 표현으로부터 이를 "해제(unlock)"할 수 있습니다. 검색 백본의 최종 집계 단계 이전에 개입함으로써, 저자들은 검색과 위치 추적 작업을 위한 통합된 경로를 제공합니다.

이 연구는 검색 모델이 공간 정보를 압축하더라도, 중간 레이어에는 오디오 기반 풀링 메커니즘을 통해 복구할 수 있는 충분한 구조가 존재한다는 점을 강조합니다. 이러한 접근 방식은 대규모 사전 학습의 의미론적 풍부함을 활용하면서도 조밀한 주석 비용을 피할 수 있는 실용적인 AV-SSL 체계를 제공합니다.

한계점: 저자들은 확장 가능한 검색에 관한 한계를 언급했습니다. LAIP의 비주얼 특징은 입력 오디오에 따라 결정되므로, 비디오 표현을 쿼리와 독립적으로 사전 계산할 수 없습니다. 따라서 원래의 PE-AV 모델은 표준 검색에 여전히 사용할 수 있지만, LAIP 강화 파이프라인은 모든 오디오-비디오 쌍에 대해 비디오 인코더를 다시 계산해야 하므로 대규모 검색 시스템에는 계산적으로 비효식적입니다. 향-후 연구 과제로 위치 추정의 이점을 유지하면서 확장 가능한 검색을 회복하는 것이 제안되었습니다.