💻 computer science

PRIMED: Adaptive Modality Suppression for Referring Audio-Visual Segmentation via Biased Competition

본 논문은 각 지시 표현의 특정 필요에 따라 주의를 동적으로 조정함으로써 최첨단 성능을 달성하는 모달리티 우선 디코더와 토큰 증류기를 통해 편향된 경쟁 이론을 활용하여 관련 없는 모달리티를 적응적으로 억제하는 참조 오디오-비주얼 분할을 위한 새로운 프레임워크인 PRIMED 를 소개합니다.

원저자: Yuchen He, Jing Zhang

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuchen He, Jing Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 PRIMED 논문을 쉬운 언어와 창의적인 비유를 사용하여 설명한 내용입니다.

큰 그림: "세 개의 머리를 가진 괴물" 문제

*"플루트를 연주하는 사람"*이라는 설명을 바탕으로 혼란스럽고 시끄러운 방에서 특정 사람을 찾아야 한다고 상상해 보세요.

눈 (시각): 당신은 많은 사람들을 봅니다. 어떤 이는 빨간 옷을 입고, 어떤 이는 춤을 추고, 어떤 이는 악기를 들고 있습니다.
귀 (청각): 당신은 플루트 소리, 드럼 소리, 기타 소리를 듣습니다.
뇌 (텍스트): 당신은 "플루트를 연주하는 사람"이라는 문장을 가지고 있습니다.

현재 AI 시스템의 문제는 이러한 모든 단서를 거대하고 지저분한 스무디처럼 취급한다는 점입니다. 이들은 플루트 소리, 춤추는 사람의 모습, 그리고 "플루트를 연주하는"이라는 단어를 어떤 단서가 가장 중요한지 결정하지 않은 채 섞어놓습니다. 만약 드럼 소리가 매우 크다면, AI는 텍스트에 "플루트"라고 적혀 있음에도 불구하고 혼란을 느껴 드럼 연주자를 가리킬 수 있습니다.

PRIMED는 이러한 문제를 해결하도록 설계된 새로운 AI 시스템입니다. 이는 언제 눈을 믿고, 언제 귀를 듣고, 언제 글로 된 단서를 신뢰해야 하는지 아는 똑똑한 탐정처럼 작동합니다.

PRIMED 의 작동 원리: "편향된 경쟁" 이론

이 논문은 **편향된 경쟁 (Biased Competition)**이라는 신경과학 개념에서 영감을 받았습니다.

비유: 재능 쇼
한 무대에 가수, 마술사, 저글러 등 여러 공연자가 동시에 있는 재능 쇼를 상상해 보세요. 심사위원들 (AI) 은 제한된 주의력을 가지고 있습니다.

하향식 (Bottom-up): 모든 공연자가 소리를 지르고 공연을 펼칩니다 (이는 원시 비디오 및 오디오 데이터입니다).
상향식 (Top-down): 진행자가 *"우리는 마술사를 찾고 있습니다!"*라고 발표합니다 (이는 텍스트 설명입니다).

과거 방식에서는 심사위원들이 시끄러운 가수에 혼란을 겪으며 모두를 똑같이 보려고 노력했습니다.
PRIMED에서는 진행자의 발표를 통해 경쟁에 **편향 (bias)**을 줍니다. 심사위원들은 마술사에 집중할 수 있도록 가수나 저글러를 적극적으로 억제합니다.

PRIMED 는 다음과 같은 세 가지 주요 단계로 이를 수행합니다.

1. "모달리티 프리어 디코더" (똑똑한 탐정)

AI 가 비디오를 보기 전에 텍스트 설명을 읽고 *"이 작업은 내가 듣는 것, 보는 것, 아니면 둘 다의 혼합에 관한 것일까?"*라고 묻습니다.

텍스트가 *"시끄러운 드럼"*이라고 말하면, AI 는 귀를 더 신뢰해야 함을 알게 됩니다.
텍스트가 *"빨간 차"*라고 말하면, AI 는 눈을 더 신뢰해야 함을 알게 됩니다.
이는 "오디오에 80%, 비디오에 20% 집중"이라고 말하는 **"모달리티 프리어 (Modality Prior)"**라는 정신적 메모를 생성합니다. 이 메모는 관련 없는 잡음을 무시하도록 작용하는 필터 역할을 합니다.

2. "토큰 증류기" (글로벌 GPS)

때로는 단일 프레임을 보는 것은 혼란스러울 수 있습니다. 플루트를 들고 있는 손을 보더라도 그것이 올바른 손인지 알 수 없을 수 있습니다.
PRIMED 는 전체 비디오의 가장 중요한 시각 정보를 "스냅샷"으로 찍어 몇 개의 **컴팩트한 토큰 (compact tokens)**으로 압축합니다 (GPS 좌표 세트와 같습니다).

이러한 토큰은 AI 처리의 모든 단계에서 공유됩니다.
비유: 당신이 도시를 항해한다고 상상해 보세요. 당신이 서 있는 거리 모퉁이만 보는 것이 아니라, 손에는 도시 전체를 보여주는 지도가 있습니다. 이 "글로벌 지도"는 AI 가 지역적 세부 사항에 빠지지 않고 일관성을 유지하도록 도와줍니다.

3. "경쟁" (최종 대결)

이제 AI 는 텍스트 단서, 오디오 단서, 시각 단서를 함께 가져옵니다.

모달리티 프리어 (1 단계) 덕분에 AI 는 어떤 단서를 중점적으로 평가할지 알게 됩니다.
글로벌 지도 (2 단계) 덕분에 AI 는 큰 그림에서 대상이 있어야 할 위치를 알게 됩니다.
그들은 주의를 끌기 위해 "경쟁"합니다. 관련 없는 단서 (플루트를 찾을 때 시끄러운 드럼 소리 등) 는 **억제 (silenced)**되고, 올바른 단서는 **강화 (amplified)**됩니다.

추가 다듬기: "공간 인식 의미 정렬"

AI 가 플루트 연주자 뒤의 벽과 같은 배경을 실수로 잡지 않도록 하기 위해 연구자들은 특별한 학습 규칙을 추가했습니다.

비유: 이는 선생님이 학생에게 *"플루트 뒤의 벽이 아니라 플루트를 보고 있는지 확인하세요"*라고 말하는 것과 같습니다.
AI 는 "플루트" 신호를 "벽" 신호에서 밀어내도록 훈련되어, 최종 결과가 훨씬 더 선명하고 정확해집니다.

그들은 무엇을 발견했는가?

이 논문은 텍스트 설명이 포함된 비디오 모음인 벤치마크 데이터셋에서 PRIMED 를 테스트했습니다.

결과: PRIMED 는 이전 모든 방법보다 우수한 성과를 거두었습니다. 많은 방해 요소 (시끄러운 소음이나 혼란스러운 시각적 요소 등) 가 있더라도 올바른 대상을 찾는 데 더 뛰어났습니다.
작동 이유: 시각과 오디오를 맹목적으로 섞는 대신 어떤 감각을 신뢰할지 명시적으로 결정함으로써 AI 는 훨씬 더 견고해졌습니다. 이는 텍스트 설명이 모호하거나 환경이 시끄러운 까다로운 상황에서도 대처할 수 있게 했습니다.

요약

PRIMED는 모든 것을 다 잘하는 "만능 재주꾼"이 되려 하지 않고, 대신 똑똑한 전략가가 되는 AI 입니다. 이는 지시를 읽고, 사용할 감각을 결정하며, 방해 요소를 필터링하고, 정확한 대상을 찾기 위해 글로벌 지도를 사용합니다. 소리, 시각, 단어가 뒤섞인 혼란스러운 상황을 명확하고 정확한 답변으로 바꿉니다.

기술 요약: PRIMED – 편향된 경쟁을 통한 참조 오디오 - 비주얼 분할을 위한 적응형 모달리티 억제

문제 제기
참조 오디오 - 비주얼 분할 (Ref-AVS) 은 시각, 청각 및 텍스트 참조 단서를 기반으로 비디오 프레임에서 대상 객체를 국소화하고 분할하는 것을 목표로 합니다. 최근의 멀티모달 학습이 양모달 태스크를 발전시켰지만, 세 가지 이질적인 모달리티 간의 세밀한 정렬이 필요하기 때문에 이를 Ref-AVS 로 확장하는 것은 여전히 어렵습니다. 기존 접근법 (융합 기반, 프롬프트 기반, 추론 기반) 은 일반적으로 멀티모달 입력을 융합하거나 추론해야 하는 동질적인 신호로 취급합니다. 이러한 방법들의 결정적인 한계는 각 모달리티의 고유한 역할과 가변적 관련성을 명시적으로 모델링하지 못한다는 점입니다. 결과적으로, 여러 후보 영역이 참조 표현을 부분적으로 만족할 때, 관련 없거나 오해의 소지가 있는 모달리티 (예: 방해 객체에서 발생하는 눈에 띄는 소리) 가 견고한 대상 분할을 방해할 수 있습니다.

방법론
저자들은 인지 신경과학의 '편향된 경쟁 (biased competition)' 이론을 명시적으로 모델링하는 프레임워크인 PRIMED(PRior-Informed Modulation and Embedding Distillation) 를 제안합니다. 이 패러다임에서 하향식 시각적 증거가 표현을 위해 경쟁하는 동안, 상향식 신호 (참조 표현) 는 경쟁을 작업 관련 대상으로 편향시킵니다. 아키텍처는 네 가지 핵심 구성 요소로 구성됩니다:

시맨틱 흐름 생성기 및 모달리티 사전 디코더 (MPD):
- 텍스트 및 오디오 특징이 통합된 시맨틱 흐름으로 정렬됩니다. 시간적 오디오 역학을 처리하기 위해, 캐시된 메모리 메커니즘은 현재 오디오 표현이 역사적 맥락과 크게 벗어날 때 이를 증폭시킵니다.
- 모달리티 사전 디코더 (MPD) 는 참조 표현이 주로 오디오, 비주얼, 또는 이들의 결합 상호작용에 의존하는지 특징화하는 모달리티 사전 ( $P_M$ ) 을 예측하는 경량 MLP 입니다. 명시적인 모달리티 주석이 없으므로, 저자들은 신뢰성을 보장하기 위해 감사 프롬프트로 검증된 Qwen3-omni 를 사용하여 훈련을 위한 소프트 라벨을 생성합니다.
토크니 증류기 (Token Distiller):
- 컴팩트한 고수준 시각적 편향을 제공하기 위해, 프레임워크는 Hiera 트렁크에서 최고 수준의 특징을 학습 가능한 글로벌 시각 토큰 집합으로 증류합니다.
- 이러한 토큰은 교차 어텐션을 통해 모든 융합 단계에서 공유되어 일관된 글로벌 맥락을 보장합니다. 훈련 중에는 이러한 토큰 간의 다양성을 장려하기 위해 직교성 정규화가 적용됩니다.
교차 모달 편향된 경쟁 융합 (CBCF):
- CBCF 모듈의 캐스케이드는 통합된 시맨틱 흐름을 다중 스케일 시각 특징과 통합합니다.
- 하위 단계에서는 시맨틱 상호작용이 세밀한 정렬을 안내합니다. 최고 단계 (Stage 3) 에서 모달리티 사전은 Multi-Head Cross-Attention (MHCA) 블록에 가산 어텐션 편향으로 주입됩니다. 이 편향은 시각 및 시맨틱 단서 간의 경쟁을 조절하여 예측된 사전에 기반하여 관련 없는 모달리티를 억제합니다.
- 융합된 특징은 밀집 (시각) 및 희소 (시맨틱) 프롬프트로 SAM2 디코더에 주입됩니다.
공간 인식 시맨틱 정렬 (SASA) 손실:
- 전경 - 배경 구분을 강화하기 위해, 대비 손실은 각 프레임의 시맨틱 앵커를 전경 프로토타입과 정렬하면서 상위 $k$ 개 가장 유사한 배경 토큰으로부터는 멀어지도록 합니다.

주요 기여

Ref-AVS 재정의: 이 논문은 모달리티 인식 편향된 경쟁의 관점에서 Ref-AVS 를 재해석하여, 대상 선택의 모호성을 해결하기 위해 모달리티의 가변적 관련성을 모델링할 필요성을 강조합니다.
PRIMED 프레임워크: 이를 명시적으로 구현하는 새로운 SAM2 기반 아키텍처:
- 상향식 안내를 제공하는 모달리티 사전 디코더.
- 시맨틱을 시각 계층 구조로 점진적으로 통합하는 CBCF 모듈.
- 컴팩트한 글로벌 맥락을 전파하는 토크니 증류기.
향상된 구분력: 대상 영역을 혼란스러운 배경 방해 요소와 분리하기 위해 SASA 손실과 직교성 정규화를 도입했습니다.

실험 결과
Ref-AVS 벤치마크 (관측, 미관측, null 분할 포함) 에서 광범위한 실험이 수행되었습니다.

성능: PRIMED 는 최첨단 전체 성능을 달성하여 가장 좋은 혼합 자카드 지수 (J) 및 F-점수 (F) 를 얻었습니다. 구체적으로, 이전 최선 방법인 AURORA 대비 관측 분할 J 는 2.8%, 미관측 분할 J 는 2.1% 향상되었습니다.
일반화: 이 방법은 특히 미관측 분할에서 다른 SAM 기반 접근법 (예: SAM2-LOVE, TSAM) 보다 일관된 개선을 보여주어, 명시적인 모달리티 경쟁 모델링이 새로운 객체 클래스에 대한 일반화를 향상시킨다는 것을 시사합니다.
절단 연구: 모달리티 사전이나 편향된 경쟁 메커니즘을 제거하면 성능이 저하되며, 특히 강한 방해 요소가 있는 시나리오 (예: 대상 피아노보다 더 크게 울리는 플루트) 에서 두드러집니다. SASA 손실의 절단은 전경 - 배경 분리에 대한 그 역할을 확인시켰으며, 토크니 증류기는 단계 간 안정적인 경쟁에 필수적인 것으로 나타났습니다.

의의 및 주장
이 논문은 PRIMED 가 멀티모달 단서를 동질적인 입력으로 취급하는 대안으로 유망함을 주장합니다. 서로 다른 모달리티가 후보 경쟁에 어떻게 참여하는지 명시적으로 모델링함으로써, 이 프레임워크는 멀티모달 모호성 하에서 더 신뢰할 수 있는 대상 선택을 달성합니다. 저자들은 PRIMED 가 대상 고정 (grounding) 을 안정화하는 데 뛰어나지만, 최근 MLLM 기반 추론 방법과 비교하여 F-점수에서 여전히 격차가 있음을 지적하며, 복잡한 시나리오에 대한 정밀한 경계 정제 및 고수준 시맨틱 추론은 향후 개선 영역임을 밝혔습니다. 이 연구는 모달리티 인식 사전과 계층적 시각적 맥락을 활용하는 것이 향후 멀티모달 분할 연구의 중요한 방향임을 시사합니다.