💻 computer science

3rd Place of MeViS-Audio Track of the 5th PVUW: VIRST-Audio

이 논문은 음성 입력을 텍스트로 변환하여 기존 텍스트 기반 RVOS 모델과 존재 인식 게이트 메커니즘을 결합한 VIRST-Audio 프레임워크를 제안하고, 이를 통해 5 회 PVUW 챌린지 MeViS-Audio 트랙에서 3 위를 달성한 성과를 보고합니다.

원저자: Jihwan Hong, Jaeyoung Do

게시일 2026-03-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jihwan Hong, Jaeyoung Do

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎧 소리로 영상을 찾아내는 'VIRST-Audio' 이야기

이 논문은 **"소리를 듣고, 그 소리가 가리키는 물체가 영상에서 어디에 있는지 찾아내는 기술"**에 대한 이야기입니다. 연구팀은 이 기술로 세계적인 대회 (5th PVUW) 에서 3 위라는 훌륭한 성적을 거두었습니다.

이 복잡한 기술을 일반인도 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드릴게요.

1. 핵심 아이디어: "소리를 글로 번역하는 통역사" 🗣️➡️📝

보통 영상 속 물체를 소리로 찾는 일은 매우 어렵습니다. 소리는 추상적이고, 영상은 시각적이기 때문에 두 가지를 직접 연결하는 AI 를 만드는 게 힘들기 때문이죠.

하지만 이 연구팀은 아주 똑똑한 방법을 썼습니다.

비유: "소리를 듣는 AI 가 직접 소리를 이해하는 대신, **유능한 통역사 (ASR)**를 고용해서 소리를 **글 (텍스트)**로 바꿔주는 겁니다."

기존 방식: 소리를 직접 분석해서 "이 소리가 개 소리야, 고양이 소리야?"를 추측해야 함. (매우 어려움)
이 연구팀 방식: 소리를 듣자마자 "개"라는 글자로 바꿔버립니다.
결과: AI 는 원래 "글로 된 설명을 보고 물체를 찾는" 전문가 (RVOS 모델) 였습니다. 소리를 글로 바꿔주니, AI 는 마치 원래부터 글로 설명을 들었던 것처럼 아주 자연스럽게 물체를 찾아냅니다.

💡 요약: 소리를 직접 이해하려 애쓰지 않고, 소리를 글로 번역해서 이미 글로 잘 아는 AI 에게 맡긴 것입니다.

2. 새로운 기능: "물체가 없으면 '없음'이라고 말하는 문지기" 🚪🚫

영상 속에는 설명에 맞는 물체가 아예 없는 경우도 있습니다. 예를 들어 "고양이가 뛰어다니는 영상"이라고 했는데, 영상에는 개만 뛰어다닐 때죠.

기존 AI 들은 물체가 없어도 억지로 무언가를 찾아내려다 (할루시네이션, 즉 환각) 엉뚱한 곳을 지목하는 실수를 자주 했습니다.

비유: "이 기술은 영상 앞에 **현명한 문지기 (Existence-Aware Gating)**를 세웠습니다."

문지기의 역할: "소리가 지시하는 물체가 이 영상에 진짜로 있나?"를 먼저 확인합니다.
상황 1 (물체가 있을 때): "있네! 자, 이제 그 물체를 찾아서 잘라내 (세그먼트) 줘."
상황 2 (물체가 없을 때): "없네? 그럼 아무것도 찾지 마. 그냥 빈손으로 돌아와."

이 덕분에 AI 는 물체가 없을 때 엉뚱한 것을 지목하는 실수를 크게 줄였고, 훨씬 더 신뢰할 수 있게 되었습니다.

3. 성과: "글을 잘 아는 AI 가 소리로도 3 등" 🏆

이 기술은 MeViS-Audio라는 대회에서 13 개 팀 중 3 위를 차지했습니다.

왜 성공했을까?
1. 소리를 글로 바꾸는 전략: 소리를 직접 학습하지 않아도, 이미 글로 훈련된 강력한 AI 를 그대로 쓸 수 있었습니다. (비용 절감 + 높은 성능)
2. 문지기의 존재: 물체가 없을 때 엉뚱한 답을 내놓지 않게 막아주어, 전체적인 정확도가 높아졌습니다.

🎬 실제 예시:

상황 A: "빨간 공을 따라가" (영상에 빨간 공이 여러 개 있음) → AI 가 정확한 빨간 공을 골라냅니다.
상황 B: "비행기가 날아가는 소리" (영상에는 비행기가 없음) → AI 가 "없습니다"라고 정직하게 답하고, 엉뚱한 구름을 비행기라고 지목하지 않습니다.

🌟 한 줄 요약

"소리를 글로 번역해서 전문가에게 맡기고, 물체가 없을 때는 침묵하는 문지기를 세워, 소리로 영상을 찾는 AI 의 실수를 획기적으로 줄인 기술입니다."

이 기술은 향후 시력 장애가 있는 분들을 위한 영상 설명 서비스나, 복잡한 영상 데이터를 자동으로 분석하는 시스템 등에 큰 도움이 될 것으로 기대됩니다.

1. 문제 정의 (Problem)

이 논문은 음성 기반 참조 비디오 객체 분할 (Audio-based Referring Video Object Segmentation, ARVOS) 문제를 다룹니다.

목표: 비디오 내의 특정 객체를 식별하고 시간 흐름에 따라 픽셀 단위의 마스크를 생성하되, 입력으로 주어진 음성 (Audio) 쿼리를 기반으로 해야 합니다.
어려움: 음향 신호 (Acoustic signals) 와 시공간적 시각 표현 (Spatio-temporal visual representations) 을 연결하는 것이 핵심 난제입니다. 특히, 대상 객체가 비디오에 존재하지 않는 경우에도 모델이 잘못된 마스크를 생성하는 할루시네이션 (Hallucination) 문제를 해결하는 것이 중요합니다.
메트릭: MeViS-Audio 트랙에서는 분할 정확도 (J & F) 뿐만 아니라, 대상이 없을 때 이를 올바르게 감지하는 **N-acc.(No-target accuracy)**와 대상이 있을 때 올바르게 찾는 **T-acc.(Target accuracy)**를 함께 평가합니다.

2. 방법론 (Methodology)

저자들은 VIRST-Audio라는 프레임워크를 제안하며, 이는 크게 두 가지 핵심 기술로 구성됩니다.

가. 음성 - 텍스트 변환을 통한 크로스 - 모달 전이 (ASR-based Transfer)

기본 아이디어: 오디오 전용 모델을 학습시키는 대신, 자동 음성 인식 (ASR) 모듈을 사용하여 입력 음성을 텍스트로 변환합니다.
아키텍처:
- 기존에 텍스트 기반 참조 비디오 객체 분할 (RVOS) 에 특화된 사전 학습 모델인 VIRST를 기반으로 합니다.
- Whisper-Large를 ASR 모듈로 사용하여 음성을 텍스트로 변환하고, 이를 VLM(Vision-Language Model) 의 언어 입력으로 사용합니다.
- VIRST 구조: CLIP 기반 비디오 인코더와 SAM2 인코더의 특징을 ST-Fusion(시공간 융합) 모듈을 통해 결합하고, 이를 SAM2 마스크 디코더의 프롬프트로 사용합니다.
장점: ARVOS 전용 학습 데이터가 없어도, 텍스트 기반 추론 능력을 오디오 도메인으로 효과적으로 전이 (Transfer) 할 수 있습니다.

나. 존재 인식 게이트 메커니즘 (Existence-Aware Gating)

목적: 대상 객체가 비디오에 존재하지 않을 때 발생하는 할루시네이션 (불필요한 마스크 생성) 을 억제하여 모델의 견고성을 높입니다.
작동 원리:
1. 존재 예측 모듈: ST-Fusion 모델의 출력 특징을 기반으로 대상이 비디오에 존재할 확률 ( $p$ ) 을 예측하는 경량 모듈을 추가합니다.
2. 게이팅 (Thresholding): 추론 시 예측 확률 $p$ 가 임계값 ( $\tau$ ) 보다 낮으면, 분할 모듈을 실행하지 않고 빈 마스크 (Empty prediction) 를 직접 출력합니다.
3. 학습: 대상이 없는 샘플 (Ground-truth mask 가 비어있는 경우) 에 대해서는 분할 학습을 배제하고, 존재 여부 예측만 이진 교차 엔트로피 (BCE) 손실로 학습합니다.

3. 주요 기여 (Key Contributions)

효율적인 도메인 전이: 오디오 전용 학습 없이 ASR 모듈과 기존 텍스트 기반 RVOS 모델 (VIRST) 만을 결합하여 ARVOS 문제를 해결하는 실용적인 프레임워크를 제시했습니다.
할루시네이션 억제 메커니즘: 대상의 존재 여부를 명시적으로 모델링하는 '존재 인식 게이트'를 도입하여, 대상이 없을 때의 오탐지 (False Positive) 를 크게 줄이고 N-acc. 및 T-acc. 성능을 균형 있게 개선했습니다.
성능 입증: MeViS-Audio 트랙에서 13 개 팀 중 3 위를 달성하며, 텍스트 기반 추론이 오디오 도메인에서도 강력한 일반화 능력을 가짐을 증명했습니다.

4. 실험 결과 (Results)

PVUW 2026 MeViS-Audio 트랙 결과:
- 순위: 13 개 팀 중 3 위.
- 점수: J & F 점수 0.54 (J: 0.52, F: 0.56).
- 정확도: N-acc. 0.70, T-acc. 0.82.
- 의미: 1 위, 2 위 팀에 비해 점수는 다소 낮지만, N-acc.와 T-acc.가 모두 높은 수준을 유지하여 긍정적/부정적 쿼리에 대한 균형 잡힌 신뢰성을 보여줍니다.
Ablation Study (게이트 메커니즘 효과):
- 게이트 메커니즘을 적용하지 않은 베이스라인 (VIRST) 대비 J & F 점수가 0.49 에서 0.54로 향상되었습니다.
- 특히 N-acc.가 0.62 에서 0.70으로 크게 개선되어, 대상이 없을 때의 잘못된 예측을 효과적으로 차단함을 입증했습니다.
- 임계값 $\tau=0.8$ 에서 분할 품질과 할루시네이션 견고성 간의 최적 균형을 이루었습니다.
정성적 결과:
- 여러 객체가 있는 복잡한 장면에서도 정확한 대상을 분할했습니다.
- 대상이 존재하지 않는 경우 (Negative Query), 모델이 분할을 수행하지 않고 빈 결과를 출력하여 오탐지를 성공적으로 억제했습니다.

5. 의의 및 결론 (Significance)

이 논문은 음성 기반 비디오 분할 분야에서 다음과 같은 중요한 시사점을 제공합니다:

데이터 효율성: 오디오 - 비주얼 정렬을 위한 대규모 데이터 학습 없이도, ASR 과 기존 텍스트 기반 모델의 결합을 통해 고성능을 달성할 수 있음을 보였습니다.
신뢰성 있는 AI: 실제 응용 환경에서 중요한 '존재하지 않는 대상에 대한 오분할' 문제를 해결하기 위한 존재 인식 게이트는 모델의 신뢰성을 높이는 핵심 요소임을 입증했습니다.
확장성: 제안된 VIRST-Audio 프레임워크는 복잡한 멀티모달 추론을 유지하면서도 단순하고 확장 가능한 파이프라인을 제공하여, 향후 다양한 오디오 - 비주얼 태스크에 적용 가능한 방향성을 제시합니다.

요약하자면, VIRST-Audio는 음성을 텍스트로 변환하여 기존 텍스트 기반 모델의 능력을 활용하고, 대상 존재 여부를 판단하는 게이트 메커니즘을 추가함으로써, MeViS-Audio 챌린지에서 높은 일반화 성능과 신뢰성을 확보한 성공적인 사례입니다.