기술 요약: VideoASMR-Bench

문제 제기

Sora 및 Veo와 같은 최첨단 비디오 생성 모델 (VGM) 의 등장으로 인해 실제 비디오와 합성 비디오의 경계가 점점 모호해지고 있습니다. 현재 벤치마크 (예: VBench, VideoPhy) 는 의미론적 정합성과 거시적 물리적 일관성 (예: 객체 소멸, 중력) 을 평가하지만, 정밀한 오디오 - 시각적 지각과 감각적 몰입도를 평가할 수 있는 분별력을 갖추지 못했습니다. 기존 평가 스위트는 오디오를 보조 모달리티로 취급하거나 아예 무시하여, 고품질 AI 생성 콘텐츠와 현실을 구별하는 데 필요한 미묘한 인공물을 포착하지 못합니다. 이러한 격차는 차세대 비디오 지각 및 생성 연구를 안내하기 위한 고감도 평가 프레임워크의 필요성을 제기합니다.

방법론

저자들은 자율 감각 쾌감 반응 (ASMR) 콘텐츠를 사용하여 비디오 모델을 스트레스 테스트하도록 설계된 VideoASMR-Bench를 소개합니다. ASMR 비디오 (예: 두드리기, 빗질하기, 속삭이기) 는 정밀한 시간 - 리듬적 정합성, 정밀한 재료 상호작용, 그리고 지속적인 감각적 몰입도를 요구하기 때문에 미세한 생성 실패를 탐지하는 이상적인 테스트베드가 됩니다.

벤치마크 구성

벤치마크는 세 가지 핵심 요소로 구성됩니다:

1. ASMR 비디오 스위트: 유튜브 (YouTube) 등 소셜 미디어에서 선별된 1,500 개의 고품질 실제 ASMR 비디오로, 조회수 (>90 만) 기준으로 필터링되고 워터마크와 인공 배경이 제거되어 처리되었습니다. 이 스위트는 "쉬운" 수준 (균일한 장면에서의 짧은 단일 단계 동작) 과 "어려운" 수준 (복잡한 환경에서의 긴 다단계 활동) 으로 나뉩니다.
2. ASMR 프롬프트 스위트: 각 비디오에 대해 생성된 텍스트 설명으로, 환경, 주제, 동작, 시간적 역동성 및 해당 소리를 상세히 기술합니다. 이들은 합성을 위한 조건부 신호로 작용합니다.
3. ASMR 이미지 스위트: 이미지 - 비디오 생성의 조건부 입력으로 사용되는 고품질 참조 이미지 (실제 비디오의 첫 프레임) 입니다.

이러한 스위트를 활용하여 저자들은 Sora2, Veo3.1, HunyuanVideo, Wan2.2, OpenSora-V2 를 포함한 9 개의 최첨단 VGM 에서 4 가지 다른 생성 설정 하에 2,235 개의 가짜 ASMR 비디오를 합성했습니다:

• 이미지 - 비디오 (Img2Vid)
• 텍스트 - 비디오 (Text2Vid)
• 텍스트 - 이미지 - 비디오 (Text2Img2Vid)
• 최소한의 프롬프트만 사용한 이미지 전용 생성

평가 프레임워크

본 논문은 비디오 이해 모델 (VLM) 을 속이기 위해 사실적인 가짜 비디오를 생성하려는 VGM 과 이를 탐지하려는 VLM 이 맞서는 적대적 이해 - 생성 평가를 제안합니다.

• VLM 평가: GPT-4o, Gemini-3-Pro, 다양한 Qwen/GLM 모델을 포함한 11 개의 VLM 이 비디오를 실제 또는 가짜로 분류하는 능력을 평가받습니다. 모델들은 이진 결정을 내리기 전에 단계별 추론 (Chain-of-Thought) 을 제공해야 합니다.
• VGM 평가: VGM 은 VLM 에 의해 실제 것으로 잘못 분류된 생성 비디오의 비율 (현실성 점수) 을 기준으로 점수를 매깁니다.
• 인간 기준선: 10 명의 인간 주석가 (전문가와 비전문가 혼합) 가 정답 레이블을 제공합니다.

주요 결과

평가 결과, 정밀한 ASMR 탐지와 관련하여 현재 최첨단 모델들이 상당한 한계를 드러냈습니다:

1. VLM 의 탐지 어려움: 최상위 독점 VLM 조차도 AI 생성 ASMR 비디오를 신뢰성 있게 탐지하지 못합니다.

   • 가장 성능이 좋은 VLM 인 Gemini-3-Pro는 평균 정확도 **70.57%**를 기록하여 **87.50%**인 인간 기준선에 비해 현저히 뒤처졌습니다.
   • 대부분의 오픈소스 모델은 성능이 낮아 많은 모델이 60% 미만의 정확도를 기록했습니다.
   • VLM 은 비디오를 "실제"로 분류하는 강한 편향을 보이며, 가짜 비디오의 최대 약 71% 를 잘못 분류했습니다.

2. VLM 에게 구별 불가능한 콘텐츠 생성: 현재 최첨단 VGM 은 VLM 에게 실제 것과 구별하기 어려운 ASMR 비디오를 생성할 수 있습니다.

   • Veo3.1-fast는 가장 성공적인 생성기로, VLM 앙상블에 의해 가짜로 올바르게 식별된 비디오는 단 **12.54%**에 불과했습니다.
   • HunyuanVideo와 Wan2.2와 같은 오픈소스 모델도 낮은 탐지율 (각각 14.77% 및 16.10%) 을 기록하여 워터마크가 제거된 경우 일부 지표에서 Sora2 를 능가했습니다.

3. 중요한 관찰:

   • 워터마크 의존성: VLM 은 종종 워터마크를 "탐지 단서"로 의존합니다. Sora2 의 워터마크가 제거되었을 때 Gemini-2.5-Pro 및 GPT-5 와 같은 모델들의 탐지 정확도는 약 30 퍼센트 포인트 하락했습니다.
   • 오디오의 중요성: 오디오 단서를 통합하면 탐지 정확도가 크게 향상되어 (평균 약 5 포인트 증가) 현재 VGM 이 특히 ASMR 맥락에서 고품질 오디오 - 시각 동기화를 달성하지 못하는 경우가 많음을 시사합니다.
   • 추론과 선호도: 직접적인 이진 판단에 비해 명시적 추론 흔적과 실제 대 가짜 비디오를 비교하는 선호도 기반 평가가 일반적으로 탐지 정확도와 안정성을 향상시켰습니다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

• 최초의 ASMR 도메인 연구: 저자들의 지식 범위 내에서, 이는 ASMR 도메인 내에서 비디오 생성과 이해를 모두 체계적으로 조사하여 정밀한 물리적 사실성과 감각적 몰입도를 위한 엄격한 테스트베드로 활용하는 첫 번째 작업입니다.
• 확장 가능한 벤치마크: VideoASMR-Bench 는 1,500 개의 실제 비디오로 구성된 고품질 다양성 데이터셋과 확장 가능한 프롬프트 및 이미지 스위트를 제공하여, 조건부 합성을 통해 향후 비디오 모델에 따라 벤치마크가 동적으로 확장되도록 합니다.
• 적대적 프레임워크: 11 개의 VLM 과 9 개의 VGM 을 아우르는 적대적 평가 프로토콜의 도입은, VGM 이 특정 감각 도메인에서 인간 수준의 사실성에 빠르게 접근하고 있지만, VLM 은 내재적 지각 분석보다는 워터마크와 같은 피상적 단서에 의존하여 종종 신뢰할 수 없는 탐지기임을 보여줍니다.

저자들은 현재 모델들이 기계를 속일 수는 있지만 인간 주석가를 완전히 속이지는 못한다고 결론지으며, 비디오 생성 연구의 차세대 최전선은 진정한 감각적 몰입과 완벽한 오디오 - 시각적 일치를 달성하는 데 있음을 시사합니다.