기술 요약: InteracVid

문제 정의

대규모 언어 모델(LLM)이 텍스트를 인간과 AI 간 상호작용의 기본 매체로 확립했음에도 불구하고, 텍스트만으로는 표현력이 풍부하고 접지된(grounded) 응답이 필요한 멀티모달 어시스턴트, 아바타 및 체화된 에이전트(embodied agents)를 지원하기에 불충분합니다. 최근의 오디오-비디오 생성 모델은 합성 충실도와 동기화 성능을 개선했으나, 이들의 감독(supervision) 방식은 여전히 **기술적(descriptive)**인 수준에 머물러 있습니다. 즉, 모델들이 입력된 캡션에 명시된 내용을 렌더링하도록 훈련될 뿐, 외부 사용자의 상호작용에 의해 유발된(caused) 응답을 생성하도록 훈련되지는 않습니다.

기존의 상호작용형 오디오-비주얼 생성 데이터셋은 세 가지 주요 한계점을 가집니다:

1. 인과 구조의 결여: 비디오 컨텍스트와 텍스트를 쌍으로 묶기는 하지만, 특정 반응형 비디오 구간을 식별하거나 이를 유발한 사용자 측의 쿼리(query)를 제공하지 못하는 경우가 많습니다.
2. 모달리티 제약: 많은 데이터셋이 토킹 헤드(talking-heads)나 인간의 발화 행동에 국한되어 있어, 다양한 객체 상호작용, 화면 기반 동작 또는 체화된 시연 등이 부족합니다.
3. 감독 데이터의 부재: 현재의 리소스들은 모델이 특정 사용자 자극에 적합한 오디오-비주얼 반응을 생성해야 하는, 쿼리에 의해 트리거되고 컨텍스트에 접지된 상호작용적 응답을 학습하기 위한 충분한 데이터를 제공하지 못합니다.

방법론

데이터셋 큐레이션: InteracVid

저자들은 상호작용적 오디오-비주얼 응답 생성을 위한 누락된 감독 데이터를 해결하기 위해 설계된 최초의 오픈 소스 대규모 데이터셋인 InteracVid를 소개합니다. 이 데이터셋은 스트리머가 시청자의 댓글에 반응하는 자연스러운 상호작용 루프를 포착하는 라이브 채팅 영상을 통해 구축되었습니다.

큐레이션 파이프라인은 원시 라이브 스트림의 희소성과 노이즈를 처리하기 위해 **메타데이터 인지형 2개 분기 방식(metadata-aware, two-branch approach)**을 채택합니다:

1. 실제 쿼리 분기 (자연스러운 상호작용):

   • 타임스탬프가 찍힌 라이브 채팅 메타데이터가 있는 영상의 경우, 시스템은 시청자 댓글과 그 뒤를 잇는 스트리머의 발화를 정렬합니다.
   • 자막으로부터 문장 수준의 의미론적 타임라인을 구축하여 담화 역할(주도적 독백 vs. 반응적 응답)을 결정합니다.
   • LLM을 사용하여 쌍(pair)을 필터링함으로써 타당한 쿼리-응답 인과 관계를 보장하고, 전체 상호작용 구조인 이전 컨텍스트($C$), 사용자 쿼리($Q$), 그리고 실제 오디오-비주얼 응답($Y$)을 추출합니다.

2. 재구성된 쿼리 분기 (합성 트리거):

   • 채팅 메타데이터가 없는 영상(예: VOD)의 경우, 시스템은 담화 역할 분류를 기반으로 트랜스크립트 내에서 반응적 응답 순간을 식별합니다.
   • 시각-언어 모델(VLM)이 로컬 비디오 컨텍스트와 응답 트랜스크립트를 관찰하여, 해당 응답을 유발했을 법한 타당한 사용자 쿼리를 **재구성(reconstruct)**합니다.
   • 결정적으로, 타겟 응답($Y$)은 항상 실제 영상에서 추출됩니다. 오직 입력 쿼리 조건만이 합성된 것입니다. 이를 통해 데이터셋이 실제 인간의 반응에 근거하도록 유지합니다.

데이터 처리 및 품질 관리

• 규모: 파이프라인은 대화 중심, 객체 중심, 절차적, 체화된, 그리고 화면 기반 시나리오를 아우르는 59K개 이상의 라이브 스트림 영상으로부터 **454K 이상의 컨텍스트-쿼리-응답 삼중항(triplets)**을 산출합니다.
• 멀티모달 필터링: 엄격한 품질 관리를 통해 언어와 시각 정보 사이의 의미론적 정렬을 보장합니다. 급격한 장면 전환이 있는 클립은 제거됩니다. 추출된 클립에 대해 ASR(자동 음성 인식)을 재실행하여 트랜스크립트와 단어 단위 타임스탬프를 정교화합니다.
• 보조 캡셔닝: 각 클립에 대해 음성과 시각적 관찰을 결래한 보조 오디오-비주얼 캡션($T$)을 생성하여 훈련과 분석을 지원합니다.

실험 프레임워크

저자들은 상호작용적 생성의 복잡성을 해결하기 위해 2단계 생성 파이프라인을 제안합니다:

1. 상호작용 플래너 (Interaction Planner): 시각-언어 모델(VLM)이 컨텍스트($C$)와 쿼리($Q$)를 입력받아 상호작용 인지형 텍스트 기술($T$)을 예측합니다.
2. 오디오-비디오 공동 생성기 (Audio-Video Co-Generator): 디퓨전 기반 모델(MOVA)이 기술($T$)과 컨텍스트($C$)를 입력받아 최종 멀티모달 응답($Y$)을 합성합니다.

실험은 InteracVid를 통해 플래너와 생성기를 모두 미세 조정(fine-tuning)하며, 이를 제로샷 베이스라인 및 오라클 캡션 상한선(oracle-caption upper bounds)과 비교합니다.

주요 기여

1. InteracVid 데이터셋: 외부 자극과 오디오-비주얼 응답 사이의 인과 관계를 명시적으로 모델링하는 454K 이상의 고품질 상호작용 삼중항($C, Q, Y$)을 포함하는 대규모 데이터셋입니다. 이는 다양한 비디오 도메인에 걸쳐 오디오-비주얼 입력/출력과 이전 컨텍스트를 모두 지원하는 유일한 데이터셋입니다.
2. 메타데이터 인지형 구축 파이프라인: 길고 노이즈가 많은 라이브 스트림에서 상호작용 클립을 추출하기 위한 혁신적인 방법으로, 데이터 커버리지를 극대화하면서 인과적 무결성을 유지하기 위해 이중 분기 전략(실제 쿼리 및 재구성된 쿼리)을 활용합니다.
3. 인간 검증: 10명의 평가자를 대상으로 한 연구를 통해 실제 쿼리와 재구성된 쿼리 모두 인과적이고, 자연스러우며, 시간적으로 완전함을 확인했습니다. 재구성된 쿼리는 원시 라이브 채팅에서 흔히 나타나는 속어나 생략된 구문을 제거했기 때문에 자연스러움 측면에서 약간 더 높은 점수를 받았습니다.
4. 상호작용 구조화된 데이터의 경험적 검증: 실험 결과, InteracVid를 통한 미세 조정이 상위 단계의 상호작용 플래너와 하위 단계의 오디오-비주얼 생성기 모두를 유의미하게 개선함을 입증하였으며, 이는 상호작용 구조화된 데이터가 멀티모달 에이전트의 핵심 기초임을 증명합니다.

결과

의미론적 성능

100개의 실제 라이브 채팅 쿼리로 구성된 홀드아웃 벤치마크에서:

• 생성기 미세 조정: InterVid를 통해 오디오-비주얼 공동 생성기(MOVA)를 미세 조정했을 때 모든 의미론적 차원(관련성, 적절성, 표현력)에서 상당한 이득을 얻었습니다. 예를 들어, Qwen3.5-9B를 플래너로 사용했을 때 종합 점수(OVRL)가 +1.41 상승했습니다.
• 플래너 미세 조정: 상호작용 플래너를 미세 조정하는 것도 일관된 개선을 제공했으나, 생성기 미세 조정보다는 효과가 작았습니다 (예: Qwen3.5-9B의 경우 +0.44 OVRL). 이는 상호작용적 응답을 계획하는 것이 중요한 병목 구간임을 시사합니다.
• 오라클 비교: 정답 캡션(Oracle)을 사용하더라도 생성기는 미세 조정 시 미미한 이득(+0.09 OVRL)만을 보였는데, 이는 주요 한계가 응답을 렌더링하는 것이 아니라 올바른 응답을 **계획(planning)**하는 데 있음을 나타냅니다. 그러나 오라클은 여전히 가장 우수한 학습된 플래너보다 0.71 OVRL 높게 나타나, 현재의 계획 능력의 격차를 보여주었습니다.

인간 평가

자동 VLM 판사로 얻은 시스템 순위를 재현하는 10명의 독립적인 평가자 연구(Pearson $r \approx 0.96$)를 수행했습니다.

• 인간 평가자들은 생성기를 미세 조정하는 것이 개선의 지배적인 요인임을 확인했습니다 (+InternVL 플래너 사용 시 +1.68 OVRL).
• 결과는 모델이 단순히 장면(scene)이 아닌 쿼리에 반응한다는 것을 검증했습니다. 이는 쿼리를 교체했을 때 모델이 쿼리를 인지할 때만 관련성 점수가 유지되는 역사실적(counterfactual) 테스트를 통해 확인되었습니다.

오디오-비주얼 품질

InterVid에 대한 미세 조정은 저수준 생성 지표를 개선했습니다:

• 비디오: 피사체 일관성(+1.3%), 배경 일관성(+1.2%), 움직임 부드러움(오류 39.2% 감소)의 향상을 보였습니다.
• 오디오: 콘텐츠 즐거움(+3.4%), 콘텐츠 유용성(+5.7%), 제작 품질(+5.6%)의 이득을 보였습니다.
• 동기화: 입 모양 동기화 거리(lip-sync distance)가 4.1% 개선되었고, AV-Align은 16.3% 증가했습니다.
• 컨텍스트 오디오: 이전 오디오(첫 프레임 외에)를 조건으로 설정하는 것이 화자 유사도와 음향 상태를 크게 개선하여, 실제 녹음과의 격차를 상당 부분 회복함을 보여주었습니다.

의의 및 주장

본 논문은 상호작용 구조화된 데이터가 차세대 멀티모달 에이전트를 위한 필수적인 결여된 기초라고 주장합니다. 현재의 모델들은 기술적 생성에는 뛰어나지만, 상호작용적 생성(외부 자극에 의해 인과적으로 트리거된 응답 생성)에는 어려움을 겪고 있습니다.

저자들은 다음과 같이 상정합니다:

1. 데이터가 병목이다: 외부 자극과 접지된 반응형 오디오-비주얼 응답을 쌍으로 묶는 데이터셋의 부재가 상호작용형 에이전트의 발전을 저해해 왔습니다. InterVid는 이 간극을 메웁니다.
2. 계획이 주요 과제이다: 실험은 타당한 상호작용 응답을 계획하는 것(생각하는 단계, "thinker" stage)이 응답을 렌더링하는 것(행동하는 단계, "actor" stage)보다 더 큰 병목임을 시사합니다.
3. 일반화 가능성: 객체 조작부터 화면 기반 동작에 이르는 다양한 커버리지는 토킹 헤드 데이터셋의 한계를 넘어 일반적인 사례에서의 오디오-비주얼 상호작용 연구를 가능하게 합니다.

결론적으로, InterVid는 접지되고, 표현력이 풍부하며, 상호작용을 인지하는 오디오-비주얼 응답이 가능한 멀티모달 어시스턴트 연구를 촉진하며, 텍스트 기반 챗봇에서 진정한 체화된 에이전트 및 아바타 기반 에이전트로 나아가기 위한 필요한 감독을 제공합니다.