기술 요약: ACT2SEE – 비디오 추론을 위한 창발적 능동적 시각 지각

문제 제기

현재 비디오 추론을 수행하는 비전 - 언어 모델 (VLM) 은 일반적으로 정적인 초기 프레임이나 고정된 초당 프레임 수 (fps) 샘플링에 의존합니다. 이러한 정적 입력 패러다임은 추론 과정이 진화함에 따라 필수적인 동적 정보를 통합하는 모델의 능력을 제한합니다. 최근 방법론들은 추가적인 프레임 정보 (예: 미리 결정된 키프레임 또는 비주얼 툴 호출) 로 사고의 사슬 (CoT) 추론을 확장하려 시도하지만, 두 가지 주요 한계에 직면해 있습니다:

1. 비최적의 CoT 품질: 기존 방법론들은 종종 엄격한 인간 검증을 거치지 않은 자동화된 VLM 생성의 정답 (ground truths) 에서 프레임이 확장된 CoT 를 유도하여, 노이즈가 있거나 일관성 없는 추론 흔적을 초래합니다.
2. 가상 시나리오 생성 불가: 현재 접근법은 반사실적이거나 가설적인 질문 (예: "시간적 순서가 바뀌면 어떤 일이 발생할까?") 에 대응하기 위해 CoT 내에서 새로운 시각적 프레임을 생성할 수 없습니다. 기존 시각적 증거를 검색하는 데만 국한되어 원래 비디오에 존재하지 않는 시나리오를 '상상'하는 것을 방해합니다.

방법론

저자들은 VLM 에 능동적 시각 지각을 부여하도록 설계된 Act-to-See (ACT2SEE) 프레임워크를 소개합니다. 이 기능은 모델이 추론 과정에서 기존 프레임을 검색하거나 가설적인 프레임을 생성하는 방식으로, 언제 그리고 어떻게 새로운 시각적 정보를 수집할지 동적으로 결정할 수 있게 합니다.

1. 지도 미세 조정 (SFT) 을 통한 데이터셋 구축

ACT2SEE 의 핵심은 교차된 비디오 - 텍스트 CoT를 특징으로 하는 고품질 SFT 데이터셋입니다. 구축 파이프라인은 다음과 같습니다:

• 최첨단 모델 프롬프팅: 최첨단 VLM(Gemini 2.5 Pro) 이 비디오 추론을 수행하도록 프롬프트됩니다. 핵심적으로, 모델은 기존 시각 정보가 불충분하다고 판단할 때마다 특정 쿼리와 함께 전문 툴 호출 토큰(<retrieve> 또는 <generate>) 을 출력하도록 지시받습니다.
• 툴 실행:
  • 검색: TFVTG(훈련 없는 비디오 시간적 그라운딩) 를 사용하여 전체 비디오를 더 높은 샘플링 속도 (3 fps) 로 검색하여 쿼리와 일치하는 관련 프레임을 찾습니다.
  • 생성: 검색된 프레임을 기반으로 시각적 일관성을 보장하기 위해 조건부로 Stable Diffusion 3.5 Large 를 사용하여 쿼리에 기반한 새로운 프레임을 합성합니다.
• 2 회 완료: 이 과정은 두 단계로 나뉩니다. 1 단계에서 모델은 툴 호출까지 추론을 생성합니다. 툴이 실행되고 새로운 프레임이 삽입됩니다. 2 단계에서 모델은 새로운 시각적 증거를 사용하여 추론 흔적을 완성합니다.
• 품질 관리: 고품질 학습 데이터를 보장하기 위해 생성된 CoT 는 MINERVA, CausalVQA, Social Genome 과 같은 벤치마크의 인간 주석 정답 CoT 에 대해 필터링됩니다. 인간 정답에 대한 텍스트 임베딩 유사도 (BGE M3) 가 80% 를 초과하는 경우에만 흔적이 유지됩니다. 잘못된 답변으로 이어지는 CoT 는 재생성됩니다.

2. 학습 및 추론

• 학습: 구축된 교차 데이터셋을 사용하여 기본 모델 (Qwen3-VL-8B-Thinking) 을 미세 조정합니다. 손실 함수는 실제 검색되거나 생성된 이미지 토큰을 제외하고, 텍스트 추론 및 툴 호출 쿼리를 포함한 전체 롤아웃에 대한 토큰 수준의 손실을 계산합니다.
• 추론: 학습된 모델은 동일한 알고리즘 흐름을 따릅니다. 응답을 생성하고, <retrieve> 또는 <generate> 토큰이 감지되면 해당 오프라인 툴이 실행되고 새로운 프레임이 컨텍스트에 주입되며, 모델은 최종 답변을 생성하기 위해 추론을 계속합니다.

주요 기여

1. 창발적 능동적 지각: ACT2SEE 는 추론 시 VLM 이 텍스트 CoT 내에서 비디오 프레임을 능동적으로 교차할 수 있게 하여, 누락된 사실적 증거를 동적으로 검색하거나 반사실적 시나리오를 합성할 수 있게 합니다.
2. 고품질 교차 데이터셋: 저자들은 3,373 개의 추론 흔적으로 구성된 데이터셋을 선별했으며, 이 중 47.67% 는 검색되거나 생성된 프레임을 포함합니다. 이 데이터셋은 추론 품질을 보장하기 위해 인간 주석에 대해 엄격하게 필터링되어, 이전 자동화된 CoT 생성의 노이즈 문제를 해결합니다.
3. 이중 기능 (검색 + 생성): 검색이나 정적 키프레임에만 초점을 맞춘 이전 작업과 달리, ACT2SEE 는 추론 루프 내에서 기존 비디오 콘텐츠의 검색과 가설적 시각적 증거의 생성적 합성을 통합합니다.

실험 결과

ACT2SEE 는 다섯 가지 다양한 비디오 추론 벤치마크인 Video-MME, VideoEspresso, EgoNormia, VCR-Bench, ViTIB에서 평가되었습니다.

• 성능 향상: ACT2SEE 는 VideoEspresso 와 ViTIB 에서 새로운 최첨단 결과를 확립했습니다. 이는 동등하거나 더 큰 오픈소스 모델 (예: InternVL2.5-8B, Video-LLaMA3-7B, Qwen3-VL-8B-Thinking) 보다 우월하며, 더 적은 프레임을 사용함에도 불구하고 VideoEspresso 에서 폐쇄형 GPT-4o 를 능가합니다.
• 최첨단 CoT 방법론과의 비교: 이 모델은 Chain-of-Shot, FrameMind, ReWatch-R1 과 같은 다른 비디오 - 텍스트 교차 CoT 방법론보다 우수한 성능을 보입니다.
• 결손 연구:
  • 데이터 소스: VLM 생성 CoT 대신 인간 주석 정답을 필터링에 사용할 경우 성능이 크게 향상됩니다.
  • 툴 사용: 검색과 생성을 모두 결합하는 것이 어느 하나의 툴을 단독으로 사용하는 것보다 더 나은 결과를 낳습니다.
  • 프롬프팅의 정답: 초기 프롬프팅 단계에서 정답 CoT 를 제외하면 툴 호출률이 증가하여 하류 성능이 향상됩니다.
• 효율성: ACT2SEE 는 입력 프레임 수를 절반으로 줄였을 때 베이스라인보다 더 낮은 지연 시간과 더 적은 FLOPs 로 더 높은 정확도를 달성하여 파레토 우위를 입증합니다.

중요성과 주장

이 논문은 ACT2SEE 가 복잡한 비디오 추론을 위한 VLM 에 능동적 시각 지각을 가능하게 하는 중요한 발전이라고 주장합니다. 모델이 시각적 증거를 검색하거나 합성할 시기를 능동적으로 결정할 수 있게 함으로써, 이 프레임워크는 정적 입력과 비최적 추론 흔적의 한계를 극복합니다.

저자들은 창발적 능력을 강조합니다: 추론 시 모델은 모호성을 해결하거나 반사실적 질문에 답하기 위해 프레임을 검색하거나 생성하기로 자발적으로 결정하는데, 이는 명시적으로 프로그래밍된 것이 아니라 SFT 과정을 통해 학습된 행동입니다. 이 접근법은 비디오 추론을 더 인과적으로 기반을 둔 역동적인 이해로 이동시켜, 정적 지각과 복잡한 현실 세계 시나리오에 필요한 세밀한 시공간 역동성 사이의 격차를 해소합니다. 이 연구는 자동화된 데이터 합성에만 의존하기보다는 고품질 인간 검증 교차 데이터가 이러한 능력을 unlocking 하는 데 결정적임을 시사합니다.