기술 요약: Response-G1

문제 정의

본 논문은 **선제적 스트리밍 비디오 이해 (Proactive Streaming Video Understanding, SVU)**의 과제를 다룹니다. 사용자의 질의에 즉시 응답하는 반응형 상호작용과 달리, 선제적 상호작용은 비디오가 재생되는 동안 비디오 대형 언어 모델 (Video-LLM) 이 스스로 응답할 최적의 시점을 결정해야 합니다. 핵심적인 어려움은 현재 축적된 시각적 증거가 사용자의 질의가 내포한 조건을 충족하기에 충분한지, 특히 초기 프레임에서 답이 존재하지 않을 수 있는 예측적 또는 예지적 질문의 경우를 판단하는 데 있습니다.

기존 접근법은 두 가지 주요 한계를 겪고 있습니다:

1. 파인튜닝 기반 방법: 프레임 수준의 주석을 활용하여 결정 경계 (예: End-Of-Sequence 토큰 예측 또는 보조 분류기 사용) 를 학습합니다. 그러나 시각적으로 유사한 연속 프레임 간의 일관성 없는 레이블로 인해 신뢰할 수 있는 결정 경계 학습이 어렵습니다.
2. 파인튜닝 없는 방법: 현재 접근법은 종종 시각적 증거의 암시적 모델링이나 단순한 프레임 간 차이 임계값에 의존합니다. 이러한 방법들은 축적된 스트리밍 증거를 질의의 구체적인 의미 조건과 명시적으로 정렬하지 못해 응답 타이밍이 최적화되지 못합니다.

방법론: Response-G1

저자들은 Response-G1을 제안합니다. 이는 **씬 그래프 (scene graphs)**를 사용하여 축적된 비디오 증거와 질의 조건 간의 명시적이고 구조화된 정렬을 구축하는 새로운 파인튜닝 없는 프레임워크입니다. 이 프레임워크는 세 가지 통합된 단계를 통해 작동합니다:

1. 온라인 질의 유도 씬 그래프 생성

시스템은 원시 프레임이나 암시적 특징을 처리하는 대신, 스트리밍 비디오 클립을 구조화된 씬 그래프로 추상화합니다.

• 메커니즘: Video-LLM 은 시간 $t$를 중심으로 한 비디오 클립에 대한 씬 그래프 $G_t$를 생성하도록 프롬프트됩니다.
• 질의 유도: 생성은 사용자 질의 $Q$에 조건부로 이루어집니다. 프롬프트는 모델이 질의와 관련된 삼중항 (객체 - 술어 - 객체) 을 우선시하고 관련 없는 시각적 세부 사항을 억제하도록 유도합니다.
• 표현: 그래프는 노드 (객체 및 속성) 와 엣지 (시공간 관계) 로 구성되며, 삼중항의 집합으로 표현됩니다.

2. 메모리 기반 씬 그래프 검색

세밀한 정렬을 촉진하기 위해 시스템은 역사적 씬 그래프의 동적 메모리 뱅크를 유지합니다.

• 선형화 및 임베딩: 각 씬 그래프는 자연어 구 (예: "빨간 옷을 입은 여성") 로 선형화되고 Video-LLM 의 텍스트 인코더를 사용하여 조밀한 텍스트 임베딩으로 인코딩됩니다. 마찬가지로 사용자 질의는 "질의 조건 그래프"로 파싱되어 형식 일관성을 보장하기 위해 선형화됩니다.
• 유사도 매칭: 시스템은 메모리 뱅크 내의 모든 역사적 씬 그래프 임베딩과 질의 임베딩 간의 코사인 유사도를 계산합니다.
• 검색: 의미적으로 가장 관련성이 높은 상위 $K$개의 역사적 씬 그래프가 증거 컨텍스트 ($G^{ctx}_t$) 로서 검색됩니다.

3. 검색 증강 스트리밍 파이프라인

검색된 씬 그래프는 Video-LLM 의 추론 과정에 통합되어 의사 결정을 주도합니다.

• 트리거 단계 (침묵/응답): 각 시간 단계에서 Video-LLM 은 현재 프레임 임베딩, 검색된 씬 그래프 (시간戳 포함), 그리고 트리거 프롬프트 (예: "지금 답해야 할까요?") 를 포함하는 토큰 시퀀스를 받습니다. 모델은 침묵 또는 응답이라는 이진 결정을 출력합니다.
• 응답 단계: 응답하기로 결정하면 모델은 그 순간까지 축적된 시각적 컨텍스트와 검색된 씬 그래프로 증강된 정보를 사용하여 최종 답변을 생성합니다.
• 다용도성: 동일한 파이프라인은 응답 시간을 질의 도착 시간으로 설정하여 반응형 작업에도 적용할 수 있으며, 선제적 지연 없이도 시공간 기반을 강화할 수 있음을 보여줍니다.

주요 기여

1. 명시적 씬 그래프 모델링: 본 논문은 암시적 증거 모델링에서 씬 그래프를 활용한 명시적이고 구조화된 표현으로의 패러다임 전환을 제시합니다. 이는 근본적인 의미를 분리하고 증거와 질의 조건 간의 정렬에 대한 원칙적인 추론을 지원합니다.
2. Response-G1 프레임워크: 온라인 질의 유도 씬 그래프 생성, 메모리 기반 그래프 검색, 그리고 검색 증강 스트리밍 의사 결정을 원활하게 통합하는 엔드 - 투 - 엔드 파인튜닝 없는 아키텍처입니다.
3. 최고 수준의 성능: 이 방법은 작업별 파인튜닝 없이도 선제적 및 반응형 스트리밍 비디오 이해 작업 모두에서 우수한 결과를 달성합니다.

실험 결과

저자들은 Response-G1 을 OVO-Bench와 StreamingBench라는 두 가지 확립된 벤치마크에서 평가했습니다.

• 선제적 작업:
  • OVO-Bench 의 Forward Active Responding 하위 작업 (응답 타이밍 정확도 측정) 에서 Response-G1 은 평균 **12.8%**만큼 두 번째로 좋은 오픈소스 스트리밍 Video-LLM 을 능가했습니다.
  • StreamingBench 의 Proactive Output (PO) 하위 작업에서는 두 번째로 좋은 오픈소스 모델을 15.1% 상회했습니다.
  • 성능은 GPT-4o, Gemini 1.5 Pro 와 같은 독점 MLLM 과 비교해도 견줄 만했습니다.
• 반응형 작업:
  • 이 프레임워크는 실시간 시각 지각, 후방 추적, 실시간 시각 이해와 같은 표준 반응형 하위 작업에서도 성능을 향상시켰으며, 두 번째로 좋은 오픈소스 기준 대비 **2.1% 에서 12.3%**까지의 개선을 보였습니다.
• 어블레이션 연구:
  • 검색 증강 또는 타임스탬프 인코딩을 제거하면 시공간 기반이 필요한 작업 (예: Clues Reveal Responding) 에서 특히 성능이 크게 저하되었습니다.
  • 질의 유도 생성은 객체 유도 생성보다 우월한 것으로 입증되었는데, 후자는 할루시네이션과 조급한 응답을 초래했습니다.
  • 검색을 위해 원시 질의 텍스트 대신 그래프 - 텍스트 임베딩을 사용하는 것이 더 나은 결과를 보여주어 형식 일관성의 중요성을 강조했습니다.

중요성과 주장

본 논문은 Response-G1이 스트리밍 비디오 이해에서 명시적 구조 모델링과 검색 증강의 이점을 입증한다고 주장합니다. 시각적 증거와 질의 조건을 모두 공유된 그래프 표현에 기반함으로써, 이 프레임워크는 Video-LLM 이 응답 타이밍에 대해 더 해석 가능하고 정확한 결정을 내릴 수 있게 합니다.

저자들은 이 작업을 대화형 AI 어시스턴트 및 자율적 구체적 에이전트와 같은 실제 세계 스트리밍 응용 분야에서 더 능력 있고 해석 가능한 멀티모달 상호작용을 향한 한 걸음으로 위치시킵니다. 그들은 씬 그래프가 정렬을 개선하지만 복잡한 추론 (예: "왜"라는 질문) 을 완전히 해결하지는 못할 수 있으며, 오픈셋 생성에서 질의 관련성과 할루시네이션 간의 트레이드오프가 여전히 과제임을 인정합니다. 향후 연구는 더 풍부한 구조적 공식과 적응형 생성 메커니즘을 탐구할 것을 제안합니다.