FocusGraph: Graph-Structured Frame Selection for Embodied Long Video Question Answering

이 논문은 긴 시점 중심 비디오의 질문 응답을 위해 저해상도 프레임 순서 대신 장면 캡션 기반 그래프 구조를 활용해 관련 클립을 선택하고, 이를 통해 추론 시간을 단축하면서 FindingDory 및 HourVideo 벤치마크에서 최첨단 성능을 달성하는 'FocusGraph' 프레임워크를 제안합니다.

핵심

포커스그래프 (FocusGraph): 긴 영상을 한눈에 파악하는 '스마트 요약자'

이 논문은 로봇이나 AI 에이전트가 **매우 긴 영상 **(예: 몇 시간 동안의 일상 기록)을 보고 질문에 답할 때 겪는 문제를 해결하는 새로운 방법, **'포커스그래프 (FocusGraph)'**를 소개합니다.

기존의 AI 는 긴 영상을 볼 때 모든 프레임을 하나하나 분석하려다 지쳐버리거나 (계산 비용 폭증), 중요한 내용을 놓치고 엉뚱한 답을 내놓는 경우가 많았습니다. 이 논문은 **"모든 것을 다 보지 않아도, 정말 중요한 부분만 골라내면 훨씬 똑똑하고 빠르게 답할 수 있다"**는 아이디어를 제시합니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎬 비유: "수백 장의 사진이 담긴 앨범을 보는 상황"

상상해 보세요. 당신이 3 시간 동안 찍은 여행 영상을 보고 "내가 커피를 마신 건 언제였지?"라고 묻는 상황입니다.

1. **기존 방식 **(비효율적인 방법)

   • AI 는 3 시간 분량의 영상을 초단위로 끊어 10 만 장 이상의 사진을 모두 펼쳐놓고 하나하나 봅니다.
   • 문제점: 머리가 터질 것 같고 (계산 비용), 너무 많은 정보에 압도되어 정작 커피 컵이 있는 1 장의 사진을 놓쳐버립니다.

2. **포커스그래프 방식 **(스마트한 방법)

   • AI 는 10 만 장을 다 보지 않습니다. 대신 두 단계로 나누어 접근합니다.

---

🚀 포커스그래프의 두 단계 전략

1 단계: "내용 요약본"으로 핵심 장면 찾기 (Scene-Caption LLM Selector)

• 비유: 영상 전체를 다 보지 않고, **각 장면마다 "이건 뭐가 나왔는지" 적힌 짧은 메모 **(요약문)를 먼저 읽는 것과 같습니다.
  • 예: "08:25~08:32 - 테이블 위에 새가 있고, 옆에 촛불이 켜져 있음."
• 작동 원리:
  • AI 는 영상의 긴 흐름을 작은 조각 (클립) 으로 나누고, 각 조각의 내용을 텍스트로 요약합니다.
  • 사용자가 "커피를 마신 때를 찾아줘"라고 질문하면, AI 는 수천 장의 영상 대신 이 짧은 메모들만 빠르게 훑어봅니다.
  • "아, 커피 관련 메모는 3 번째 조각에 있네!"라고 정답이 있을 만한 장면만 골라냅니다.
  • 장점: 영상을 다 보지 않아도 되므로 속도가 매우 빠르고, 중요한 정보를 놓치지 않습니다.

2 단계: "가장 중요한 순간"만 골라내기 (PSFR 알고리즘)

• 비유: 1 단계에서 골라낸 3 번째 조각 (약 10 초 분량) 을 다시 자세히 보는데, 이중적인 사진은 다 버리고 정말 변화가 있는 순간만 남기는 것입니다.
  • 만약 10 초 동안 카메라가 흔들리지 않고 아무 일도 일어나지 않는다면, 그 10 초는 다 같은 사진입니다.
  • AI 는 **화면의 움직임 **(광학 흐름)을 분석하여, "새가 날개를 퍼덕인 순간"이나 "손이 컵을 잡은 순간"처럼 변화가 있는 핵심 프레임만 1~2 장 골라냅니다.
• 작동 원리:
  • 이 과정은 별도의 학습 없이 (Training-free) 이루어져 매우 가볍고 빠릅니다.
  • 이렇게 가장 중요한 사진 몇 장만 최종 AI 에게 보여줍니다.

---

🏆 왜 이 방법이 특별한가요?

1. 속도와 정확도의 완벽한 조화:

   • 기존 방식은 "많이 볼수록 좋다"고 생각했지만, 오히려 정보가 너무 많아져서 엉뚱한 답을 내놓았습니다.
   • 포커스그래프는 **"적게 보되, 꼭 필요한 것만 정확히 본다"**는 철학으로, **정답률 **(SOTA)을 유지하면서 처리 속도는 획기적으로 줄였습니다.

2. 로봇에게 딱 맞는 기술:

   • 로봇이 직접 세상을 돌아다니며 찍는 영상 (1 인칭 시점) 은 흔들리고 가려지는 경우가 많습니다.
   • 이 방법은 영상의 **흐름과 사물 간의 관계 **(그래프 구조)를 텍스트로 이해하기 때문에, 흔들리는 영상에서도 "어디서 무엇을 했는지"를 논리적으로 추론할 수 있습니다.

3. 실제 테스트 결과:

   • 'FindingDory'와 'HourVideo'라는 어려운 벤치마크에서 기존 최고 성능 모델들을 능가했습니다.
   • 특히 **추론 시간 **(Inference time)이 기존 방법보다 훨씬 짧아, 실시간으로 로봇이 판단해야 하는 상황에 적합합니다.

💡 한 줄 요약

"긴 영상을 다 보느라 지칠 필요 없이, '내용 요약 메모'로 핵심 장면을 찾고, 그중에서도 '가장 중요한 순간'만 골라내어 AI 가 빠르고 정확하게 답하게 하는 똑똑한 시스템"입니다.

이 기술은 앞으로 집안일을 돕는 로봇이나, 긴 교육 영상을 분석하는 AI 가 더 똑똑하고 빠르게 일할 수 있는 기반이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

** embodied(신체화된) 에이전트**가 장시간의 비디오를 이해하고 질문 (LVQA, Long Video Question Answering) 에 답하는 것은 중요한 과제입니다. 그러나 기존의 멀티모달 대형 언어 모델 (MLLM) 을 장편 비디오에 직접 적용할 때 다음과 같은 심각한 한계가 존재합니다.

• 계산 비용 및 지연: 프레임 수가 증가함에 따라 추론 시간과 비용이 기하급수적으로 증가합니다.
• 성능 저하: 입력되는 프레임 수가 많아질수록 MLLM 의 응답 품질이 떨어집니다 (Attention Dilution 효과 및 컨텍스트 용량 제한).
• 복잡한 환경: embodied 비디오 (예: 1 인칭 시점) 는 카메라 움직임, 가려짐 (occlusion), 반복적인 시각적 콘텐츠가 많고, 질문에 필요한 정보가 비디오 전체에 희소하게 분포되어 있어 중요한 프레임을 찾기 어렵습니다.

기존의 해결책은 프레임 압축 (정보 손실 발생) 이나 단순한 프레임 선택 (잘못된 검색 전략으로 인한 문맥 누락) 에 의존하고 있어, 질문과 관련된 중요한 시각적 정보를 효율적으로 추출하면서도 계산 비용을 줄이는 방법이 필요합니다.

2. 방법론 (Methodology)

저자들은 FocusGraph라는 새로운 프레임워크를 제안합니다. 이는 장편 비디오 이해를 두 단계로 분리하여 처리합니다:

1. 경량화된 질문 관련 클립 선택 (Trainable Stage)
2. 선택된 클립 내의 핵심 프레임 추출 (Training-free Stage)

2.1. 계층적 텍스트 장면 그래프 (Hierarchical Textual Scene Graph)

• 클립 단위 분할: 입력 비디오를 고정된 프레임 수를 가진 클립 (Clip) 단위로 분할합니다.
• MLLM 기반 장면 캡션 생성: 각 클립에 대해 사전 훈련된 MLLM (Qwen2.5-VL-7B) 을 사용하여 객체, 상호작용, 공간적 관계를 포함한 **텍스트 기반의 장면 그래프 (Scene Graph)**를 생성합니다.
• 시간 정보 통합: 각 클립의 시작 및 종료 시간을 캡션에 포함시켜 시간적 맥락을 보존합니다.
• 장점: 원본 저해상도 프레임 시퀀스 대신 압축된 텍스트 표현을 사용하여 추론 비용을 대폭 줄입니다.

2.2. Scene-Caption LLM Selector (학습 가능 단계)

• 역할: 생성된 텍스트 장면 그래프 시퀀스를 입력받아, 사용자의 질문에 답변하는 데 가장 관련 있는 클립들을 선택합니다.
• 아키텍처: 텍스트 임베딩 (ModernBERT-large) 을 MLLM 의 임베딩 공간에 정렬하는 경량 어댑터 (Adapter) 를 사용합니다.
• 학습: GenS-Video-150K 데이터셋을 사용하여 지도 미세 조정 (SFT) 을 수행합니다. 질문과 가장 관련 있는 상위 8 개 클립을 예측하도록 학습되며, 클립 설명 재구성 작업을 보조 목적으로 포함하여 임베딩의 안정성을 높입니다.

2.3. Patchwise Sparse-Flow Retention (PSFR) (학습 불필요 단계)

• 역할: 선택된 클립들에서 MLLM 에 입력할 최종 핵심 프레임 (Keyframes) 을 추출합니다.
• 동작 원리:
  1. 1 단계 (이벤트 감지): 광학 흐름 (Optical Flow) 을 기반으로 패치 단위의 코너 추적 (Corner Tracking) 을 수행합니다. 특정 패치에서 추적된 코너가 급격히 사라지는 경우 (구조적 변화 발생) 를 감지하여 'PSFR 이벤트'로 간주합니다.
  2. 2 단계 (선택): 총 코너 수, 엣지 밀도, 회색조 엔트로피, 저유지율 (Low-retention) 패치 수 등을 종합하여 품질 점수를 계산합니다. 이 점수를 기반으로 중복을 피하면서 정보량이 풍부한 프레임을 선택합니다.
• 특징: 별도의 학습이 필요 없으며, CPU 에서 매우 빠르게 실행됩니다.

3. 주요 기여 (Key Contributions)

1. FocusGraph 프레임워크: 질문 조건부 클립 선택과 학습 불필요한 PSFR 알고리즘을 결합한 모듈식 프레임워크를 제안했습니다.
2. 계층적 텍스트 장면 그래프: 원본 프레임 시퀀스에 의존하지 않고, 객체와 상호작용을 인코딩한 텍스트 그래프를 사용하여 장거리 추론 (Long-horizon reasoning) 을 효율적으로 수행할 수 있게 했습니다.
3. 성능 및 효율성 동시 달성: embodied 장편 비디오 벤치마크에서 최첨단 (SOTA) 성능을 달성하면서도, 기존 밀집 프레임 처리 방식에 비해 추론 시간을 획기적으로 단축했습니다.
4. 의미론적 추론과 시각적 중복 감소의 분리: 의미론적 관련성 (질문 답변) 과 시각적 다양성 (중요 프레임 추출) 을 각각 다른 모듈에서 처리하는 원칙적인 접근법을 제시했습니다.

4. 실험 결과 (Results)

저자들은 FindingDory와 HourVideo라는 두 가지 어려운 embodied LVQA 벤치마크에서 FocusGraph 를 평가했습니다.

• 정확도 (Accuracy):
  • FindingDory: Qwen-2.5-VL-7B 를 사용하여 8 개의 프레임만으로도 ViaRL 기법을 능가하며, GenS 와 유사한 성능을 달성했습니다. 특히 단일 목표 시간적 작업 (Single-Goal Temporal Tasks) 에서 34.5% 의 높은 정확도를 보였습니다.
  • HourVideo: GenS 와 ViaRL 과 경쟁하는 수준의 종합 점수를 기록했으며, 모든 작업 카테고리 (내비게이션, 지각, 시각적 추론, 요약) 에서 균일한 성능을 보였습니다.
• 효율성 (Efficiency):
  • 추론 시간: ReMEmbR(80 초), GenS(103 초), ViaRL(2.6 초) 에 비해 FocusGraph 의 Scene-Caption Selector 는 0.6 초로 매우 빠릅니다.
  • 토큰 사용량: 프레임당 토큰 사용량을 1 개 미만으로 줄여, MLLM 의 컨텍스트 부하를 크게 감소시켰습니다.
  • PSFR 속도: PSFR 알고리즘은 MaxInfo 보다 약 2 배 빠르며 CPU 만으로도 실행 가능합니다.

5. 의의 및 결론 (Significance & Conclusion)

FocusGraph 는 embodied 에이전트가 장시간의 시각적 경험을 처리할 때 발생하는 계산적 병목 현상을 해결하는 효과적인 솔루션을 제시합니다.

• 구조화된 추상화: 비디오를 단순한 이미지 시퀀스가 아닌, 구조화된 텍스트 그래프로 변환하여 추론의 효율성을 극대화했습니다.
• 실용성: 학습 불필요한 PSFR 알고리즘을 도입하여 시스템의 확장성과 배포 용이성을 높였습니다.
• 미래 전망: 이 연구는 의미론적 추론과 시각적 데이터 압축을 분리함으로써, 복잡한 장시간 작업을 수행할 수 있는 차세대 지능형 에이전트 개발의 새로운 방향성을 제시합니다.

요약하자면, FocusGraph 는 **"질문과 관련된 중요한 장면만 텍스트로 먼저 선별한 후, 해당 장면에서 시각적 변화를 기반으로 핵심 프레임을 추출하는 2 단계 전략"**을 통해 정확도와 속도라는 상충되는 목표를 동시에 달성한 획기적인 방법론입니다.