기술 요약: VideoHarness-RSI

문제 정의

장기 비디오 이해(Long-video understanding)는 기반이 되는 모델이 강력하더라도 시각-언어 모델(VLM)에게 여전히 큰 과제로 남아 있습니다. 핵심적인 병목 현상은 모델의 추론 능력 자체가 아니라, 수천 개의 무관한 프레임이 포함된 비디오에서 제한된 시각적 관찰 세트를 어떻게 선택하고 조직할 것인가 하는 **컨텍스트 구성(context construction)**에 있습니다.

기존의 접근 방식들은 압축, 검색, 메모리 또는 에이전트 기반의 증거 획득을 통해 이를 해결합니다. 그러나 이러한 시스템들은 대개 여러 구성 요소를 동시에 수정합니다(예: 모델, 검색 메커니즘, 추론 워크플로우를 함께 변경). 이는 다음과 같은 구체적인 질문을 던지기 어렵게 만듭니다: VLM과 그 인터페이스를 완전히 고정한 상태에서, 컨텍스트를 구축하는 실행 가능한 프로그램만을 개선함으로써 얼마나 많은 성능 향상을 달 수 있는가?

방법론: VideoHarness-RSI

본 논문은 고정된(frozen) VLM 주변에서 최적의 실행 가능한 컨텍스트 구성 도구(harness)를 재귀적으로 탐색하기 위한 제어된 프레임워크인 VideoHСС_VideoHarness-RSI(Recursive Harness Self-Improvement)를 소개합니다.

핵심 프레임워크

이 시스템은 하네스를 비디오-질문 쌍 $(V, q)$를 유한한 멀티모달 컨텍스트 $C_H$로 매핑하는 프로그램 $H$로 취급하며, 이 $C_H$는 고정된 VLM $M$에 입력되어 답변 $\hat{y}$를 생성합니다.
$$\hat{y} = M(H(V, q; K), q)$$
최적화 목표는 고정된 컨텍스트 제약 조건 $K$ 하에서 실행 가능한 프로그램 공간 $H_{exec}$에 대해 개발 정확도(development accuracy)를 최대화하는 것입니다.

하네스 분해 (The Harness Decomposition)

저자들은 모든 하네스를 세 가지 기능적 단계로 분석적으로 분해합니다. 다만, 이 단계들은 별도로 최적화되는 목적 함수가 아니라 프로그램 변이(mutation)를 위한 경로로서 제시됩니다:

1. 쓰기 ($Write_H$): 비디오의 주소 지정 가능한 표현(예: 스트림, 캡션 리스트, 임베딩 인덱스)을 구축합니다.
2. 읽기 ($Read_H$): 질문 $q$에 따라 조건화된 증거를 검색합니다.
3. 패킹 ($Pack_H$): 유한한 컨텍스트를 정렬하고 VLM을 위한 형식으로 구성합니다.

재귀적 탐색 프로토콜 (Recursive Search Protocol)

탐색은 현재 최선의 프로그램들의 프런티어($F_t$)와 역사적 코드, 점수, 실행 트레이스가 담긴 아카이브($A_t$)를 기반으로 하네스 변이를 제안, 실행, 평가하는 외부 루프를 통해 작동합니다:

1. 제안자 (Proposer): LLM 기반 제안자(Claude Opus 4.6)가 현재 최선의 프로그램 프런티어($F_t$)와 아카이브($A_t$)를 바탕으로 후보 하네스 코드를 생성합니다.
2. 평가 (Evaluation): 후보들은 "스모크 테스트(smoke-test)"를 거친 후 개발 세트($D_{dev}$)에서 엔드 투 엔드로 평가됩니다.
3. 선택 (Selection): 업데이트 규칙은 엄격합니다. 후보 $H_{t,j}$는 현재 프런티어의 정확도를 엄격히 초과하는 개발 정확도 $S(H_{t,j})$를 가질 때만 새로운 프런티어 $F_{t+1}$로 승격됩니다.
4. 제약 조건 (Constraints): VLM(Qwen3-VL-8B-Instruct), 디코딩 설정 및 평가 지표는 탐색 과정 내내 고정됩니다. 탐색은 모델 파라미터를 건드리지 않습니다.

실험 설정

• 데이터셋: LVBench (필터링 후 1,232개의 QA 쌍). 탐색/개발에는 350개의 질문이 사용되었고, 882개는 홀드아웃(held-out) 평가를 위해 예약되었습니다.
• 베이스라인: 사전 지정된 균등 샘플링(uniform sampling), 문헌에서 영감을 받은 수작업 제작 하네스(예: AKS, WorldMM 스타일, Homer 스타일), 그리고 균등 샘플링을 사용하는 독점 VLM들과 비교되었습니다.
• 비용 지표: 입력 측 컨텍스트 비용은 오프라인 인덱싱 비용을 제외한 질문당 시각 및 보조 텍스트 토큰의 합으로 측정됩니다.

주요 결과

1. 탐색을 통한 성능 향상

재귀적 탐색은 약한 베이스라인과 강한 베이스라인 모두에 대해 일관되게 성능을 개선했습니다:

• 균등 샘플링 대비: 무작위 균등 샘플링 베이스라인(정확도 36.3%)에서 시작하여, 탐색을 통해 EMBEDNAVIGATE-HYBRID를 발견했으며, 이는 홀드아웃 세트에서 **45.4%**를 달축했습니다.
• 강력한 수작업 베이스라인 대비: 강력한 수작업 베 baseline(AKS, 46.5%)에서 시작하여, 탐색을 통해 TIMESTAMPED-AKS를 발견했으며, 이는 홀드아웃 정확도를 **50.3%**로 향상시켰습니다.
• 교차 벤치마크 전이 (Cross-Benchmark Transfer): LVBench에서 선택된 하네스들은 추가적인 탐색이나 적응 없이 Video-MME 및 MLVU에 직접 적용되어 동결되었습니다. 이들은 두 벤치마크 모두에서 균등 샘플링보다 우수한 성능을 보였으며(예: Video-MME에서 59.9% 대비 61.5%), 이는 발견된 정책이 전이 가능하다는 것을 시사합니다.

2. 개선 메커니즘

발견된 하네스들에 대한 분석은 다음과 같은 뚜렷한 전략을 보여줍니다:

• 내비게이션 vs. 검색: 탐색 결과, 시간적 내비게이션(캡션을 사용하여 관련 시간 영역에 샘PLING 집중)을 시각적 유사성 검색(CLIP 임베딩 사용)과 결합하는 것이 두 방식 중 하나만 사용하는 것보다 더 나은 결과를 낸다는 것을 발견했습니다.
• 증거 가시성 (Evidence Visibility): 하이브리드 하네스는 단순히 더 많은 주석 처리된 증거 구간을 노출함으로써(가시적 프레임 증가) 정확도를 높였을 뿐만 아니라, 증거를 놓쳤던 사례에서도 성능을 개선했습니다. 이는 더 나은 컨텍스트 조직과 밀도가 중요하다는 것을 시사합니다.
• 질문 유형별 민감도: 내비게이션 전략은 시간적 및 추론 질문에 특히 효과적이었던 반면, 시각적 검색은 엔티티 및 핵심 정보 질문에 도움이 되었습니다.

3. 비용-정확도 트레이드오프 (Cost-Accuracy Trade-offs)

탐색은 정확도와 입력 토큰 비용 사이의 파레토 프런티어를 밝혀냈습니다.

• EMBEDNAVIGATE-HYBRID는 높은 정확도를 달성했지만, 추가적인 내비게이션 패스로 인해 상당한 텍스트 오버헤드가 발생했습니다.
• TIMESTAMPED-AKS는 더 작은 입력 풋프린트로 가장 높은 정확도를 달성하여, 탐색이 수작업 베이스라인이 놓칠 수 있는 효율적인 구성을 찾아낼 수 있음을 입증했습니다.

의의 및 주장

본 논문은 VideoHarness-RSI를 자동화된 하네스 설계를 연구하기 위한 제어된 베이스라인으로 규정합니다. 주요 기여와 주장은 다음과 같습니다:

1. 변수의 격리: 본 연구는 실행 가능한 컨텍스트 구축이 별도의 최적화 계층임을 확립합니다. 모델을 재학습하거나 인터페이스를 변경하지 않고도 "하네스"(모델이 무엇을 볼지 관리하는 프로그램)를 최적화함으로써 상당한 이득을 얻을 수 있습니다.
2. 재현 가능성: 저자들은 후보 코드, 부모 관계, 실행 트레이스 및 점수를 포함한 감사 가능한 아카이브를 제공하여, 하네스 발견을 위한 재현 가능한 베이스라인을 제공합니다.
3. 전이 가능성: 결과는 한 벤치마크에서 발견된 하네스가 추가 탐색 없이 다른 벤치마크로 전이될 수 있음을 보여주며, 이는 탐색이 특정 데이터셋의 특성에 과적합되는 것이 아니라 일반화 가능한 컨텍스트 구축 정책을 발견함을 나타냅니다.
4. 한계점: 저자들은 탐색 프런티어가 초기 개선 이후 종종 정체된다는 점과, "엄격한" 점 추정 선택 방식이 통계적으로 일반화를 보장하지는 않는다는 점을 겸허히 언급했습니다. 다만, 홀드아웃 세트에 대한 실증적 결과가 이 접근 방식을 뒷받침합니다. 또한, 비용 지표가 오프라인 인덱싱 비용이 아닌 입력 토큰 양을 반영한다는 점을 명시했습니다.

요약하자면, 본 논문은 장기 비디오 이해를 위해 고정된 VLM을 둘러싼 "시스템"이 자동화된 프로그램 탐색을 통해 개선될 수 있는 중요한 최적화 요소라고 주장합니다.