기술 요약: MAVEN (Multi-stage Agentic Video Event aNnotation, 다단계 에이전트 기반 비디오 이벤트 주석)

1. 문제 제기

비디오 이벤트 추론을 위한 비전 - 언어 모델 (VLM) 학습에는 시간적 역동성, 공간적 관계, 인과적 요인, 그리고 다단계 추론 (Chain-of-Thought, CoT) 을 포착하는 고품질의 구조화된 주석이 필요합니다. 현재 접근 방식은 다음과 같은 세 가지 주요 한계에 직면해 있습니다:

• 확장성 대 디테일: 수동 라벨링은 학습에 필요한 규모를 지원할 수 없으며, 기존 자동 라벨링 방법들은 종종 미세한 디테일이 손실되는 평탄한 단일 패스 비디오 설명에 의존합니다.
• 경직성: 많은 파이프라인은 고정된 분류 체계나 특정 센서 입력 (예: 자기 중심 주행) 으로 제한되어 감시나 공공 안전과 같은 새로운 도메인으로의 일반화를 제한합니다.
• 재사용 가능한 중간체 부재: 기존 방법들은 종종 원본 비디오나 단일 캡션에서 직접 Q&A 를 생성하여 정보가 되돌릴 수 없이 폐기되는 '손실 (lossy)' 과정을 만들어내며, 단일 주석 패스로부터 다양한 하위 작업 형식을 생성하는 것을 방해합니다.

2. 방법론: MAVEN 파이프라인

MAVEN 은 원시 비디오를 **집중 이벤트 (Event of Focus, EoF)**를 중심으로 한 구조화된 다태스크 학습 데이터로 변환하도록 설계된 다단계 에이전트 파이프라인입니다. EoF 는 파이프라인이 특징화하는 모든 주목할 만한 이벤트 (비정상적이거나 일상적인) 로 정의됩니다. 파이프라인은 세 가지 연속적인 단계를 통해 작동합니다:

1 단계: 3 단계 비디오 캡션 생성

정보 손실을 방지하기 위해 MAVEN 은 VLM(예: Gemini 3.1 Pro) 을 사용하여 세 가지 보완적인 캡션 수준을 생성합니다:

1. 글로벌 캡션: 장면 배치, 날씨, 시간대, 그리고 이벤트 전 기준선 행위에 대한 전체적인 설명.
2. 밀집 캡션 (Dense Caption): 주요 이벤트를 정확한 시작/종료 타임스탬프와 짝지어 인과 관계를 확립하는 시간적으로 근거한 이벤트 수준 설명.
3. 청크 캡션 (Chunk Captions): 글로벌 캡션이 놓친 미묘한 행동, 작은 객체, 결정적 순간을 복구하기 위한 짧은 비디오 세그먼트 (5~30 초) 에 대한 미세한 설명.
   이러한 수준들은 상호 보완적으로 설계되어, 글로벌 컨텍스트는 모호한 디테일을 명확히 하고, 밀집 캡션은 청크 관찰에 시간적 구조를 부여합니다.

2 단계: MSTED 합성

LLM(예: Gemini 3.1 Flash) 이 세 가지 캡션 수준을 **다중 스케일 시공간 이벤트 설명 (Multi-Scale Spatio-Temporal Event Description, MSTED)**으로 통합합니다. 이 명시적인 중간 표현은 두 가지 중요한 기능을 수행합니다:

• 검증 체크포인트: Q&A 생성 전에 인간 또는 자동화된 검토를 통해 완전성과 정확성을 확인하여 오류 전파를 방지합니다.
• Q&A 의 유일한 입력: 하위 Q&A 생성기는 원시 비디오나 원래 캡션이 아닌 오직 MSTED 만을 받습니다. 이는 모델이 구조화된 표현에 없는 디테일을 환각 (hallucinate) 하는 것을 방지합니다.
  MSTED 는 다음을 구성합니다: (1) 전체적 장면 설명, (2) 시간 및 공간적 위치 특정, (3) 집중 이벤트 설명 (범주, 속성, 근본 원인, 결과).

3 단계: 다태스크 CoT Q&A 생성

두 번째 LLM 패스가 MSTED 에만 근거하여 세 가지 작업 형식을 생성합니다:

• 객관식 (MCQ): 타임스탬프와 공간적 위치에 대한 단계별 추론이 포함된 4 지선다형 질문.
• 이진 검증: 지지 논리가 포함된 예/아니오 질문.
• 자유형 QA: 인과적 또는 기술적 추론이 필요한 자유 형식 질문.

3. 주요 기여

A. 에이전트 도메인 적응

MAVEN 은 파이프라인을 단일 **에이전트 기술 (Agent Skill)**로 패키징합니다. 새로운 도메인 설명과 목표 질문 예시가 주어지면, 에이전트는 해당 질문들이 답변 가능하도록 MSTED 가 무엇을 포착해야 하는지 역추론을 수행합니다. 그런 다음 캡션 생성, 합성, Q&A 등 파이프라인 전반의 모든 프롬프트를 상향식으로 재설계하여 수동 프롬프트 엔지니어링 없이 새로운 카메라 뷰, 이벤트 유형, 질문 스타일에 적응합니다.

B. 계층적 파이프라인 정제

일회성 적응을 넘어, MAVEN 은 인간 피드백을 통한 반복적 정제를 지원합니다. 체계적인 오류가 식별되면 에이전트는 다음을 수행합니다:

1. 오류 분류: 구조화된 분류 체계 (오정보, 환각, 누락된 정보, 시간/공간/귀속 오류) 를 사용합니다.
2. 근본 원인 추적: 오류를 파이프라인 계층을 통해 역으로 추적하여 발생 단계 (예: 특정 캡션 수준) 로 매핑합니다.
3. 표적 수정 적용: 프롬프트 간극(프롬프트 재작성으로 해결) 과 시스템 한계(새로운 파이프라인 단계 삽입 또는 구조 수정으로 해결) 를 구분합니다. 예를 들어, 균일한 청킹이 이벤트를 분리하는 경우, 에이전트는 새로운 '이벤트 중심 하이라이트' 단계를 도입할 수 있습니다.

C. 데이터셋 및 학습

저자들은 MAVEN 을 5,300 개 이상의 교통 비디오(3,841 개의 CCTV 및 1,500 개의 대시캠)에 적용하여 라벨링했습니다. 그들은 감독 미세 조정 (SFT) 을 followed by 강화 학습 (RL, 구체적으로 DAPO) 프로토콜을 사용하여 Cosmos-Reason2-8B를 미세 조정했습니다.

4. 실험 결과

비공개 CCTV 평가 세트

MAVEN 라벨링된 CCTV 데이터로 미세 조정된 모델은 제로샷 Cosmos-Reason2 보다 유의미한 개선을 보였으며, Gemini 2.5 Pro 와 Gemini 3.1 Flash 를 모두 능가했습니다:

• 객관식 정확도: 제로샷 대비 +38.8 점 향상 (86.25% 도달, Gemini 2.5 Pro 는 82.50%).
• 검증 정확도: +35.0 점 향상 (85.00% 도달, Gemini 2.5 Pro 는 76.25%).
• 자유형 점수: +24.1 점 향상 (39.45 도달, Gemini 2.5 Pro 는 15.60).

AccidentBench (공개 벤치마크)

• 교차 도메인 전이: CCTV 데이터로만 학습된 모델(대시캠 영상을 전혀 보지 않음) 이 대시캠 위주의 AccidentBench 벤치마크에서 Gemini 2.5 Pro(40.6% 대 40.3%) 와 맞먹었고, Gemini 3.1 Flash(42.8%) 에 근접했습니다. 이는 구조화된 CoT 추론 능력이 도메인 일반적임을 시사합니다.
• 에이전트 적응: 에이전트 적응된 대시캠 주석을 추가하면 짧은 비디오에서 특히 Gemini 3.1 Flash 와의 격차가 좁혀졌습니다.
• RL 사후 학습: RL 은 전체 성능을 **44.2%**까지 끌어올려 두 Gemini 베이스라인을 초과했으며, 다단계 인과 추론이 필요한 '어려운' 질문에서 가장 큰 향상을 보였습니다.

제거 실험 (Ablation Studies)

동일한 교사 모델을 사용한 평탄한 단일 패스 캡션 베이스라인과 MAVEN 을 비교한 결과, MAVEN 은 +6.25 개의 객관식 점수로 베이스라인을 능가했습니다. 이는 성취도가 단순히 교사 모델의 강함에서 비롯된 것이 아니라 다단계 구조와 명시적인 MSTED 중간체에서 비롯되었음을 확인시켜 줍니다.

정성적 일반화

에이전트 워크플로우는 도메인 설명만을 사용하여 파이프라인을 창고 감시 및 공공 안전 도메인에 성공적으로 적응시켰으며, 수동 재엔지니어링 없이 복잡한 다중 행위자 상호작용과 의심스러운 행위를 정확하게 포착했습니다.

5. 중요성 및 주장

본 논문은 MAVEN 이 규모에 따른 구조화된 인과 추론 데이터 생산의 중요한 병목 현상을 해결한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 구조화된 중간 표현: 명시적인 MSTED 를 강제함으로써 단일 패스 자동 라벨링에 내재된 정보 손실을 피하고, 단일 주석 노력으로부터 다양한 하위 작업을 가능하게 합니다.
2. 도메인 일반화: 파이프라인에 의해 유도된 구조화된 추론은 한 도메인 (CCTV) 에서 학습된 모델이 다른 도메인 (대시캠) 으로 효과적으로 일반화되도록 하여, 추론 패턴이 원시 시각적 특징보다 더 전이 가능함을 시사합니다.
3. 자기 개선 파이프라인: 에이전트 주도 적응과 계층적 정제의 결합은 파이프라인이 인간 피드백에 기반하여 진화하고 자신의 구조적 한계를 수정할 수 있게 하여, 정적이고 취약한 주석 워크플로우를 넘어섭니다.

저자들은 현재 한계로는 특정 교사 모델 (Gemini) 에 대한 의존성과 정제 루프 내 인간 검토의 필요성이 포함되지만, 이 접근법이 자기 최적화 및 도메인 중립 비디오 추론 학습 시스템을 향한 실현 가능한 길을 보여준다고 결론지었습니다.