기술 요약: EgoVis 2026 CASTLE 챌린지에 제출된 CuriosAI

문제 정의

EgoVis 2026 의 CASTLE 챌린지는 600 시간 이상의 동기화된 다중 뷰 비디오에서 파생된 185 개의 객관식 질문을 포함하는 대규모 검색 및 검증 작업을 제시합니다. 데이터셋은 10 개의 헤드 마운트형 이고 (ego) 카메라와 5 개의 고정식 엑소 (exo) 카메라를 사용하여 4 일 동안 기록된 12 명의 참가자 영상으로 구성되며, 결과적으로 오디오가 정렬된 15 개의 동기화된 4K 스트림이 생성됩니다.

핵심적인 어려움은 장형 (long-form) 검색과 세밀한 다중 모달 검증을 결합하는 데 있습니다. 저자들은 제약 없는 비디오 - 오디오 전문 모델들이 다음과 같은 특징을 가진 "환각 (confabulation)"으로 인해 이러한 규모에서 자주 실패한다고 지적합니다:

• 비디오를 관찰하는 대신 프롬프트 컨텍스트를 다시 인용하는 것.
• 무음 클립이나 테스트 패턴을 기반으로 답변을 선택하는 것.
• 공간적 근거 없이 수치를 주장하는 것.
• 증거 없이 높은 확신을 보이는 것.

방법론

본 제출작은 공유되는 다중 모달 전처리 레이어를 기반으로 구축된 두 가지 다른 접근 방식을 탐구합니다. 이 공유 레이어는 오프라인 CASTLE 2024 코퍼스를 다섯 개의 읽기 전용 데이터 레인으로 처리합니다:

1. 개인 식별: 12 명의 참가자를 추적하기 위해 YOLO11x 를 이용한 신체 감지, ArcFace 를 이용한 얼굴 임베딩, OSNet 을 이용한 교차 카메라 재식별을 사용합니다.
2. 시각 캡션: 다양한 윈도우 크기 (300 초에서 1800 초) 와 프롬프트 스타일 (장면, 내러티브, 행동 중심, 추론 중점) 에 걸쳐 네 가지 모델 (Qwen3-VL, InternVL3, Qwen3-Omni) 을 사용하여 캡션을 생성합니다.
3. 감지된 객체: 표준 ImageNet/COCO 어휘 밖의 객체 (예: 특정 보드 게임, 휴일 장식) 를 처리하기 위해 오픈 어휘 감지를 위해 SAM 3 를 활용합니다.
4. 오디오 전사: WhisperX 를 전사에, pyannote 를 화자 분리에, WeSpeaker 를 화자 식별에 활용하며, 고정 카메라의 경우 화자 신원을 확인하기 위해 합의 규칙을 적용합니다.
5. 행동 타임라인: Qwen3.5 를 사용하여 (시간 범위, 동사, 공동 행동자) 튜플로 개인별 행동을 요약합니다.

접근 방식 A: SVA(검색–검증–답변)

SVA 는 명시적인 환각 방지 규율을 통해 최종 판단을 격리하도록 설계된 3 단계 파이프라인입니다.

• 검색: 전처리 데이터를 50 개의 (날짜, 시간) 셀로 집계합니다. 하이브리드 검색 (BM25 + e5-large-v2) 과 GPT-5-mini 리랭커를 사용하여 후보를 축소하고, 이어 GPT-5 추론 호출을 통해 주요 15 분 윈도우와 잠정적인 답변을 선택합니다.
• 검증: 검색 앵커를 약 24 개의 인접한 5 분 하위 윈도우로 확장합니다. VLM(Qwen3-Omni-30B) 이 네 가지 엄격한 환각 방지 규칙 하에 이러한 윈도우를 검증합니다:
  1. 반향 금지: 프롬프트 컨텍스트를 다시 인용하지 마십시오.
  2. 유보: 증거가 부족할 경우 (예: 무음 클립) 답변을 자제하십시오.
  3. 국소화: 수치에 대한 공간적 근거를 제공해야 합니다.
  4. 근거화: 근거 없는 높은 확신을 피하십시오.
• 답변: 단일 LLM 판사 (GPT-5) 가 질문, 선택지, 순위가 매겨진 증거, 그리고 Gemini-2.5-Pro 의 추론 흔적을 융합합니다. 이는 증거 우선순위 계층 (OCR > 오디오 인용 > 시각 > 컨텍스트) 을 따르고 근거 없는 수치 답변을 거부합니다.

접근 방식 B: TMKG(시간적–다중 모달–지식–그래프)

TMKG 는 분리된 검증–판단 스택을 지식 그래프 구조가 대체할 수 있는지 테스트하는 대조군 역할을 합니다.

• 그래프 구축: 동시 전사, 캡션, 행동, 객체를 "관측 (Observation)" 노드 (5 분 단위) 로 묶습니다. 시간, 위치, 사람을 공유하는 다중 뷰 관측은 "글로벌 이벤트 (GlobalEvent)" 노드로 집계됩니다. 타입 지정된 엣지가 관측과 이벤트, 사람과 이벤트, 이벤트와 위치/객체를 연결합니다.
• 검색: 질문을 파싱하여 엔티티와 의도를 추출합니다. 그래프 요약에 대해 하이브리드 인덱스 (BM25 + e5-large-v2) 를 사용하고, 그래프 술어 (PARTICIPATES_IN, LOCATED_AT, INVOLVES) 를 적용하여 리랭킹합니다. PRECEDES 엣지는 시간적 근접성 쿼리를 처리합니다.
• 답변: 선택된 셀의 다중 카메라 비디오 프레임과 묶인 증거를 단일 근거 기반 VLM(Qwen3-Omni-30B) 에 전달하여 최종 선택, 확신도, 그리고 근거를 도출합니다.

주요 기여

1. 이중 접근 방식 비교: 본 논문은 검색 구조 대 검증 규율의 효능을 결정하기 위해 계층적 다단계 파이프라인 (SVA) 과 지식 그래프 기반 단일 단계 접근 방식 (TMKG) 을 대조합니다.
2. 환각 방지 규율: 저자들은 제약 없는 비디오 모델에서의 환각을 완화하도록 특별히 설계된 일련의 프롬프트 수준 제약 (반향 금지, 유보, 국소화, 근거화) 을 공식화했습니다.
3. 공유 전처리 서브스트레이트: 다양한 검색 전략을 지원하기 위해 개인 추적, 오픈 어휘 감지, 다중 모델 캡션을 통합한 견고한 오프라인 파이프라인입니다.

결과

저자들은 공식 리더보드 (185 개 질문) 에서 다음과 같은 정확도를 보고합니다:

• 접근 방식 A (SVA): 0.50 정확도 (최종 제출).
• 접근 방식 B (TMKG): 0.35 정확도.

실패 모드 분석:

• 두 파이프라인 모두에서 지배적인 실패 모드는 잘못된 셀로 축소되는 검색 단계이며, 이로 인해 하류 검증이 복구할 수 없습니다.
• SVA 는 TMKG(약 1 회 호출) 에 비해 훨씬 더 많은 컴퓨팅 자원 (질문당 약 28 회 LLM/VLM 호출) 을 필요로 합니다.
• SVA 의 환각 방지 규칙은 제거 실험 (ablation) 을 거치지 않았으므로, 점수 향상에 대한 구체적인 기여도는 분리되지 않았으나, 이들은 중요한 설계 요소로 제시됩니다.

중요성과 주장

본 논문은 CASTLE 2026 챌린지의 규모에서 규율 있는 클립 수준 검증이 검색 구조를 변경하는 것보다 성능에 더 기여한다고 주장합니다. SVA 와 TMKG 사이의 0.15 정확도 격차는 검증 규율 (유보, 수치 국소화, 증거 근거화, 반향 금지) 의 레이어를 추가하는 것이 모델 호출 수가 증가하더라도 필수적임을 시사합니다.

저자들은 두 파이프라인 모두 현재 동일한 검색 단계 국소화 실패에 의해 제한되지만, 자연스러운 다음 방향은 고정밀 검색과 확립된 검증 규율을 결합하는 것이라고 결론지었습니다. 본 논문은 검색 병목 현상을 해결했다고 주장하지는 않지만, 이러한 작업 규모에서는 검증 규율이 모든 검색 서브스트레이트 위에 필요한 레이어임을 강조합니다.