DualFact+: A Multimodal Fact Verification Framework for Procedural Video Understanding

다음은 논문 "DualFact+: Procedural Video Understanding 을 위한 다중모달 사실 검증 프레임워크"에 대한 상세한 기술 요약입니다 (참고: 초록과 제목은 "DualFact"를 언급하는 반면, 방법론 섹션은 "MultiFactScore"를 언급합니다. 본 요약은 논문에 제시된 통합 프레임워크로 간주합니다).

1. 문제 제기

프로시저 비디오 캡셔닝 (예: 요리, 가구 조립) 은 모델이 유창할 뿐만 아니라 사실적으로 정확하고 시각적으로 근거된 설명을 생성하도록 요구합니다. 기존 평가 지표는 이 도메인의 특정 과제를 해결하지 못합니다:

• 어휘적 지표 (BLEU, ROUGE): 표면적 겹침에 의존하며, 의미 역할 오류 (예: 재료를 도구로 교체) 나 누락된 인자를 감지하지 못합니다.
• 비전 - 언어 지표 (CLIPScore, EMScore): 전역적 의미 유사성을 측정하지만, 술어 - 인자 관계에 대한 구조화된 추론이 부족합니다. 종종 세밀한 불일치를 놓칩니다.
• 현재 사실 기반 지표: 일반적으로 사실을 평평하고 유형이 지정되지 않은 진술로 표현합니다. 개념적 오류(예: "설탕"이어야 하는데 "소금"을 추가하는 등 잘못된 추상적 역할) 와 맥락적 오류(예: 비디오가 그릇을 보여주는데 "팬에 소금을 넣는다"는 등 잘못된 시각적 실현) 를 구별하는 데 어려움을 겪습니다.
• 암시적 인자: 프로시저 캡션은 종종 시각적으로 존재하는 인자를 생략합니다 (예: "국물"이나 "수저"를 명시하지 않은 "저어라"). 이는 표준 지표가 무시하는 모호성을 초래합니다.

2. 방법론: DualFact/MultiFactScore 프레임워크

저자들은 세밀한 평가를 가능하게 하기 위해 **개념적 사실 (Conceptual Facts)**과 **맥락적 사실 (Contextual Facts)**을 분리하는 이중 계층 사실 검증 프레임워크를 제안합니다.

A. 이중 계층 사실 표현

1. 개념적 사실 ($F_{con}$): 표면적 실현과 무관한 추상적 작업 의미를 포착합니다. 의도된 동작과 핵심 참여자 역할을 식별합니다 (예: ACTION=STIR, INGREDIENT=SOP, TOOL=SPOON).
2. 맥락적 사실 ($F_{ctx}$): 비디오에서 관찰 가능한 근거 있는 술어 - 인자 관계를 포착합니다 (예: STIR(soup, bowl, spoon)).
   • 의의: 이 분리를 통해 시스템이 모델이 작업(개념적) 을 이해하지만 시각적 실행(맥락적) 을 설명하는 데 실패했는지, 또는 그 반대의 경우를 감지할 수 있습니다.

B. 데이터셋 구축 (YouCook3-Fact 및 CraftBench-Fact)

저자들은 세 가지 주요 전처리 단계를 갖춘 두 가지 새로운 벤치마크를 만들었습니다:

1. 절 분해: 다중 동작 문장을 특정 비디오 세그먼트와 정렬된 원자적 절로 분할합니다.
2. 암시적 인자 증강 (VIA): 누락되었지만 시각적으로 존재하는 인자를 주석합니다 (예: "저어라"를 "냄비에서 수저로 국물을 저어라"로 확장) 하여 역할 일관성을 보장합니다.
3. 구조화된 사실 주석: 개념적 및 맥락적 사실을 추출하고, 부정 사실 생성(대조 학습을 위한 그럴듯하지만 거짓인 변형 생성) 을 수행합니다.

C. 검증 파이프라인

이 프레임워크는 두 가지 모드에서 사실을 검증하기 위해 자연어 추론 (NLI) 모델을 사용합니다:

• DualFact-T (텍스트): 생성된 사실을 골드 캡션과 비교하여 검증합니다.
• DualFact-V (다중모달): 생성된 사실을 비디오 클립과 직접 비교하여 검증합니다.
• 점수 산정: MultiFactScore는 검증기에 의해 "SUPPORTED(지지됨)"로 판단된 사실의 비율로 계산됩니다.
• 오류 분해: 시스템은 오류를 다음과 같이 범주화합니다:
  • 할루시네이션: 비디오에서 지지되지 않는 내용.
  • 주요성 (Salience) 오류: 시각적으로 존재하지만 작업과 무관한 내용 (예: 오이 썰 때 레몬 언급).
  • 생략: 작업에 필수적인 엔티티나 역할의 누락.

3. 주요 기여

1. 이중 계층 사실 표현: 추상적 역할 의미와 근거 있는 시각적 실현을 분리하여 역할 수준 불일치 및 생략을 감지할 수 있는 새로운 프레임워크.
2. 새로운 벤치마크: 절 수준 분할, VIA, 구조화된 사실 주석을 특징으로 하는 YouCook3-Fact(요리) 및 CraftBench-Fact(가구 제작) 도입.
3. 실증적 통찰: 최첨단 다중모달 LLM(예: Qwen2.5-VL) 이 유창한 캡션을 생성하지만 체계적으로 사실적 불완전성을 보이며, 표준 지표가 놓치는 높은 빈도의 생략 및 역할 수준 오류를 발생시킨다는 증명.
4. 평가 프로토콜: 비디오 기반 검증에 비해 캡션 전용 평가가 할루시네이션을 현저히 과대평가하며, "주요성 오류"(시각적으로 존재하지만 관련 없는 세부 사항) 를 드러낸다는 방법 제시.

4. 실험 결과

YouCook3-Fact 및 CraftBench-Fact 에서 Qwen2.5-VL 과 표준 지표를 사용하여 실험을 수행했습니다.

• 사실 추출: LLM 기반 추출기는 높은 정확도를 달성했습니다 (개념적 역할 F1 > 96%, 맥락적 관계 > 95%), 평가 노이즈를 최소화했습니다.
• 검증기 성능:
  • 검증기는 골드 사실에서 거의 완벽하게 수행했습니다 (텍스트: 약 99%, 다중모달: 약 88-93%).
  • 모델 일관성 편향: 예측된 캡션을 검증할 때 정확도가 현저히 떨어졌습니다 (예: 예측된 캡션의 텍스트 검증은 약 20-40% 로 하락). 이는 모델이 진실된 엔티티를 인코딩하지 못함을 나타냅니다.
• 오류 분석:
  • 캡션 전용 vs. 비디오 기반: 캡션 전용 평가는 오류의 약 50-60% 를 "할루시네이션"으로 표시했습니다. 비디오 기반 검증은 이 중 많은 것을 주요성 오류로 재분류했습니다 (예: 객체 오류의 36% 는 할루시네이션이 아닌 주요성 오류).
  • 생략: 주요 실패 모드는 작업 관련 엔티티 (예: 누락된 도구나 재료) 의 생략이었으며, 표준 지표는 이를 강력하게 처벌하지 못했습니다.
• 인간 판단과의 상관관계:
  • 제안된 캡션 기반 개념적 사실 점수는 인간 판단과 가장 강한 상관관계를 보였습니다 (Spearman $\rho$ = 0.429), BLEU, ROUGE, EMScore 를 능가했습니다.
  • 비디오 기반 점수는 "천장 효과"(높은 절대적 정확도이지만 낮은 분산) 로 인해 상관관계가 낮았습니다.

5. 의의 및 결론

• 유창성 너머: 이 논문은 프로시저 작업에서 유창성이 사실적 정확성과 동일하지 않다고 주장합니다. 캡션이 문법적으로 완벽하더라도 중요한 단계를 놓치거나 역할을 잘못 할당할 수 있습니다.
• 해석 가능성: 이 프레임워크는 모델이 무엇을 놓쳤는지(생략), 무엇을 발명했는지(할루시네이션), 그리고 무엇을 올바르게 얻었지만 관련 없는지(주요성) 를 구별하는 진단 도구를 제공합니다.
• 향후 방향: 이 연구는 향후 모델이 표면적 의미 유사성을 넘어 역할 일관성과 시각적 근거 생성에 집중해야 함을 강조합니다. 이는 더 견고한 교육용 비디오 이해 시스템의 기반을 마련합니다.

한계점: 현재 범위는 요리 및 공예로 제한되어 있으며, 사실 추출은 기반 LLM 의 정확도에 의존하며, 이 프레임워크는 아직 속성 지향 사실 (예: 크기, 색상) 을 모델링하거나 할루시네이션의 심각도 수준을 구별하지는 못합니다.