INFACT: A Diagnostic Benchmark for Induced Faithfulness and Factuality Hallucinations in Video-LLMs

이 논문은 비디오-LLM 의 환각 현상 (신뢰성과 사실성) 을 진단하기 위해 9,800 개의 QA 데이터와 다양한 왜곡 모드를 포함한 'INFACT' 벤치마크를 제안하고, 기존 모델들이 기본 모드 성능과 달리 왜곡된 환경에서 신뢰성이 크게 저하됨을 실증합니다.

핵심

이 논문은 **'INFACT'**라는 새로운 시험지를 소개합니다. 이 시험지는 최근 뜨고 있는 **'비디오 AI(Video-LLM)'**들이 얼마나 똑똑하고, 또 얼마나 정직한지를 진단하기 위해 만들어졌습니다.

비유하자면, 이 논문은 비디오 AI 를 **'새로 입사한 신입 사원'**으로 가정하고, 그가 업무에서 얼마나 **실수를 하는지 (환각, Hallucination)**를 꼼꼼히 체크하는 정밀 건강검진을 진행한 것입니다.

이 내용을 일상적인 언어와 쉬운 비유로 설명해 드릴게요.

---

1. 문제점: "눈이 좋은데, 머리는 착각하는 AI"

최근 비디오 AI 는 영상을 보고 내용을 설명하는 능력이 매우 뛰어나졌습니다. 하지만 문제는 그게 다 '착각'일 수 있다는 점입니다.

• 신뢰성 (Faithfulness) 문제: AI 가 영상에 없는 것을 "있다고" 말하거나, 실제와 다르게 말해요.
  • 비유: 영상에 '빨간 사과'가 있는데 AI 가 "저기 초록 사과 있네요"라고 말하면 안 되죠.
• 사실성 (Factuality) 문제: AI 가 세상의 상식이나 과학 법칙을 무시하고 엉뚱한 말을 해요.
  • 비유: "중력은 아래로 작용한다"는 상식을 무시하고 "이 영상에서는 사과가 하늘로 날아가네요"라고 말하면 안 되죠.

기존 시험지들은 AI 가 '깨끗한 영상'을 볼 때만 잘하는지 확인했습니다. 하지만 실제 세상에는 흐릿한 영상, 자막이 틀린 영상, 시간이 뒤죽박죽인 영상도 많습니다. 그래서 이 논문은 **"AI 가 이런 험한 환경에서도 여전히 정직할 수 있는가?"**를 테스트합니다.

2. 해결책: INFACT (인팩트) - AI 의 '정직도'를 측정하는 4 단계 미션

연구팀은 9,800 개의 질문과 영상을 준비해서 AI 를 4 가지 다른 상황 (모드) 에서 시험했습니다.

🟢 모드 1: 기본 시험 (Base Mode)

• 상황: 가장 깨끗하고 정상적인 영상과 질문.
• 목적: AI 의 기본 실력을 확인합니다. (시험지 1 점)

🟡 모드 2: 시야 흐림 테스트 (Visual Degradation)

• 상황: 영상에 노이즈를 넣거나, 흐리게 (모션 블러) 하거나, 압축해서 화질을 떨어뜨립니다.
• 비유: 안경을 안 끼고 흐릿하게 보이는 상태에서 물체를 맞추는 시험입니다.
• 목표: "화질이 나빠져도 정답을 기억해 낼 수 있는가?"

🟠 모드 3: 거짓 정보 유혹 테스트 (Evidence Corruption)

• 상황: 영상은 그대로인데, 자막이나 설명을 고의로 틀리게 넣습니다. (예: 문이 열리는 영상에 "문이 닫히고 있습니다"라는 자막을 띄움)
• 비유: 시험지 옆에 "정답은 A 야!"라고 거짓말을 적어두고, AI 가 영상 자체를 믿을지, 아니면 거짓말을 믿을지 보는 것입니다.
• 목표: "눈앞의 거짓말에 속지 않고, 실제 영상을 믿을 수 있는가?"

🔴 모드 4: 시간 순서 뒤섞기 테스트 (Temporal Intervention)

• 상황: 영상의 프레임 순서를 뒤섞거나 거꾸로 돌려줍니다. (예: 컵이 깨지는 영상을 거꾸로 재생하면 컵이 다시 모이는 것처럼 보임)
• 비유: 요리 영상을 뒤죽박죽 섞어서 "이게 요리 순서 맞나요?"라고 물어보는 것입니다.
• 목표: "시간의 흐름을 진짜로 이해하고 있는가, 아니면 그냥 무작위 패턴을 외운 것인가?"

3. 주요 발견: "성적표가 좋다고 해서 믿을 수 있는 건 아니다"

14 가지의 다양한 비디오 AI 를 이 시험에 통과시켰더니 놀라운 결과가 나왔습니다.

• 기본 점수 vs. 신뢰도: 기본 시험 (모드 1) 에서 점수가 아주 높은 AI 일수록, 험한 환경 (모드 2~4) 에서도 잘할 것이라고 생각하기 쉽지만, 그렇지 않았습니다.
  • 어떤 AI 는 기본 시험은 100 점인데, 자막이 틀리면 바로 50 점으로 떨어집니다.
  • 어떤 AI 는 시간 순서가 뒤섞이면 완전히 망가집니다.
• 가장 취약한 점:
  • 거짓 정보에 약함: 영상보다 텍스트 (자막) 에 더 의존하는 경향이 있어, 자막이 틀리면 AI 도 같이 틀립니다.
  • 시간 감각 부족: 많은 오픈소스 AI 가 영상의 시간 순서가 뒤바뀌어도 "아무 일도 없었다"는 듯 같은 답을 내놓습니다. 이는 시간을 이해하지 못하고, 그냥 통계적 확률로 답을 맞추고 있다는 뜻입니다.

4. 결론: AI 는 아직 '현실 감각'이 부족합니다

이 논문은 우리에게 중요한 메시지를 줍니다.

"AI 가 영상 설명을 잘한다고 해서, 그 AI 가 영상을 진짜로 이해하고 있다고 생각하면 안 됩니다."

AI 는 마치 기억력이 좋지만, 주변 소음에 쉽게 흔들리고, 시간 개념이 흐릿한 학생과 같습니다. INFACT 는 이런 AI 들이 실제 세상 (흐릿한 영상, 거짓 정보, 복잡한 시간 흐름) 에서 얼마나 신뢰할 수 있는지를 가려내는 필수 진단 도구가 될 것입니다.

한 줄 요약:

"비디오 AI 가 얼마나 똑똑한지보다, 얼마나 착각하지 않고 정직한지를 확인하는 새로운 '정직도 시험지'를 만들었습니다."

기술 요약

INFACT: 유도된 충실성 (Faithfulness) 과 사실성 (Factuality) 을 위한 진단적 벤치마크

이 논문은 비디오 대형 언어 모델 (Video-LLMs) 의 환각 (Hallucination) 문제를 진단하기 위해 INFACT라는 새로운 벤치마크를 제안합니다. 기존 벤치마크들이 주로 깨끗한 환경에서의 성능 평가에 치중하고 사실성 (Factuality) 환각을 간과한 반면, INFACT 는 **충실성 (Faithfulness)**과 사실성 (Factuality) 두 가지 차원의 환각을 세분화된 분류 체계로 평가하며, 다양한 유도 모드 (Induced Modes) 하에서의 모델 신뢰성을 정량화합니다.

1. 문제 정의 (Problem)

Video-LLMs 는 최근 급격한 발전을 이루었으나, 여전히 **할루시네이션 (Hallucination)**으로 인해 신뢰성이 떨어집니다. 이는 크게 두 가지 유형으로 나뉩니다.

• 충실성 (Faithfulness) 환각: 제공된 비디오 증거와 모순되는 출력 (예: 비디오에 없는 객체 언급).
• 사실성 (Factuality) 환각: 검증 가능한 세계 지식 (World Knowledge) 과 모순되는 출력 (예: 물리 법칙 위반, 잘못된 역사적 사실).

기존 벤치마크들은 주로 비디오 증거와 대조 가능한 '충실성' 오류에 집중하거나, 깨끗한 환경 (Clean Settings) 에서만 모델을 평가했습니다. 이로 인해 모델이 비디오 내용보다는 언어 사전 지식 (Language Priors) 이나 정적 단서에 의존하여 높은 정확도를 보이는 '단축 경로 (Shortcut)' 현상이 제대로 진단되지 않았습니다. 또한, 사실성 환각과 시간적 순서 (Temporal Order) 에 대한 민감성을 체계적으로 평가하는 도구가 부족했습니다.

2. 방법론 (Methodology)

2.1 INFACT 데이터셋 구성

INFACT 는 9,800 개의 QA(질문 - 답변) 인스턴스로 구성되어 있으며, 실제 비디오와 합성 비디오를 모두 포함합니다. 환각 유형을 세분화된 분류 체계 (Taxonomy) 로 정의했습니다.

• 충실성 (Faithfulness) 분류: 비디오 증거 기반.
  • Level 1 (정적 개체 및 속성): 객체 인식, 고유 개체 카운팅, 정적 속성 인식 등.
  • Level 2 (동적 행동 및 운동): 행동 인식, 반복 행동 카운팅, 운동 속성 인식 등.
  • Level 3 (시공간 관계): 공간/시간 관계 인식, 상태 전이 감지, 시간적 위치 파악 등.
• 사실성 (Factuality) 분류: 세계 지식 기반.
  • 도메인 지식 (Know-WHAT): 문화적 이벤트, 역사적 배경, 지리적 위치 등.
  • 절차적 지식 (Know-HOW): 전자/기계/가정/임상 절차의 논리적 순서 검증.
  • 물리 지식 (Know-WHY): 뉴턴 역학, 유체 역학, 물질 특성, 시공간 연속성에 대한 물리 법칙 준수 여부.

2.2 4 가지 평가 모드 (Evaluation Modes)

모델의 신뢰성을 평가하기 위해 4 가지 모드를 도입했습니다.

1. Base (Clean): 원본 비디오와 질문으로 기본 성능 측정.
2. Visual Degradation (시각적 열화): 가우시안 노이즈, 모션 블러, 비디오 압축 등을 적용하여 시각적 명확성을 떨어뜨리되, 정답 레이블은 유지합니다.
3. Evidence Corruption (증거 오염): 자막 주입 (오해의 소지가 있는 텍스트), 자막 손상 (ASR 오류 시뮬레이션), 적대적 노이즈 (Adversarial Noise) 를 추가하여 모델이 시각적 증거보다 잘못된 텍스트 힌트에 의존하는지 확인합니다.
4. Temporal Intervention (시간적 개입): 순서 민감도 (Order-sensitive) 항목에 대해 프레임 셔플링 (Shuffling) 또는 반전 (Reversal) 을 수행하여 시간적 구조를 파괴합니다. 이 경우 원래 정답이 무효화되므로 모델이 시간적 논리를 이해하는지 확인합니다.

2.3 평가 지표

• 저항률 (Resist Rate, RR): Mode II 와 III 에서 모델이 시각적 열화나 증거 오염에도 불구하고 Base 모드에서의 정답을 유지하는 비율.
• 시간 민감도 점수 (Temporal Sensitivity Score, TSS): Mode IV 에서 모델이 시간적 구조가 파괴되었을 때 원래 정답을 변경하는 비율. (낮은 TSS 는 시간적 무감각, 즉 시간적 관성 (Temporal Inertia) 을 의미함).

3. 주요 기여 (Key Contributions)

1. INFACT 벤치마크 도입: 9,800 개의 QA 인스턴스를 포함하며, 충실성과 사실성 환각을 세분화된 분류 체계로 다룹니다.
2. 4 가지 모드 평가 프로토콜 제안: Base, 시각적 열화, 증거 오염, 시간적 개입 모드를 통해 모델의 불변 레이블 안정성 (RR) 과 시간 민감도 (TSS) 를 측정합니다.
3. 포괄적인 실험 및 분석: 14 개의 대표적인 Video-LLM(오픈소스 및 상용 모델) 을 평가하여, 높은 Base 정확도가 반드시 유도 모드에서의 신뢰성으로 이어지지 않음을 입증했습니다.

4. 실험 결과 (Results)

14 개 모델을 대상으로 한 실험 결과는 다음과 같은 통찰을 제공합니다.

• Base 정확도와 신뢰성의 불일치: Base 모드 (clean) 에서 높은 정확도를 보이는 모델이 반드시 유도 모드 (노이즈, 오염 등) 에서도 안정적인 것은 아닙니다.
• 증거 오염에 대한 취약성: 시각적 열화 (Visual Degradation) 보다 **증거 오염 (Evidence Corruption, 특히 잘못된 자막 주입)**이 모델의 안정성을 더 크게 떨어뜨립니다. 모델은 시각적 신호가 흐릿할 때보다 잘못된 텍스트 힌트가 있을 때 더 쉽게 환각을 일으킵니다.
• 시간적 관성 (Temporal Inertia): 많은 오픈소스 모델이 사실성 질문에서 TSS 가 거의 0에 가깝게 나타났습니다. 이는 프레임 순서가 뒤바뀌어도 모델이 여전히 원래 정답을 고수한다는 의미로, 모델이 시간적 논리보다는 정적 사전 지식에 의존하고 있음을 시사합니다.
• 모델별 성능 차이:
  • Gemini3-flash와 GPT-5.1 같은 상용 모델이 전반적으로 가장 높은 성능과 신뢰성을 보였습니다.
  • Qwen3-VL 시리즈는 오픈소스 모델 중 상대적으로 높은 TSS 를 보여 시간적 증거에 더 잘 반응하는 경향을 보였습니다.
  • 절차적 판단과 물리 추론 영역에서 사실성 오류가 특히 두드러졌습니다.

5. 의의 및 결론 (Significance & Conclusion)

INFACT 는 Video-LLMs 의 신뢰성을 평가하는 데 있어 단순한 정확도 (Accuracy) 이상의 지표가 필요함을 강조합니다.

• 진단적 가치: 모델이 비디오 내용을 실제로 이해하는지, 아니면 언어적 편향이나 정적 단서에 의존하는지 구분할 수 있는 강력한 진단 도구입니다.
• 향후 연구 방향: 사실성 환각, 특히 절차적 지식과 물리 법칙에 대한 이해 부족, 그리고 시간적 순서에 대한 무감각함이 주요 개선 과제임을 밝혔습니다.
• 실용적 함의: 실제 배포 환경에서 발생할 수 있는 노이즈, 잘못된 자막, 시간적 왜곡 등에 대비한 모델의 견고성 (Robustness) 을 평가하는 표준으로 자리 잡을 것으로 기대됩니다.

요약하자면, INFACT 는 Video-LLMs 가 "무엇을 보았는가 (Faithfulness)"와 "무엇을 알고 있는가 (Factuality)"를 구분하여 평가하고, 다양한 교란 조건 하에서 모델이 얼마나 신뢰할 수 있는지를 정량화하는 중요한 이정표입니다.