VirtueBench: Evaluating Trustworthiness under Uncertainty in Long Video Understanding

이 논문은 긴 비디오 이해에서 불확실성 하에 모델의 신뢰성을 평가하기 위해, 답변이 불가능한 경우 정직하게 거절하는 능력을 측정하는 새로운 벤치마크인 VirtueBench 를 제안하고 다양한 비전 - 언어 모델의 신뢰성 부족을 입증합니다.

핵심

🎬 1. 문제 상황: "일부만 본 채로 추측하는 학생들"

상상해 보세요. 시험을 치르는데, 100 페이지짜리 긴 영화를 보여주고 질문을 던집니다. 그런데 AI 모델들에게는 영화의 64 프레임 (약 2 초 분량) 만 보여줍니다.

• 진실한 학생 (정직한 AI): "저는 이 짧은 장면만으로는 답을 알 수 없습니다. 중요한 장면이 빠져있어요."라고 정직하게 말합니다.
• 추측하는 학생 (기존 AI): "아마도 주인공이 빨간 모자를 썼겠지?"라고 맞을 수도, 틀릴 수도 있는 답을 대충 맞춰냅니다.

기존의 문제점:
지금까지의 평가 방식은 **"정답을 맞췄으면 점수를 주고, 모른다고 하면 감점"**이었습니다.

• 정직하게 "모른다"고 한 학생은 0 점.
• 운 좋게 추측해서 정답을 맞춘 학생은 100 점.

이건 마치 "모르는 문제를 정직하게 포기한 학생은 낙제시키고, 운 좋게 찍어서 맞춘 학생은 영웅으로 만드는" 이상한 시험과 같습니다. 그래서 AI 들은 "정답을 맞출 확률이 조금이라도 있다면, 무조건 찍어보자"는 습관을 들이게 됩니다. 이것이 바로 신뢰성 (Trustworthiness) 의 위기입니다.

---

🛡️ 2. 해결책: VirtueBench (덕의 벤치마킹)

이 논문은 이 문제를 해결하기 위해 **새로운 시험지 'VirtueBench'**를 만들었습니다.

• 핵심 아이디어: "정보 부족"을 정답으로 인정합니다.
• 시험 방식: 같은 영상에 대해 64 프레임, 128 프레임, 512 프레임 등 다양한 양의 영상을 보여줍니다.
  • 만약 보여준 영상에 정답을 알 수 있는 핵심 장면이 없다면, AI 가 "정보 부족입니다"라고 정직하게 말하면 점수를 줍니다.
  • 정보가 부족한데 억지로 답을 맞추면 오답으로 처리합니다.

이 시험지는 AI 가 "무엇을 알고 있는지"뿐만 아니라, "무엇을 모르는지"도 인정할 수 있는지를 봅니다. 즉, AI 의 **'지적인 겸손함'**을 평가하는 것입니다.

---

🔍 3. 실험 결과: AI 들의 실력 차이

25 개의 다양한 AI 모델 (오픈소스와 상용 모델 포함) 을 이 시험지로 테스트한 결과는 다음과 같습니다.

1. 정직함의 격차:

   • 최고의 모델 (예: Gemini, Qwen 등): "정보 부족"이라고 정직하게 거절하는 능력이 70% 이상으로 뛰어납니다.
   • 나쁜 모델 (예: 일부 LLaVA 등): 거의 0% 에 가깝습니다. 정보가 없어도 무조건 답을 맞춰대서, 실제로는 틀렸는데 점수만 높게 받는 '가짜 영웅'이 됩니다.

2. 지시어의 중요성:

   • AI 에게 **"정직하게 답하세요"**라고 명시적으로 말해주면 정직해집니다.
   • 하지만 그 지시를 빼면, 대부분의 AI 가 다시 **"무조건 답을 맞춰야 한다"**는 습성으로 돌아갑니다. 마치 시험 감독관이 "정직하게 하세요"라고 말해주지 않으면, 학생이 함부로 찍는 것과 같습니다.

3. 모델 크기와 능력:

   • 일반적으로 모델이 크고, 추론 (Reasoning) 능력이 강화된 모델일수록 "모를 때는 모른다고 말하는" 능력이 더 뛰어났습니다.

---

💡 4. 결론: 왜 이 연구가 중요한가요?

이 논문의 결론은 매우 명확합니다.

"AI 가 무조건 정답을 맞추는 것보다, 모르는 것은 인정하는 것이 더 중요합니다."

지금까지의 AI 개발은 "정답을 얼마나 많이 맞추는가"에 집중했습니다. 하지만 긴 영상을 이해하는 세상에서는, 정보 부족을 감지하고 정직하게 거절하는 능력이 없으면 AI 는 사용자를 속이는 '거짓말쟁이'가 될 수 있습니다.

VirtueBench는 앞으로 AI 가 더 신뢰할 수 있고 (Trustworthy), 불확실성을 인정하는 현명한 파트너가 되도록 돕는 나침반 역할을 할 것입니다.

📝 한 줄 요약

"운 좋게 찍어서 맞춘 AI 보다, 정보가 부족할 때 정직하게 '모른다'고 말하는 AI 가 진짜 똑똑한 AI 입니다."

기술 요약

1. 문제 제기 (Problem)

최근 비전 - 언어 모델 (VLM) 은 멀티모달 이해 능력에서 괄목할 만한 발전을 이루었으나, 장기 비디오 이해 (Long Video Understanding) 분야에서의 평가는 여전히 신뢰할 수 없는 상태입니다.

• 입력 프레임의 한계: 현재 VLM 은 처리 용량의 제한으로 인해 긴 비디오의 모든 프레임을 입력할 수 없으며, 일반적으로 256 또는 512 프레임 정도로 샘플링하여 입력합니다. 이로 인해 질문에 답하는 데 필수적인 핵심 프레임이 누락될 수 있습니다.
• 평가 프로토콜의 결함: 기존 벤치마크에서는 정보가 부족할 때 정직하게 "답할 수 없다"고 거절하는 모델을 **오답 (Incorrect)**으로 처리합니다. 반면, 정보가 없는데도 추측 (Guessing) 을 통해 우연히 정답을 맞춘 모델은 **정답 (Correct)**으로 간주되어 부풀려진 정확도를 기록합니다.
• 부정적인 결과: 이러한 평가 방식은 모델이 불확실성을 인정하는 대신 추측을 하도록 유도하며, 결과적으로 신뢰할 수 없는 행동을 장려하고 모델 최적화를 왜곡시킵니다.

2. 방법론 (Methodology)

이러한 문제를 해결하기 위해 저자들은 VirtueBench라는 새로운 벤치마크를 제안했습니다.

• 데이터 구성:
  • 기존 장기 비디오 벤치마크 (MLVU, LVBench, LongVideoBench 등) 의 비디오 - 질문 쌍을 기반으로 구축되었습니다.
  • 각 비디오를 64, 128, 256, 512, 1024 프레임 등 다양한 샘플링 레벨로 분할하여 생성했습니다.
  • Ground Truth 재정의: 각 샘플링 레벨에 대해 별도의 정답을 부여했습니다. 핵심 프레임이 누락되어 질문에 답할 수 없는 경우, 정답을 **"The video does not provide enough information (비디오에 충분한 정보가 없음)"**으로 레이블링했습니다.
• 데이터 필터링 및 품질 관리:
  • 객관식 (MCQ) 을 오픈 엔디드 (Open-ended) 형식으로 변환하여 추측을 방지했습니다.
  • Gemini-2.5-Flash 등을 활용해 단순 상식이나 단일 프레임으로 답할 수 있는 질문을 제거하고, 인간 어노테이터를 통해 정답의 타당성과 증거 타임스탬프를 검증했습니다.
  • 총 1,328 개의 고품질 인스턴스 (901 개 비디오) 로 구성되었으며, 지각 (Perception) 과 추론 (Reasoning) 과제를 균형 있게 포함합니다.
• 평가 프로토콜:
  • 거절 감지 (Refusal Detection): 정보가 부족할 때 모델이 정답을 시도하지 않고 거절하는지 확인합니다.
  • 정확도 평가: 정보가 충분한 경우 정답의 의미적 일관성을 평가하고, 정보가 부족한 경우 거절 여부가 정답 기준이 됩니다.
  • LLM-as-a-Judge: GPT-4o 를 사용하여 모델의 응답을 평가합니다.

3. 주요 기여 (Key Contributions)

1. 현행 벤치마크의 한계 규명: 제한된 입력 프레임으로 인해 모델의 추측 행위를 감지하지 못하고 신뢰할 수 없는 평가 결과를 초래한다는 문제를 최초로 명확히 지적했습니다.
2. VirtueBench 제안: 불확실성 하에서의 모델 신뢰성 (Trustworthiness) 을 평가하는 최초의 장기 비디오 이해 벤치마크를 제시했습니다. 이는 정보가 제한되었을 때 모델의 '답변'과 '거절' 행동을 정확하게 평가할 수 있는 기준을 마련했습니다.
3. 포괄적인 실험 및 통찰: 오픈소스 및 상용 모델 25 개를 대상으로 평가하여, 현재 대부분의 VLM 이 불확실성을 정직하게 인정하기보다는 정답을 맞추기 위해 추측하는 경향이 있음을 발견했습니다.

4. 실험 결과 (Results)

25 개의 VLM (Qwen 시리즈, LLaVA-Video, InternVideo, GPT-4o/5, Gemini-2.5 등) 에 대한 평가 결과는 다음과 같습니다.

• 모델별 거절 행동의 차이:
  • 고성능 모델: Qwen2.5-VL-72B, Qwen3-VL-32B, Gemini-2.5-Flash, GPT-4o 등은 정보가 부족할 때 정직하게 거절하는 능력이 뛰어났습니다 (거절 정확도 50% 이상, 최상위 모델은 70% 이상).
  • 저성능 모델: LLaVA-Video, InternVideo, Keye-VL 등 일부 모델은 거의 거절 행동을 보이지 않아 (거절 정확도 0% 에 수렴), 정보가 없어도 무조건 답을 내놓는 경향이 있었습니다.
• 모델 크기와 성능: Qwen-VL 시리즈에서 모델 파라미터 크기가 클수록 거절 정확도가 높아지는 경향을 보였습니다 (예: 72B > 7B).
• 추론 능력의 영향: 강화학습 (RL) 이나 추론 강화 (Thinking) 기능이 적용된 모델 (예: Qwen3-VL-Thinking, Mimo-VL-RL) 이 일반 모델보다 거절 정확도가 높았습니다. 이는 복잡한 추론 능력이 시각 정보의 부족을 인지하는 데 도움이 됨을 시사합니다.
• 프롬프트의 영향 (Prompt Ablation):
  • "정직하게 답변하라"는 명시적 지시 (Instruction) 가 포함된 프롬프트에서는 거절 정확도가 높았으나, 이를 제거했을 때 대부분의 모델에서 거절 정확도가 약 50% 감소했습니다.
  • 이는 현재 VLM 들이 기본적으로 '시험 응시자'처럼 행동하여, 불확실하더라도 무조건 답을 내놓도록 최적화되어 있음을 의미합니다.
• 프레임 수와 정확도의 역설: 기존 벤치마크와 달리, VirtueBench 에서는 프레임 수가 증가할수록 전체 정확도가 감소하는 경향을 보였습니다. 이는 더 많은 프레임이 제공될수록 모델이 '추측'할 수 있는 여지가 줄어들고, 정보가 부족할 때 정직하게 거절해야 하는 상황이 더 명확해지기 때문입니다.

5. 의의 및 결론 (Significance)

• 신뢰할 수 있는 VLM 개발의 필요성: 본 연구는 현재 멀티모달 이해 모델이 불확실성을 인정하는 '정직함'보다 '정답률'을 우선시하도록 훈련되고 평가받고 있음을 지적합니다.
• 새로운 평가 기준: VirtueBench 는 모델이 정보를 부족할 때 어떻게 반응해야 하는지에 대한 기준을 제시함으로써, 추측을 줄이고 신뢰성을 높이는 모델 개발을 촉진합니다.
• 미래 방향: 벤치마크와 리더보드가 신뢰성 (Reliability) 과 신뢰성 (Trustworthiness) 을 강조해야 하며, 이를 통해 불확실성 하에서도 정직하게 행동하는 차세대 VLM 을 개발해야 함을 강조합니다.

요약하자면, VirtueBench는 장기 비디오 이해에서 모델이 "모를 때 모른다고 말하는 능력"을 평가하는 새로운 패러다임을 제시하며, 현재 모델 평가 시스템이 가진 치명적인 편향을 바로잡고 신뢰할 수 있는 AI 를 구축하는 데 기여합니다.