Chains That See, Answers That Don't: A Multi-Aspect Evaluation Recipe for Forced Chain-of-Thought on Video-MME

기술 요약: "보는 체인, 답은 없는 체인: Video-MME 상의 강제적 사고 사슬(Forced Chain-of-Thought)에 대한 다각적 평가 레시피"

문제 정의
본 논문은 시각-언어 모델(VLM)을 비디오 질의응답(Video-QA)에 적응시킬 때 널리 퍼져 있는 가정, 즉 모델에게 정답을 내기 전 사고 사슬(Chain-of-Thought, CoT) 추론 단계를 생성하도록 강제하는 것이 신뢰도와 정확도를 향상시킨다는 가정을 다룹니다. CoT는 널리 채택되고 있지만, 비디오 맥락에서의 기능적 유용성은 여전히 검증되지 않았습니다. 저자들은 "보일러플레이트 체인(boilerplate-chain)" 무효 가설, 즉 강제된 CoT 체인이 입력값에 독립적(즉, 비디오 입력과 상관없이 추론 텍스트가 유사함)이면서도 포맷 효과로 인해 최종 답변을 변화시킬 뿐, 모델이 실제로 시각적 입력을 "읽는" 것은 아니라는 예측에 도전합니다. 반대로, 설령 체인이 비디오에 조건화(video-conditioned)되어 있다 하더라도, 이것이 반드시 객관식 문제(MCQ) 정확도 향상으로 이어지는지에 대해서도 의문을 제기합니다.

방법론: 3단계 프로브(Probe) 평가 레시피
저자들은 Qwen2.5-VL 제품군(7B 및 32B 파라미터 변체)을 사용하여 Video-MME 벤치마크에서 구현된 구체적인 3단계 프로브 평가 레시피를 제안합니다. 이 파이프라인은 체인 생성 품질과 최종 답변 유용성을 분리하도록 설계되었습니다.

1. 프로브 1: 포맷 제어를 통한 쌍체 정확도(Paired Accuracy)

   • 설계: 네 가지 조건(Direct: 답변만, CoT: 강제된 추론 단계, Answer-First: 답변 후 추론, No-Video: 텍스트 전용) 하에서의 성능을 평가합니다.
   • 점수 산정: 답변 추출을 위해 두 가지 정규 표현식(regex) 기반 스코어를 사용합니다:
     • Strict (엄격): 명시적인 태그(예: "Answer: X") 또는 특정 라인 시작 형식을 요구합니다.
     • Permissive (허용적): 거절 스타일의 출력을 문자 선택지로 강제하기 위한 폴백(fallback) 규칙을 포함합니다.
   • 통계: 두 개의 McNemar 검정, 50k 부트스트랩 신뢰 구간(CI), 그리고 원고에 선언된 4개의 주요 테스트 패밀리에 대해 Holm 교정된 $p$-값을 보고합니다.

2. 프로브 2: 카운터팩추얼 비디오 스왑 진단(Counterfactual Video-Swap Diagnostic)

   • 설계: 원래 비디오를 동일한 작업 유형의 다른 비디오로 교체하여 CoT 응답을 재평가합니다.
   • 지표:
     • Chain Token-Jaccard: 실제 비디오의 추론 체인과 교체된 비디오의 추론 체인 사이의 중첩도를 측정합니다.
     • Final Letter Flip Rate: 비디오가 변경될 때 예측된 답변이 얼마나 자주 바뀌는지 측정합니다.
     • Original-Label Retention: 교체된 비디오를 보여주었을 때 모델이 원래 비디오에 대한 답변을 유지하는지 확인합니다(거절인지 우연인지에 대한 진단).
   • 목표: 체인이 진정으로 입력에 조건화되었는지 테스트합니다. "보일러플레이트" 체인은 높은 Jaccard 유사도와 낮은 Flip rate를 보일 것이며, 입력에 조건화된 체인은 그 반대를 보일 것입니다.

3. 프로브 3: 시각적 퇴화 사다리(Visual-Degradation Ladder)

   • 설계: 단조롭게 감소하는 시각적 신호 사다리(Real $\to$ Shuffled Frames $\to$ Single Frame (반복) $\to$ Black Frames)를 따라 CoT 성능을 평가합니다. 두 가지 오염 조건(교체된 작업/도메인)은 별도로 보고됩니다.
   • 지표: 시각적 퇴화와 정확도/체인 유사도 사이의 Spearman 상관계수($\rho$)를 측정합니다.
   • 목표: 추론 체인이 시각적 신호를 활용하는지, 그리고 시각 정보 손실에 따라 정확도가 함께 저하되는지 확인합니다.

주요 결과
Qwen2.5-VL(7B 및 32B)에 대한 평가는 두 부분으로 구성된 결과를 도출합니다:

1. 체인은 강력하게 비디오에 조건화되어 있음:

   • "보일러플레이트 체인" 무효 가설이 기각되었습니다. 비디오를 교체하면 체인 토큰-Jaccard가 크게 떨어지며(32B는 0.14, 7B는 ~0.12), 최종 알파벳 Flip rate는 높게 나타납니다(32B는 ~67%, ~7B는 ~60%).
   • 정성적 사례를 보면, 모델은 일반적인 템플릿을 생성하기보다 교체된 비디오의 내용을 명시적으로 설명하거나, 내용이 옵션과 일치하지 않을 경우 답변을 거절합니다.

2. 비디오에 조건화된 체인이 정확도를 향상시키지 못함 (오히려 해로울 수 있음):

   • 32B 모델: 강제된 CoT는 직접 답변하는 것보다 MCQ 정확도를 향상시키지 못합니다. 엄격한 스코어링 하에서 CoT는 약간의 하락(-5.33 pp, $p=0.048$)을 보였으나 Holm 교정을 통과하지 못했습니다. 허용적 스코어링 하에서는 하락 폭이 더 작으며(-2.33 pp) 유의미하지 않습니다. 파싱된 서브셋에서 부호 반전이 발생했는데, 이는 실제 개선보다는 파스 레이트(parse-rate) 선택 효과 때문인 것으로 분석됩니다.
   • 7B 모델: 강제된 CoT는 통계적으로 지지되는 정확도 하락을 유발합니다. 엄격한 스코어링 하에서 하락 폭은 -7.32 퍼센티지 포인트($p=0.003$, Holm-adjusted $p=0.012$)입니다. 이는 $\alpha=0.05$에서 Holm 교정을 통과한 유일한 결과입니다. 저자들은 이를 중간 추론 과정에서 오류가 전파되어 최종 답변을 저해하는 현상 때문이라고 가설을 세웠습니다.
   • 시각적 사다리: 시각적 신호가 퇴화함에 따라(Real $\to$ Black) 정확도와 체인 유사도가 모두 단조롭게 감소하며, 이는 체인이 시각적 입력을 사용함을 확인시켜 주지만, 이러한 접지(grounding)가 CoT 포맷에서의 정확도 이득과 상관관계가 있지는 않음을 보여줍니다.

의의 및 주장
본 논문은 CoT가 보편적으로 쓸모없다고 주장하거나, 이 결과가 Qwen2.5-VL / Video-MME 사례를 넘어 일반화된다고 주장하지 않습니다. 대신, 본 논문의 의의는 평가 방법론과 체인의 접지와 작업 유용성 사이의 디커플링(decoupling) 발견에 있습니다.

• 방법론적 기여: 저자들은 멀티모달 설정에서 CoT를 엄격하게 테스트하기 위한 "3단계 프로브 레시피"를 제공합니다. 저자들은 단순한 정확도 비교만으로는 불충분하다고 주장하며, 평가자는 반드시 입력 치환 프로브(input-substitution probes)를 통해 체인의 조건화 여부를 검증하고, 파스 레이트(parse rate)를 함께 보고해야 한다고 강조합니다.
• 경험적 발견: 본 논문은 모델이 시각적 입력에 매우 민감한 추론 흔적을 생성할 수 있음에도 불구하고(비디오를 "보고" 있음을 증명), 그 추론을 최종 답변을 개선하는 데 활용하지 못하며, 특히 작은 모델의 경우 오히려 성능을 저하시킬 수 있음을 보여줍니다.
• 평가 교훈: 저자들은 "접지된 추론 흔적(grounded reasoning traces)"이 다운스트림 이득을 위한 충분조건은 아니라고 경고합니다. 저자들은 파스 레이트를 정확도와 함께 보고하고, 입력 치환 프로브를 통해 체인 조건화를 검증하며, "CoT가 도움이 된다/안 된다"를 단일 집계 점수가 아닌 특정 진단 도구가 필요한 다면적인 질문으로 취급할 것을 권고합니다.

저자들은 자신들의 커스텀 정규 표현식 스코어가 공식 Video-MME 평가 도구가 아님을 명시하며, 주요 유의성 선택(엄격한 스코어링)이 사후적(post-hoc)이었음을 밝힙니다. 또한 모든 수치가 재현 가능하도록 원시 응답과 재계산 스크립트를 공개하여, 향-후 연구자들이 전체 벤치마크와 다른 모델 제품군에서 이 발견을 검증할 수 있도록 초대합니다.