Chains That See, Answers That Don't: A Multi-Aspect Evaluation Recipe for Forced Chain-of-Thought on Video-MME

Resumo Técnico: "Cadeias que Veem, Respostas que Não: Uma Receita de Avaliação Multifacetada para o Chain-of-Thought Forçado no Video-MME"

Definição do Problema
O artigo aborda uma suposição prevalecente na adaptação de Modelos de Linguagem-Visão (VLMs) para o questionamento de vídeo (Video-QA): a de que forçar os modelos a gerar etapas de raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT) antes de responder melhora a confiabilidade e a precisão. Embora o CoT seja amplamente adotado, sua utilidade funcional em contextos de vídeo permanece não verificada. Os autores desafiam a hipótese nula da "cadeia-boilerplate" — a previsão de que cadeias de CoT forçadas poderiam ser amplamente invariantes à entrada (ou seja, o texto do raciocínio permanece semelhante independentemente da entrada de vídeo), mas ainda assim alteram a resposta final devido a efeitos de formato, sem que o modelo esteja realmente "lendo" a entrada visual. Por outro lado, eles também questionam se, mesmo que as cadeias sejam condicionadas ao vídeo, isso necessariamente se traduz em melhoria na precisão de Questões de Múltipla Escolha (MCQ).

Metodologia: Uma Receita de Avaliação de Três Sondas
Os autores propõem uma receita de avaliação específica de três sondas, instanciada no benchmark Video-MME utilizando a família Qwen2.5-VL (variantes de 7B e 32B parâmetros). O pipeline é projetado para desacoplar a qualidade da geração da cadeia da utilidade da resposta final.

1. Sonda 1: Precisão Pareada com Controles de Formato

   • Design: Avalia o desempenho sob quatro condições: Direta (apenas resposta), CoT (etapas de raciocínio forçadas), Resposta-Primeiro (resposta seguida de raciocínio) e Sem-Vídeo (apenas texto).
   • Pontuação: Utiliza dois pontuadores baseados em regex para extrair respostas:
     • Estrito (Strict): Exige tags explícitas (ex: "Resposta: X") ou formatação específica de início de linha.
     • Permissivo (Permissive): Inclui uma regra de fallback para coagir saídas de estilo de recusa em uma escolha de letra.
   • Estatística: Reporta testes de McNemar pareados, intervalos de confiança (CIs) de bootstrap de 50k e valores $p$ corrigidos por Holm sobre uma família primária de quatro testes declarada no manuscrito.

2. Sonda 2: Diagnóstico de Troca de Vídeo Contrafactual

   • Design: Reavalia as respostas de CoT onde o vídeo original é substituído por um vídeo diferente do mesmo tipo de tarefa.
   • Métricas:
     • Jaccard de Tokens da Cadeia: Mede a sobreposição entre a cadeia de raciocínio do vídeo real e a do vídeo trocado.
     • Taxa de Inversão de Letra Final: Mede com que frequência a resposta prevista muda quando o vídeo muda.
     • Retenção do Rótulo Original: Verifica se o modelo retém a resposta para o vídeo original ao ser mostrado o vídeo trocado (um diagnóstico para recusa vs. coincidência).
   • Objetivo: Testar se as cadeias são verdadeiramente condicionadas à entrada. Uma cadeia "boilerplate" mostraria alta similaridade de Jaccard e baixas taxas de inversão; uma cadeia condicionada à entrada mostraria o oposto.

3. Sonda 3: Escada de Degradação Visual

   • Design: Avalia o desempenho do CoT através de uma escada de sinal visual monotonicamente decrescente: Real $\to$ Quadros Embaralhados $\to$ Quadro Único (repetido) $\to$ Quadros Pretos. Duas condições de contaminação (troca de tarefa/domínio) são reportadas separadamente.
   • Métricas: Correlação de Spearman ($\rho$) entre a degradação visual e a precisão/similaridade da cadeia.
   • Objetivo: Determinar se a cadeia de raciocínio utiliza o sinal visual e se a precisão degrada em conjunto com a perda de informação visual.

Resultados Principais
A avaliação no Qwen2.5-VL (7B e 32B) produz uma descoberta em duas partes:

1. As Cadeias são Fortemente Condicionadas ao Vídeo:

   • A nulidade "boilerplate-chain" é rejeitada. Quando o vídeo é trocado, o Jaccard de tokens da cadeia cai significativamente (para 0,14 para 32B e ~0,12 para 7B), e as taxas de inversão de letra final são altas (67% para 32B, ~60% para 7B).
   • Exemplos qualitativos mostram o modelo descrevendo explicitamente o conteúdo do vídeo trocado e recusando-se a responder se o conteúdo não corresponder às opções, em vez de gerar um template genérico.

2. Cadeias Condicionadas ao Vídeo Não Melhoram a Precisão (e Podem Prejudicar):

   • Modelo 32B: O CoT forçado não melhora a precisão de MCQ em relação à resposta direta. Sob pontuação estrita, o CoT mostra uma queda leve (-5,33 pp, $p=0,048$) que não sobrevive à correção de Holm. Sob pontuação permissiva, a queda é menor (-2,33 pp) e não significativa. Uma inversão de sinal ocorre em subconjuntos de análise (parsing) apenas, atribuída a efeitos de seleção da taxa de análise, em vez de uma melhoria genuína.
   • Modelo 7B: O CoT forçado produz uma queda de precisão estatisticamente suportada. Sob o pontuador estrito, a queda é de -7,32 pontos percentuais ($p=0,003$, $p$ ajustado por Holm de $0,012$). Este é o único resultado na família primária que sobrevive à correção de Holm em $\alpha=0,05$. Os autores hipotetizam que isso se deve à propagação de erro, onde o modelo menor comete inferências intermediárias que degradam a resposta final.
   • Escada Visual: A precisão e a similaridade da cadeia diminuem monotonicamente conforme o sinal visual degrada (Real $\to$ Preto), confirmando que as cadeias utilizam a entrada visual, mas esse ancoramento não se correlaciona com ganhos de precisão no formato CoT.

Significância e Alegações
O artigo não afirma que o CoT é universalmente inútil, nem que estes resultados se generalizem além da instância Qwen2.5-VL / Video-MME. Em vez disso, sua significância reside na metodologia de avaliação e na descoberta específica de um desacoplamento entre o ancoramento da cadeia e a utilidade da tarefa.

• Contribuição Metodológica: Os autores fornecem uma "receita de três sondas" para testar rigorosamente o CoT em ambientes multimodais. Eles argumentam que comparações de precisão padrão são insuficientes; avaliadores devem medir separadamente o condicionamento de entrada (via sondas de troca) e a sensibilidade da taxa de análise (via pontuação estrita vs. permissiva).
• Descoberta Empírica: O artigo demonstra que um modelo pode gerar traços de raciocínio que são altamente sensíveis à entrada visual (provando que ele "vê" o vídeo), mas falham em aproveitar esse raciocínio para melhorar as respostas finais e, no caso de modelos menores, degradam ativamente o desempenho.
• Lição de Avaliação: Os autores alertam que "traços de raciocínio ancorados" não são uma condição suficiente para ganhos subsequentes. Eles defendem o reporte da taxa de análise junto com a precisão, o uso de sondas de substituição de entrada para verificar o condicionamento da cadeia e o tratamento de "CoT ajuda/não ajuda" como uma questão multifacetada que exige ferramentas de diagnóstico específicas, em vez de um único escore agregado.

Os autores declaram explicitamente que seu pontuador regex customizado não é o avaliador oficial do Video-MME e que sua escolha principal de significância (pontuação estrita) foi post-hoc. Eles liberam as respostas brutas e um script de recomputação para garantir que todos os números sejam reproduzíveis, convidando trabalhos futuros para validar estas descobertas no benchmark completo e em outras famílias de modelos.