VirtueBench: Evaluating Trustworthiness under Uncertainty in Long Video Understanding

O artigo apresenta o VirtueBench, um novo benchmark projetado para avaliar a confiabilidade de Modelos Visão-Linguagem em vídeos longos ao distinguir entre casos respondíveis e não respondíveis, revelando que a maioria dos modelos atuais tende a adivinhar em vez de recusar respostas honestamente sob incerteza.

O essencial

🎬 O Problema: O "Jogo do Adivinha" nos Vídeos Longos

Imagine que você está assistindo a um filme de 3 horas, mas o professor de história só te permite olhar para 64 fotos aleatórias tiradas desse filme para responder a uma pergunta sobre o final da história.

Muitas vezes, a foto crucial que mostra o vilão pegando a chave do cofre não está entre essas 64 fotos.

• O Modelo "Honesto": Olha as fotos, não vê a chave e diz: "Não tenho informações suficientes para responder. As fotos não mostram isso."
• O Modelo "Adivinhador": Olha as fotos, não vê a chave, mas chuta: "Acho que é uma chave dourada!" (e, por sorte, acerta).

O que acontece hoje?
Nos testes atuais de Inteligência Artificial (IA), o modelo que chuta e acerta ganha pontos. O modelo honesto que admite que não sabe é punido e considerado "errado". Isso cria um incentivo perverso: as IAs aprendem a mentir ou chutar em vez de serem honestas sobre o que realmente viram.

É como se em uma prova de matemática, quem dissesse "não sei resolver" fosse zerado, e quem chutasse o número "42" e acertasse por sorte recebesse nota máxima.

🛡️ A Solução: VirtueBench (O Banco de Prova da Virtude)

Os autores criaram um novo teste chamado VirtueBench. A ideia é mudar as regras do jogo para premiar a honestidade e a confiabilidade, não apenas o acerto aleatório.

Como funciona o VirtueBench?

Imagine que você tem um vídeo longo e cria várias versões dele com quantidades diferentes de fotos:

1. Versão 64 fotos: Muito pouca informação (a chave do cofre não aparece).
2. Versão 1024 fotos: Quase todo o filme (a chave aparece claramente).

O VirtueBench diz para a IA: "Se as fotos que você tem não mostram a resposta, você não deve chutar. Você deve dizer: 'O vídeo não tem informações suficientes'."

Se a IA chutar e acertar sem ter visto a prova, ela é considerada errada neste novo teste. Se ela admitir que não sabe, ela é considerada correta.

🧪 O Que Eles Descobriram?

Eles testaram 25 modelos de IA diferentes (desde os gratuitos e abertos até os mais caros e comerciais) e encontraram algumas coisas interessantes:

1. A "Virtude" é rara: A maioria das IAs atuais é treinada para ser "prestativa" e dar uma resposta a qualquer custo. Elas têm muito medo de dizer "não sei".
   • Analogia: É como um aluno que, em vez de levantar a mão e dizer "não entendi a lição", tenta adivinhar a resposta para não ficar de cabeça baixa.
2. Quem acerta mais, chuta menos: Os modelos mais inteligentes e maiores (como o Qwen e o Gemini) foram os melhores em admitir quando faltava informação. Eles conseguem perceber: "Ei, essas fotos são insuficientes, não vou inventar nada."
3. O tamanho importa (até certo ponto): Geralmente, modelos maiores são mais "conscientes" de suas limitações.
4. A "Ordem" faz diferença: Se você não pedir explicitamente para a IA ser honesta, a maioria delas para de admitir que não sabe.
   • Analogia: Se o professor não disser "não vale chutar", os alunos voltam a chutar. A honestidade da IA depende muito de como você a instrui.

📊 O Resultado Final

O estudo mostra que, embora as IAs estejam ficando muito boas em "ver" vídeos, elas ainda são pouco confiáveis quando a informação está faltando. Elas preferem arriscar um chute errado a admitir uma dúvida.

Por que isso importa?
Se usarmos essas IAs para coisas sérias (como analisar vídeos de segurança, diagnósticos médicos ou notícias), queremos que elas digam: "Não vi nada no vídeo que confirme isso" em vez de inventarem uma história que parece plausível, mas é falsa.

O VirtueBench é um passo importante para criar IAs que não apenas "sabem" coisas, mas que sabem quando não sabem, tornando-as parceiras mais confiáveis para nós, humanos.

📝 Resumo em uma frase

O VirtueBench é um novo teste que pune a IA por chutar respostas quando não tem provas suficientes, forçando-a a ser honesta sobre o que realmente consegue "ver" nos vídeos longos.

Resumo técnico

Título: VirtueBench: Avaliando a Confiabilidade sob Incerteza na Compreensão de Vídeos Longos

1. O Problema Identificado

O artigo aborda uma falha crítica na avaliação atual de Modelos Visão-Linguagem (VLMs) para compreensão de vídeos longos.

• Limitação de Entrada: Devido à capacidade limitada de processamento de tokens visuais, os VLMs atuais não podem processar todos os quadros de um vídeo longo. Eles utilizam técnicas de amostragem (ex: 64, 128, 256 quadros), o que frequentemente resulta na exclusão de quadros-chave necessários para responder a perguntas específicas.
• Viés de Avaliação: Nos benchmarks existentes, se um modelo "adivinha" a resposta correta sem ver a evidência visual (devido à falta de quadros-chave), ele é marcado como correto. Por outro lado, se um modelo honestamente indica incerteza ou recusa-se a responder devido à falta de informação, ele é marcado como incorreto.
• Consequência: Essa dinâmica recompensa o "chute" (guessing) e penaliza a honestidade, incentivando comportamentos não confiáveis e distorcendo os resultados de avaliação, fazendo com que modelos pareçam mais capazes do que realmente são em cenários de informação incompleta.

2. Metodologia: VirtueBench

Para corrigir esse viés, os autores propõem o VirtueBench, um benchmark projetado especificamente para avaliar a confiabilidade (trustworthiness) sob incerteza.

• Construção dos Dados:

  • O dataset é derivado de benchmarks de vídeo longos existentes (como MLVU, LVBench, Video-MME, etc.).
  • Amostragem Multi-nível: Para cada vídeo, criam-se múltiplos níveis de amostragem de quadros (64, 128, 256, 512 e 1024 quadros).
  • Ground Truth Dinâmico: Diferente dos benchmarks tradicionais que têm uma única resposta, o VirtueBench define a resposta correta para cada nível de amostragem. Se os quadros amostrados não contêm a informação necessária, a "resposta correta" é rotulada como: "O vídeo não fornece informações suficientes".
  • Filtragem Rigorosa: As perguntas de múltipla escolha originais foram convertidas para formato aberto (Open-Ended) para evitar que modelos adivinhem a resposta correta estatisticamente. Um processo de filtragem removeu perguntas triviais ou que dependiam de conhecimento externo.
  • Estatísticas: O benchmark final contém 1.328 instâncias (derivadas de 901 vídeos), cobrindo tarefas de percepção (59,7%) e raciocínio (40,3%).

• Pipeline de Avaliação:

  • Os modelos são testados em cada nível de amostragem.
  • Para perguntas onde a informação está faltando, o modelo só é considerado correto se recusar a responder (indicando falta de evidência).
  • Utiliza-se um modelo LLM (GPT-4o) como juiz para avaliar a coerência semântica das respostas e detectar recusas.

3. Contribuições Principais

1. Identificação de Limitação Sistêmica: Evidenciam que os benchmarks atuais de vídeos longos não conseguem detectar quando os modelos estão chutando, levando a avaliações enganosas.
2. Novo Benchmark (VirtueBench): O primeiro benchmark de compreensão de vídeos longos focado explicitamente na confiabilidade sob incerteza, distinguindo entre casos respondíveis e não respondíveis com base na informação visual disponível.
3. Avaliação Abrangente: Realizaram testes em 25 VLMs (abertos e comerciais), revelando lacunas significativas no comportamento de recusa honesta.

4. Resultados Principais

Os experimentos revelaram comportamentos distintos entre famílias de modelos:

• Desempenho Geral: O modelo Gemini-2.5-Flash obteve o melhor desempenho geral. Entre os modelos de código aberto, a série Qwen3-VL (especialmente a versão 32B) mostrou o desempenho mais forte, reduzindo a lacuna em relação aos modelos comerciais.
• Comportamento de Recusa (Refusal):
  • Existe uma grande disparidade na capacidade de recusar respostas quando a informação é insuficiente.
  • Modelos como Qwen2.5-VL-72B, Qwen3-VL-32B e Gemini-2.5-Flash alcançaram taxas de precisão de recusa superiores a 70% nos melhores casos.
  • Modelos como LLaVA-Video, InternVideo e VideoChat-Flash exibiram taxas de recusa próximas a 0%, tendendo a alucinar ou chutar respostas mesmo sem evidência.
• Efeito do Tamanho do Modelo: Dentro da família Qwen, modelos maiores tendem a ter maior capacidade de recusa (ex: 72B > 7B), sugerindo que modelos maiores aprendem padrões mais complexos para detectar a insuficiência de dados.
• Impacto do Raciocínio (Reasoning): Modelos com capacidades de raciocínio aprimorado (via RL ou "Thinking") geralmente apresentam melhor desempenho na recusa, indicando que conseguem analisar melhor a completude das informações visuais.
• Dependência do Prompt: A precisão da recusa cai drasticamente (em média quase 50%) quando a instrução explícita de "ser honesto" é removida do prompt. Isso sugere que os modelos não recusam naturalmente, mas sim por obediência à instrução, comportando-se como "alunos que tentam responder a qualquer custo".

5. Significado e Conclusão

O VirtueBench expõe uma lacuna fundamental de confiabilidade nos VLMs atuais. Os resultados indicam que os modelos são otimizados para maximizar a quantidade de respostas corretas (mesmo que por chute) em vez de reconhecer honestamente a incerteza.

• Implicação para Pesquisa: O trabalho argumenta que os futuros benchmarks e leaderboards devem priorizar a confiabilidade e a gestão de incerteza, não apenas a precisão bruta.
• Direção Futura: É necessário desenvolver VLMs que sejam intrinsecamente capazes de avaliar a suficiência de suas entradas visuais e recusar respostas quando a evidência é insuficiente, evitando comportamentos alucinatórios em aplicações críticas.

Em resumo, o VirtueBench propõe uma mudança de paradigma: em vez de punir a honestidade, a avaliação deve recompensar a capacidade do modelo de dizer "não sei" quando os dados visuais não suportam uma conclusão.