Resumo Técnico: Os Video-LLMs Realmente Assistem? Diagnosticando Falhas de Rastreamento de Personagens em Vídeos de Longa Duração

Declaração do Problema

Embora modelos recentes de Large Language Models de Vídeo (Video-LLMs) de código aberto de 7–8B tenham alcançado acurácias relatadas de 37–38% na tarefa de "aparência global" do InfiniBench — que exige identificar a ordem cronológica das mudanças de vestuário de um personagem nomeado ao longo de um episódio inteiro de TV — existe uma incerteza crítica sobre a origem desse desempenho. Permanece incerto se esses modelos realmente rastreiam a identidade do personagem ao longo do tempo ou se dependem de heurísticas superficiais, como pistas de gênero, vieses de posição ou associações memorizadas, para responder corretamente. O problema central é distinguir entre o verdadeiro rastreamento de personagem (vincular evidência visual a uma entidade nomeada específica) e o pareamento de padrões superficiais que gera pontuações altas em benchmarks sem compreensão genuína.

Metodologia

Os autores propõem um protocolo de diagnóstico de nove condições para desacoplar a acurácia do benchmark da capacidade real de rastreamento de personagens. A avaliação foca no conjunto de validação de The Big Bang Theory (BBT) do InfiniBench (129 perguntas) e estende-se a Friends e Castle para análise entre diferentes séries.

Modelos Avaliados:

• Código Aberto (7–8B): InternVL2-8B, Qwen2.5-VL-7B e LLaVA-NeXT-Video-7B.
• Referência de Fronteira: Gemini 2.5 Flash (avaliado em um subconjunto parcial devido a restrições de API).

Condições de Diagnóstico:

1. MC Padrão: Vídeo do episódio completo com perguntas de múltipla escolha.
2. Apenas Texto: 16 quadros pretos com o mesmo prompt para isolar o palpite baseado em texto.
3. Quadros Direcionados: Substituição da amostragem uniforme por quadros "oráculo" das janelas de mudança de roupa da verdade fundamental (ground-truth) para testar se o conteúdo visual ausente é o gargalo.
4. Substituição de Nome (Diagnóstico Central): Troca do personagem nomeado na pergunta por outro membro do elenco principal, mantendo o vídeo e as opções idênticos. Um modelo com rastreamento real deve mudar sua resposta; um modelo que ignora o nome não deve mudar. Isso é subdividido em Mesmo Gênero vs. Troca de Gênero.
5. Aberta (OE): Remoção das opções de múltipla escolha e solicitação de descrições de texto livre da sequência de roupas.
6. Apenas Metadados: Remoção total do vídeo para testar contaminação de pré-treinamento (memorização).
7. Ablação de Contagem de Quadros: Variação do número de quadros (8, 16, 32, 64) para testar se o aumento do input visual melhora o rastreamento.
8. Abstenção: Adição de uma opção "Não posso determinar" para testar a calibração.
9. Ablação de Legendas: Adição de texto de diálogo processado para testar se a falta de contexto textual impulsiona as falhas.

Métricas:

• Sensibilidade à Substituição de Nome: A porcentagem de casos em que o modelo altera a letra da sua resposta após a troca do nome.
• Acurácia Coletiva: A fração de episódios em que todas as perguntas são respondidas corretamente.
• Viés de Posição: Testes de qui-quadrado contra a distribuição uniforme para detectar preferência de letra.

Principais Resultados

1. Baixa Sensibilidade de Rastreamento de Personagem

O principal achado é que os modelos de código aberto ignoram amplamente o nome específico do personagem.

• Substituição de Nome: Quando o nome do personagem foi trocado, os modelos mudaram sua resposta em apenas 4–31% dos casos (dependendo do modelo e da série). Isso é significativamente inferior à mudança próxima de 100% esperada se o modelo estivesse rastreando a identidade.
• Mecanismo de Viés de Gênero: A sensibilidade é impulsionada quase inteiramente por trocas de gênero. Quando um personagem masculino é trocado por um feminino (ou vice-versa), a sensibilidade sobe para 20–43%. No entanto, para trocas de mesmo gênero (ex: Sheldon para Howard), a sensibilidade cai para 4–17%. Isso indica que os modelos usam pistas grosseiras de gênero, mas não conseguem distinguir indivíduos do mesmo gênero.

2. A Lacuna entre Múltipla Escolha e Aberto

• Modelos de Código Aberto: Quando forçados a gerar respostas sem opções, a acurácia cai em 18–25 pontos percentuais. Crucialmente, 0 de 151 respostas abertas de modelos de código aberto foram totalmente corretas.
• Gemini 2.5 Flash: Mostra uma lacuna menor (12,2 pontos) e alcançou 14/52 respostas abertas totalmente corretas, sugerindo um vínculo de identidade mais robusto, embora ainda imperfeito.
• Implicação: As altas pontuações de MC para modelos de código aberto são, em parte, um artefato do conjunto de opções restrito, que permite o filtro grosseiro por gênero para eliminar respostas erradas.

3. Viés de Posição e Calibração

• Viés de Posição: Modelos de código aberto exibem fortes vieses de letra específicos do modelo (ex: LLaVA prevê 'A' 70% das vezes; InternVL2 e Qwen preveem 'E' ~40% das vezes), o que é estatisticamente significativo e não relacionado ao conteúdo.
• Calibração: Os modelos raramente utilizam a opção "Eu não sei" (taxas de abstenção <12%), indicando que não conseguem identificar sua própria incerteza.

4. Refutação de Explicações Alternativas

• Contagem de Quadros: Aumentar os quadros de 16 para 32 melhorou a acurácia geral, mas não melhorou a sensibilidade à substituição de nome. O gargalo não é a quantidade de dados visuais, mas o vínculo desses dados à entidade nomeada.
• Legendas: A adição de texto de diálogo não melhorou o desempenho, descartando a falta de contexto textual como o principal modo de falha.
• Memorização: As linhas de base de apenas metadados pontuaram em níveis de acaso (~20%), descartando a memorização de títulos de programas ou roupas canônicas como motor do sucesso.
• Estrutura de Anotação: O estudo descobriu que a "dificuldade" varia por série devido à interação entre a duração do episódio e os orçamentos fixos de quadros (ex: episódios de Castle são mais longos, fazendo com que a amostragem uniforme perca mudanças de roupa com mais frequência do que em BBT). Isso é um artefato estrutural, não um problema de capacidade do modelo.

5. Acurácia Coletiva

Apesar das pontuações agregadas de ~38%, 0 de 20 episódios de BBT foram respondidos corretamente em sua totalidade por qualquer um dos três modelos de código aberto. Isso confirma que as respostas corretas são palpites dispersos, e não evidência de compreensão do nível do episódio.

Principais Contribuições

1. Protocolo de Diagnóstico: Um framework de nove condições que separa a acurácia do benchmark da capacidade de rastreamento de personagem, destacando especificamente o papel da substituição de nome e da decomposição de gênero.
2. Evidência Empírica de Falha: Demonstração de que os atuais Video-LLMs de 7–8B não rastreiam robustamente a identidade do personagem, dependendo em vez disso de pistas grosseiras de gênero e vieses de posição.
3. Lançamento de Toolkit: Os autores lançam um kit de ferramentas de diagnóstico para auditar alegações de rastreamento de personagem em futuros benchmarks de Video-LLM.
4. Implicações no Design de Benchmarks: Recomendações para relatar invariância à substituição de nome, estatísticas de anotação por episódio e a lacuna MC-OE para evitar pontuações agregadas enganosas.

Significância e Alegações

O artigo afirma que o progresso relatado em benchmarks de Video-LLM (ex: 37–38% de acurácia) é enganoso em relação à capacidade específica de rastreamento de personagem. Os autores argumentam que essas pontuações refletem a habilidade de um modelo de filtrar por gênero e adivinhar com base no viés de posição, em vez da habilidade de "assistir" e seguir um personagem específico através de um vídeo longo.

O estudo conclui que as melhorias atuais em Video-LLMs (escalonamento de características visuais, raciocínio, e comprimento de contexto) não estão abordando o gargalo fundamental: vincular a identidade visual a tokens de linguagem. Os autores enfatizam que, sem abordar esse mecanismo de vínculo, os Video-LLMs continuarão a falhar em tarefas que exigem rastreamento de identidade temporal genuíno, independentemente das pontuações agregadas nos benchmarks. O trabalho serve como um diagnóstico cautelar para o campo, instando uma mudança de métricas de acurácia agregada para avaliações sensíveis à identidade.