Resumo Técnico: Curvas Estáveis, Itens Instáveis: Heterogeneidade de Escalonamento ao Nível do Item em Video LLMs

1. Declaração do Problema

As práticas de avaliação atuais para Modelos de Linguagem de Vídeo (Video LLMs) dependem fortemente de curvas de escalonamento agregadas, que plotam o desempenho médio contra o aumento dos orçamentos visuais (por exemplo, contagem de quadros ou resolução). Essas curvas tipicamente parecem suaves ou saturadas, levando à interpretação de que o aumento do input visual é ou benéfico ou meramente redundante.

Os autores argumentam que essa visão agregada oculta uma instabilidade significativa ao nível do item. Em qualquer transição de orçamento, um modelo pode mudar de incorreto para correto em alguns itens enquanto, simultaneamente, muda de correto para incorreto em outros. Esses fluxos opostos se cancelam na média, criando uma curva agregada "estável" que mascara um churn (oscilação) substancial ao nível do item. Esse fenômeno, denominado confusão visual, sugere que nenhum orçamento visual único é ideal para todos os itens, e que orçamentos mais altos podem prejudicar ativamente o desempenho em entradas específicas.

2. Metodologia

O artigo introduz uma auditoria de trajetória de escalonamento pareada para expor essas dinâmicas ocultas.

• Trajetórias de Itens Pareados: Em vez de relatar um único escore por orçamento, os autores rastreiam a trajetória de resposta de um modelo congelado no mesmo item através de uma grade controlada de configurações visuais (variando contagem de quadros, resolução, política de amostragem e alocação temporal-espacial).
• Métricas de Grade Correspondente (Matched-Grid): Para garantir uma comparação justa entre modelos, o estudo utiliza grades correspondentes (ex: {texto, 16f, 32f, 64f}) que respeitam os tetos de contexto arquitetônico de diferentes modelos.
• Principais Métricas:
  • Oracle Headroom (Margem de Manobra do Oráculo): A diferença entre a melhor precisão fixa (usando um único orçamento para todos os itens) e a precisão do oráculo ao nível do item (a precisão máxima alcançável se o orçamento ideal fosse selecionado para cada item individualmente).
  • Confusão Visual: A taxa de itens que estão corretos em uma configuração de menor custo, mas incorretos em uma de maior custo.
  • Sobrescrita de Texto (Text Overwrite): Um subconjunto específico de confusão onde um item correto no modo apenas-texto torna-se incorreto quando os inputs visuais são adicionados.
  • Churn: A soma dos itens mudando de errado-para-correto e de correto-para-errado, distinta da mudança líquida agregada.
• Escopo Experimental: O estudo abrange cinco Video LLMs abertos congelados (Qwen2.5-VL-7B, Qwen3-VL-8B, InternVL3-8B, InternVL3.5-8B, LLaVA-NeXT-Video-7B) através de três famílias de arquitetura. As avaliações abrangem quatro divisões de benchmarks de múltipla escolha (Video-MME v1/v2, MLVU), QA de questões abertas/sumarização (MLVU) e geração de diálogo controlada (AVSD).
• Intervenções: Os autores testam a robustez entre pipelines de vídeo bruto vs. cacheados, várias políticas de amostragem (uniforme, aleatória, densa-inicial) e alocações de iso-computação (trocas entre contagem de quadros e resolução espacial).

3. Resultados Principais

Estabilidade Agregada vs. Instabilidade de Itens

• Efeito de Cancelamento: No split curto do Video-MME v1, aumentar os quadros de 128 para 256 resultou em uma mudança líquida de precisão de apenas -0,7 pontos. No entanto, isso mascarou 23 itens tornando-se errados e 18 tornando-se corretos, representando uma mudança de estado de 5,2% na população do benchmark.
• Oracle Headroom: Entre quatro modelos e quatro divisões de MCQA, o oracle headroom ao nível do item varia de 8,8 a 18,9 pontos de precisão. Isso indica uma lacuna significativa entre o deployment atual de orçamento fixo e o desempenho máximo teórico alcançável com orçamento adaptativo.
• Taxas de Confusão Visual: Entre 12,5% e 25,5% dos itens exibem confusão visual (correto com orçamento menor, errado com orçamento maior).
• Sobrescrita de Texto: Uma fração não negligenciável de itens (5,0–7,3% do total, ou 13,2–17,9% dos itens corretos via texto) são respondidos corretamente apenas via texto, mas tornam-se incorretos quando os inputs visuais são introduzidos. Este efeito é particularmente forte em "Problemas de Contagem".

Generalização Através de Tarefas e Protocolos

• Geração de Texto Aberto: O fenômeno persiste além da múltipla escolha. Nas tarefas de geração do MLVU, os gaps de Token-F1 do oráculo variam de 2,7 a 3,7 pontos. Na geração de diálogo do AVSD, os gaps variam de 3,8 a 4,8 pontos. Mesmo quando a qualidade média melhora com o orçamento, uma fração significativa de itens sofre regressões de pontuação.
• Robustez: A heterogeneidade persiste através de diferentes resoluções, políticas de amostragem e pipelines de execução (bruto vs. cacheado). Embora o conjunto exato de itens confusos varie ligeiramente por protocolo, a estrutura populacional de cancelamento e complementaridade permanece consistente.
• Heterogeneidade de Iso-Computação: Ao manter a contagem total de pixels constante (ex: ~9,7M pixels), diferentes alocações temporal-espaciais (ex: 32 quadros em alta resolução vs. 128 quadros em baixa resolução) são ideais para diferentes subconjuntos de itens. Não existe uma única alocação que seja universalmente a melhor.

Implicações Operacionais

• Cascata de Confiança: Os autores demonstram um caso de uso operacional: uma "cascata de confiança" que começa com um orçamento baixo (ex: 16 quadros) e escala apenas se a confiança do modelo for baixa. Esta abordagem iguala a precisão de um orçamento fixo de 128 quadros, enquanto reduz o custo médio de quadros compartilhados em 31,7% e a latência de tempo de execução (wall-clock) em 28,2% (com compartilhamento de quadros).
• Sensibilidade de Amostragem: Uma intervenção de amostragem controlada recuperou 29,0% das regressões terminais (itens que estavam errados em um orçamento alto, mas poderiam ser corrigidos alterando a política de amostragem), sugerindo que a composição da evidência é um fator controlável nesses fracassos.

4. Contribuições

1. Protocolo de Avaliação: Formulação do escalonamento de Video LLM como trajetórias de resposta de itens pareados, fornecendo métricas de grade correspondente que expõem o cancelamento bidirecional oculto por curvas agregadas.
2. Cobertura Empírica: Estabelecimento de ampla evidência empírica através de cinco modelos, três famílias de arquitetura e diversos formatos de tarefa (MCQA, geração, diálogo), demonstrando que a complementaridade ao nível do item é um fenômeno consistente em nível populacional.
3. Independência de Protocolo: Separação da estrutura robusta de nível populacional através de análise de amostragem total, resolução e análise de bruto/cache.
4. Artefato de Auditoria: Lançamento de um dataset abrangente contendo ~0,13M de outputs de modelos por item, anotações derivadas (trajetórias, tags de confusão), proveniência de protocolo e código de análise.

5. Significância e Alegações

O artigo afirma que a visão padrão do escalonamento de Video LLM é incompleta. As curvas agregadas "suaves" frequentemente citadas na literatura são um artefato estatístico de transições de itens opostas.

• Mudança de Medição: Os autores defendem uma mudança de relatar apenas médias agregadas para relatar fluxos de resgate e de dano junto com a média. Isso é essencial para interpretar mudanças líquidas próximas de zero.
• Inferência Adaptativa: A existência de significativo oracle headroom e ótimos específicos por item sugere que a inferência adaptativa (alocando computação dinamicamente por item) é uma estratégia viável e necessária para o deployment eficiente de Video LLMs, em vez de simplesmente aumentar o orçamento para todos os inputs.
• Design de Benchmark: As descobertas destacam a necessidade de comparações de grade correspondente para isolar diferenças comportamentais de tetos de contexto arquitetônico e sugerem que designs de benchmarks devem considerar atalhos de sobrescrita de texto e vieses de prior de letras.

O trabalho não afirma resolver as causas subjacentes da confusão visual (que permanecem heterogêneas e não totalmente explicadas por estatísticas de baixo nível simples), mas fornece o framework de medição e os dados necessários para auditar esses comportamentos e desenvolver estratégias de mitigação direcionadas.