Resumo Técnico: VCIFBench

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) tenham avançado significativamente na compreensão de vídeo, os benchmarks existentes dependem predominantemente de prompts simples que avaliam o desempenho em nível de tarefa. Esses benchmarks oferecem evidências limitadas sobre se os modelos conseguem satisfazer restrições de saída explícitas em configurações complexas fundamentadas em vídeo. Em aplicações práticas, como fluxos de trabalho de agentes ou uso de ferramentas, os modelos devem não apenas compreender o conteúdo do vídeo, mas também aderir a requisitos rigorosos em relação ao conteúdo, formato, estilo e estrutura da saída. Os atuais benchmarks de seguimento de instruções multimodais são frequentemente centrados em imagens ou limitados a tarefas de vídeo estreitas (ex: legendagem), falhando em capturar o amplo espaço de design que envolve predição, raciocínio temporal e geração estruturada. Além disso, a avaliação continua sendo um desafio: verificações baseadas em regras lidam com restrições programáveis, mas perdem nuances semânticas, enquanto juízes baseados em LLM introduzem vieses. Há uma necessidade de um benchmark que combine diversidade de cobertura de restrições com uma verificação híbrida confiável.

Metodologia

1. Construção do Benchmark (VCIFBench)

Os autores introduzem o VCIFBench, um benchmark projetado para avaliar o seguimento de instruções complexas na compreensão de vídeo.

• Fontes de Dados: O benchmark utiliza quatro conjuntos de dados de vídeo complementares: TempCompass (mudanças temporais/de estado), MMWorld (cenários científicos/gerais), NExT-QA (raciocínio causal/temporal) e YouCook2 (culinária procedural).
• Geração de Instruções: As instruções são construídas usando duas fontes complementares:
  • Prompts adaptados ao benchmark: Reescrevendo tarefas existentes de estilo QA em tarefas de vídeo de código aberto combinadas com restrições.
  • Prompts diretos fundamentados em vídeo: Gerando tarefas baseadas em evidências observáveis de vídeo para vídeos não anotados.
  • Um modelo gerador (GPT-5.2) é usado para compor e refinar instruções, com verificação adicional pelo Gemini-2.5 Pro para garantir que as restrições de conteúdo sejam suportadas por evidências visíveis no vídeo.
• Taxonomia: O benchmark cobre 20 tipos de tarefas (percepção, raciocínio, geração expressiva) e 40 tipos de restrições organizados em quatro dimensões:
  • Formato: Serialização, comprimento, padrões fixos (ex: JSON, CSV).
  • Conteúdo: Seleção, inclusão, exclusão, ênfase de informações suportadas pelo vídeo.
  • Estilo: Tom, persona, audiência, retórica.
  • Estrutura: Ordenação cronológica, causal, hierárquica.
• Composição do Conjunto de Dados: O lançamento inclui:
  • 306 instruções de teste satisfatórias.
  • Conjunto de preferência DPO de 540 pares: Respostas "Escolhidas" são verificadas quanto à satisfação da restrição; respostas "Rejeitadas" são geradas removendo restrições ou corrompendo restrições específicas enquanto preservam o restante.
  • Subconjunto de diagnóstico de conflito de 30 itens: Instruções intencionalmente insatisfatórias (ex: exigir e proibir a mesma frase) para testar a consciência de conflito.

2. Pipeline de Avaliação Híbrida

Para abordar as limitações de uma avaliação puramente baseada em regras ou em LLM, o VCIFBench emprega um pipeline de verificação de três estágios:

1. Verificação Baseada em Regras: Usada para restrições determinísticas (ex: validade de JSON, formas superficiais exatas).
2. Verificação Híbrida: Para restrições que exigem extração de parâmetros (ex: contagem de palavras), um modelo juiz extrai os parâmetros alvo da instrução, seguido por um verificador executável.
3. Julgamento Baseado em LLM: Usado para restrições semânticas, de discurso ou fundamentadas em vídeo. Requisitos de alto nível são decompostos em sub-restrições direcionadas (ex: decompondo "sumarização" em sub-verificações fundamentadas em evidências) para permitir um diagnóstico mais fino.

3. Métricas

• Taxa de Passagem de Restrição (CPR): A taxa média na qual as restrições individuais são satisfeitas.
• Taxa de Passagem de Instrução (IPR): A taxa na qual todas as restrições em uma única instrução são satisfeitas conjuntamente.
• Severidade de Falha: Mede o número de restrições violadas por instrução falha e a taxa de "quase acerto" (falhas com exatamente uma violação).
• Diagnóstico de Conflito: Avalia a capacidade do modelo de detectar instruções inconsistentes, localizar o conflço e evitar gerar uma resposta normal (conformidade cega).

Resultados Principais

Experimentos foram conduzidos em 10 MLLMs (incluindo modelos proprietários como Gemini-3-Pro, GPT-5.4 e modelos de código aberto como Qwen3-VL, InternVL e MiniCPM).

• A Satisfação Conjunta de Restrições é Desafiadora: Mesmo modelos proprietários de alto nível alcançam um IPR de apenas ~52%, apesar de um CPR de ~86%. Esse gap indica que satisfazer restrições individuais não garante a satisfação conjunta; erros se acumulam quando múltiplas restrições são combinadas.
• Disparidades de Desempenho: Modelos de código aberto mostram um IPR significativamente menor (24–29%) comparado aos modelos proprietários, embora seu CPR seja comparável (69–74%). Isso sugere que os modelos de código aberto lutam com a estabilidade necessária para compor múltiplas restrições.
• Modos de Falha:
  • Modelos mais fortes (Gemini, GPT) tendem a ter falhas de "quase acerto" (violando 1–1.5 restrições em média), frequentemente envolvendo erros de limite (ex: contagem de palavras, falta de um detalhe visual).
  • Modelos mais fracos exibem "falhas em cascata" com maior contagem de violações e colapsos globais (ex: mistura de idiomas, ignorar ramos de seleção).
• Interações de Restrições:
  • Restrições de Conteúdo: Permanecem como a dimensão mais fraca (~70% CPR) mesmo para modelos fortes.
  • Sensibilidade de Interação: Restrições como orçamentos de comprimento/contagem tornam-se frágeis quando pareadas com requisitos de conteúdo ou estrutura. Modelos frequentemente excedem orçamentos para incluir evidências ou omitem âncoras necessárias para permanecer dentro dos limites.
  • Orçamento Visual: Aumentar o input visual (resolução/taxa de quadros) não melhora monotonicamente o desempenho. Para alguns modelos, orçamentos maiores levam à verbosidade que viola restrições de comprimento ou formato.
• Consciência de Conflito: Modelos de topo geralmente detectam e lidam com instruções conflitantes corretamente. No entanto, vários modelos de código aberto exibem alta "conformidade cega", gerando respostas para instruções impossíveis em vez de identificar a contradição.
• Treinamento DPO: O ajuste fino do Qwen3-VL-8B no conjunto de dados DPO do VCIFBench melhorou o IPR de 27.12% para 33.01% e o CPR de 74.94% para 78.63%, demonstrando que dados derivados deste pipeline podem aumentar as capacidades de seguimento de instrução.

Significância e Alegações

O artigo alega que o VCIFBench serve como um teste de estresse controlado para o seguimento de instruções de vídeo ricas em restrições. Sua principal significância reside em:

1. Expor o Gap: Destaca que os atuais MLLMs lutam para seguir de forma confiável instruções complexas com múltiplas restrições em ambientes de vídeo, um requisito crítico para aplicações agênticas práticas.
2. Contribuição Metodológica: Introduz um pipeline de avaliação híbrido que equilibra a confiabilidade das verificações baseadas em regras com a flexibilidade do julgamento baseado em LLM, abordando especificamente a dificuldade de verificar restrições semânticas fundamentadas em vídeo.
3. Utilidade Diagnóstica: O benchmark fornece insights granulares sobre modos de falha (ex: efeitos de interação entre restrições, tratamento de conflitos) que não são visíveis em benchmarks padrão de conclusão de tarefa.
4. Potencial de Treinamento: Demonstra que a otimização de preferência (DPO) usando dados construídos via este pipeline pode melhorar mensuravelmente o desempenho do modelo em instruções complexas.

Os autores mantêm uma postura modesta, observando que o VCIFBench não é uma medida isolada de compreensão geral de vídeo ou segurança, mas sim uma avaliação específica de satisfação de restrições explícitas. Eles reconhecem limitações, incluindo o foco atual em inglês e a variabilidade inerente do julgamento baseado em LLM para restrições semânticas.