VQQA: An Agentic Approach for Video Evaluation and Quality Improvement

O artigo apresenta o VQQA, um framework unificado baseado em agentes que utiliza críticas de modelos de linguagem visual como gradientes semânticos para otimizar prompts de geração de vídeo de forma eficiente e interpretável, superando significativamente os métodos atuais em tarefas de texto e imagem para vídeo.

O essencial

Imagine que você pediu a um artista de IA para pintar um quadro: "Um gato vermelho correndo atrás de um rato azul em uma praça". O artista entrega a pintura, mas o gato tem seis patas, o rato é verde e a praça parece um sonho febril.

No mundo atual de vídeos gerados por IA, isso acontece o tempo todo. O modelo cria algo bonito, mas que não faz exatamente o que você pediu. O problema é que, até agora, corrigir isso era como tentar consertar um carro cego: você tinha que adivinhar o que estava errado, mudar o pedido (o "prompt") e torcer para ficar melhor na próxima tentativa.

VQQA é a solução apresentada neste artigo. Pense nele não como um simples corretor, mas como um diretor de cinema super-exigente e inteligente que trabalha ao lado do artista de IA.

Aqui está como o VQQA funciona, usando analogias do dia a dia:

1. O Problema: O "Cego" e o "Mudo"

Atualmente, os modelos de vídeo são como artistas talentosos, mas que não ouvem bem. Se você diz "corra rápido", eles podem fazer o personagem apenas "andar". Os métodos antigos de avaliação eram como um juiz que apenas dava uma nota de 0 a 10 no final, sem dizer por que a nota foi baixa. Era passivo e não ajudava a melhorar.

2. A Solução: O Trio de Agentes (O Diretor, o Crítico e o Editor)

O VQQA usa três "agentes" (programas de IA especializados) que trabalham juntos em um ciclo contínuo, como uma equipe de produção de filmes:

• O Investigador (Geração de Perguntas):
  Em vez de apenas olhar o vídeo, ele cria um interrogatório específico. Ele pergunta: "O gato é realmente vermelho?", "As patas estão se movendo de forma natural?", "O rato é azul ou verde?". Ele transforma o vídeo em uma série de perguntas de "Sim/Não" ou notas de 0 a 100.

  • Analogia: É como um detetive que não apenas olha a cena do crime, mas faz uma lista de 10 perguntas específicas para entender exatamente o que deu errado.

• O Crítico (Resposta às Perguntas):
  Este agente assiste ao vídeo e responde às perguntas do Investigador. Se o gato não é vermelho, ele dá uma nota baixa para essa pergunta específica. Ele cria um "mapa de falhas" detalhado.

  • Analogia: É o crítico de cinema que diz: "A nota para a cor do gato foi 20/100. A nota para a velocidade foi 10/100". Ele não diz apenas "está ruim", ele diz onde está ruim.

• O Editor (Refinamento do Prompt):
  Este é o mais importante. Ele pega as respostas ruins do Crítico e reescreve o pedido original para o artista de IA. Ele não muda a ideia principal (o gato vermelho), mas adiciona instruções de correção.

  • Analogia: Imagine que o artista original fez um bolo que ficou salgado. O Editor não diz "faça um bolo de chocolate". Ele diz: "O bolo anterior ficou salgado porque você usou muito sal. Na próxima vez, use apenas 1 pitada e adicione mais açúcar para equilibrar". Ele usa os erros como um "mapa" para o próximo passo.

3. O Ciclo de Melhoria (O Loop Fechado)

O processo funciona assim:

1. A IA gera um vídeo.
2. O Investigador cria perguntas sobre ele.
3. O Crítico responde e aponta os erros.
4. O Editor usa essas respostas para reescrever o pedido, tornando-o mais preciso.
5. A IA gera um novo vídeo com o novo pedido.
6. O ciclo se repete até que o vídeo esteja perfeito.

Isso é chamado de "gradiente semântico". Em vez de usar matemática complexa para ajustar os pesos do modelo (o que exige acesso interno ao código da IA), o VQQA usa a linguagem natural como uma alavanca para empurrar o vídeo na direção certa.

4. O Filtro de Segurança (Seleção Global)

Às vezes, ao tentar consertar um detalhe (como a cor do gato), o vídeo pode ficar estranho em outro aspecto (o gato começa a voar). Para evitar isso, o VQQA tem um Chefe Final (o Agente de Seleção Global).

• Analogia: É como um produtor de TV que assiste a todas as versões do vídeo geradas durante o processo. Ele compara todas elas com o pedido original do cliente e escolhe a que melhor equilibra tudo, garantindo que o vídeo final não tenha "alucinações" ou desvios do objetivo original.

Por que isso é revolucionário?

• Funciona com qualquer IA: Você não precisa ter acesso ao código interno da IA que gera o vídeo. Funciona como uma "caixa preta". Você só conversa com ela em português (ou inglês).
• Rápido e Eficiente: Em vez de gerar 100 vídeos aleatórios e escolher o melhor (o que custa muito dinheiro e tempo), o VQQA gera poucos vídeos, mas os melhora drasticamente a cada passo.
• Resultados Reais: Nos testes, o VQQA conseguiu melhorar a qualidade dos vídeos em mais de 10% em comparação com os métodos atuais, resolvendo problemas como objetos que desaparecem, cores erradas e movimentos estranhos.

Em resumo: O VQQA transforma a criação de vídeos por IA de um jogo de "tentativa e erro" cego em um processo de conversa inteligente. É como ter um assistente que não apenas vê o erro, mas sabe exatamente como explicar para a máquina como corrigi-lo, repetidamente, até que a obra-prima seja criada.

Resumo técnico

Título: VQQA: Uma Abordagem Agente para Avaliação de Vídeo e Melhoria de Qualidade

1. O Problema

Apesar dos avanços rápidos nos modelos de geração de vídeo (baseados em difusão e transformers), alinhar as saídas desses modelos com intenções humanas complexas permanece um desafio significativo. Os usuários frequentemente enfrentam erros composicionais, inconsistências temporais e "alucinações" físicas.

As abordagens existentes para otimização em tempo de execução (test-time optimization) sofrem de limitações críticas:

• Métricas Passivas: Métricas tradicionais (como FVD ou IS) avaliam distribuições visuais básicas, mas falham em capturar alinhamento composicional complexo ou fornecer feedback acionável.
• Custo Computacional: Métodos baseados em seleção (como "Best-of-N" com torneios) exigem grandes pools de candidatos e alto custo computacional.
• Acesso à Caixa Branca (White-box): Técnicas que realizam atualizações de gradiente diretamente nos pesos do modelo ou em estados ocultos exigem acesso interno ao modelo, tornando-as incompatíveis com APIs comerciais (caixa-preta).
• Falta de Iteração: A maioria dos métodos de otimização de prompts opera em "loop aberto", baseando-se em priores de nível de conjunto de dados em vez de corrigir artefatos visuais específicos da geração atual.

2. Metodologia: O Framework VQQA

O VQQA (Video Quality Question Answering) propõe um framework unificado e multi-agente que transforma a avaliação passiva em um processo de refinamento iterativo e ativo, operando inteiramente através de uma interface de linguagem natural (caixa-preta).

O sistema funciona como um ciclo fechado composto por três agentes especializados:

1. Agente de Geração de Perguntas (Question Generation - QG):

   • Analisa o vídeo gerado, o prompt original e as condições (imagens de referência, se houver).
   • Gera dinamicamente um conjunto de perguntas visuais específicas (não rubricas estáticas) em três dimensões: Alinhamento Vídeo-Prompt, Qualidade Visual e Fidelidade às Condições.
   • Adapta-se a diferentes tarefas (Text-to-Video e Image-to-Video).

2. Agente de Resposta a Perguntas (Question Answering - QA):

   • Atua como o avaliador principal, inspecionando o vídeo contra as perguntas geradas.
   • Atribui pontuações normalizadas (0-100) para cada pergunta.
   • Identifica falhas críticas e mapeia defeitos visuais específicos, criando um "mapa de diagnóstico".

3. Agente de Refinamento de Prompt (Prompt Refinement - PR):

   • Sintetiza o feedback das pontuações baixas (os pares Q-A com baixo desempenho).
   • Utiliza essas críticas como gradientes semânticos (semelhante a TextGrad ou Feedback Descent) para modificar o prompt original.
   • O objetivo é corrigir os erros localizados na próxima iteração sem alterar a intenção central do usuário.

Mecanismos de Controle:

• Seleção Global (Global Selection): Para evitar "deriva semântica" (onde o refinamento local desvia do objetivo original), um Avaliador VLM Global avalia todos os candidatos gerados contra o prompt original e seleciona o melhor resultado final.
• Critério de Convergência Dinâmica: O processo para automaticamente quando a pontuação global atinge um limiar ideal ou quando a melhoria estagna (janela de "patience"), garantindo eficiência computacional.

3. Principais Contribuições

• Paradigma de Avaliação Dinâmica: Transforma a avaliação de vídeo de uma métrica estática para um paradigma de "Perguntas e Respostas" (QA) dinâmico, gerando feedback acionável e interpretável por humanos.
• Otimização Discreta via Gradientes Semânticos: Formaliza a otimização de prompts como um problema discreto baseado em texto. Ao usar críticas de VLM como gradientes, o método corrige falhas visuais iterativamente sem precisar acessar os pesos do modelo de geração.
• Generalização e Agnosticismo de Modelo: O framework é agnóstico ao modelo de geração, funcionando tanto com modelos de pesos abertos (ex: CogVideoX) quanto proprietários (ex: Google Veo), e adapta-se a tarefas T2V e I2V sem ajuste fino específico.
• Eficiência Computacional: Diferente de métodos que exigem grandes pools de amostragem, o VQQA converge rapidamente (em poucas iterações) devido ao seu mecanismo de parada dinâmica.

4. Resultados Experimentais

O VQQA foi avaliado em benchmarks padrão (T2V-CompBench, VBench2, VBench-I2V) utilizando modelos como CogVideoX-5B e Veo 3.1.

• Desempenho em T2V-CompBench: O VQQA superou significativamente a geração "vanilla" e baselines de ponta (como VPO, Best-of-N com VQAScore e VideoScore2).
  • Melhoria absoluta de +11,57% sobre a geração padrão.
  • Supera o baseline mais forte em +4,76%.
  • Ganhos notáveis em consistência de atributos (+22,94%), compreensão espacial (+14,31%) e numeracia (+13,85%).
• Desempenho em VBench2: Alcançou a maior pontuação total (50,41% com Gemini-3-Pro), representando um aumento de +8,43% sobre a linha de base.
• Desempenho em VBench-I2V: Demonstrou versatilidade na tarefa de Imagem-para-Vídeo, alcançando a melhor performance em todos os eixos avaliados, com uma média de apenas 1,6 iterações para convergência.
• Eficiência de Inferência: O custo de inferência do VQQA é comparável a uma estratégia "Best-of-5" (5 candidatos), mas com qualidade superior, pois o sistema converge em média em ~1,25 iterações de otimização.

5. Significância e Impacto

O VQQA representa um avanço crucial na direção de IA generativa controlável e interpretável.

• Solução para Caixas-Pretas: Permite a otimização de ponta a ponta de modelos de vídeo comerciais sem necessidade de acesso aos seus pesos internos, democratizando o refinamento de qualidade.
• Feedback Acionável: Ao invés de apenas classificar vídeos, o sistema diagnostica por que um vídeo falhou e como corrigi-lo via linguagem natural.
• Escalabilidade: Oferece uma abordagem escalável e agnóstica para alinhar modelos generativos complexos com intenções humanas, reduzindo a necessidade de engenharia de prompts manual e tentativa-e-erro.

Em suma, o VQQA estabelece um novo padrão para otimização em tempo de execução em geração de vídeo, substituindo a busca estocástica ineficiente por um ciclo de feedback inteligente e direcionado.