Score2Instruct: Scaling Up Video Quality-Centric Instructions via Automated Dimension Scoring

1. O Problema

A Avaliação de Qualidade de Vídeo (VQA - Video Quality Assessment) tradicional foca na geração de uma pontuação numérica única para representar a fidelidade visual geral. No entanto, essa abordagem possui limitações críticas:

• Falta de Explicabilidade: Uma pontuação única não descreve as dimensões complexas e inter-relacionadas da qualidade (ex: ruído, desfoque de movimento, flicker), limitando sua aplicabilidade prática.
• Escalabilidade de Dados: Métodos anteriores baseados em Instruction Tuning (ajuste fino por instruções) para Modelos Multimodais Grandes (LMMs) dependem pesadamente de anotações humanas subjetivas (custosas e lentas) e de sistemas proprietários (como APIs do GPT-4), o que impede a criação de conjuntos de dados em grande escala.
• Foco em Imagens: A maioria das pesquisas anteriores concentra-se na qualidade de imagens (IQA), negligenciando fatores temporais específicos de vídeos.
• Capacidade Dual: Os modelos existentes geralmente não conseguem realizar simultaneamente a pontuação precisa da qualidade e a geração de justificativas linguísticas detalhadas.

2. Metodologia

Os autores propõem um pipeline automatizado chamado SIG (Score-based Instruction Generation) para criar o dataset Score2Instruct (S2I) e uma estratégia de ajuste fino progressiva.

A. Pipeline SIG (Geração de Instruções Baseada em Pontuação)

O SIG divide a geração de dados em três etapas principais, eliminando a dependência de anotações humanas diretas:

1. Coleta de Fontes de Vídeo:
   • Combina vídeos de bancos de dados de VQA (com anotações ricas em dimensões, como o Maxwell) e bancos de dados gerais de vídeo não rotulados.
   • Utiliza um avaliador de qualidade leve para gerar "rótulos ruidosos" e realizar uma amostragem uniforme, garantindo uma distribuição equilibrada de qualidade (104k vídeos no total).
2. Avaliação Automatizada de Dimensões de Qualidade:
   • Em vez de anotar manualmente, o sistema utiliza modelos especialistas (implantados em uma plataforma de processamento de vídeo) para pontuar 14 dimensões de qualidade distintas (ex: foco, nitidez, ruído, exposição, artefatos de compressão, movimento, cor, etc.).
   • As pontuações contínuas (0-1) são mapeadas para níveis de texto definidos pelo padrão ITU (Ruim, Pobre, Justo, Bom, Excelente), convertendo dados numéricos em instruções linguísticas.
3. Agregação Hierárquica de Cadeia de Pensamento (CoT):
   • Para simular o raciocínio do Sistema Visual Humano (HVS), as pontuações das 14 dimensões são agrupadas em categorias de Distorção e Estética.
   • Um processo de CoT hierárquico agrega essas avaliações parciais para gerar uma justificação de qualidade global.
   • Um LLM (Vicuna) é usado para reescrever e resumir essas justificações, incorporando legendas de alto nível do vídeo, mantendo a precisão das classificações originais através de prompts rigorosos.
   • O LLM expande as justificações em 216k pares de Pergunta-Resposta (QA) em formatos "Sim/Não" e "O que/Como".

B. Estratégia de Ajuste Fino Progressivo

Para treinar os LMMs de vídeo, os autores propõem duas etapas:

• Etapa I (Pré-treinamento): Foca em aprender a pontuação de qualidade. O modelo é treinado para prever os níveis de texto definidos para cada dimensão específica, congelando o LLM e treinando apenas o codificador visual e o projetor. Isso estabelece uma base sólida de percepção de qualidade.
• Etapa II (Instruction Tuning): Foca na justificação e raciocínio. O modelo é treinado com os pares de QA e justificações completas do S2I, utilizando LoRA (Low-Rank Adaptation) para eficiência, permitindo que o modelo aprenda a correlacionar as dimensões com a qualidade geral e a gerar explicações coerentes.

C. Benchmark S2I-Bench

Foi criado um novo benchmark com 400 perguntas abertas para avaliar a capacidade de justificação. A avaliação utiliza métricas VCG (Video ChatGPT) adaptadas:

• CI: Corretude da Informação.
• DO: Orientação a Detalhes.
• CU: Compreensão Contextual.
• TU: Compreensão Temporal.

3. Principais Contribuições

1. Pipeline SIG: Um método escalável e eficiente para gerar instruções centradas na qualidade de vídeo sem anotações humanas massivas ou APIs proprietárias.
2. Dataset Score2Instruct (S2I): Um conjunto de dados com mais de 320k pares de instrução-resposta (104k justificações detalhadas + 216k pares QA), cobrindo múltiplas dimensões de qualidade e distribuição equilibrada.
3. S2I-Bench: Um benchmark de avaliação abrangente com 400 perguntas abertas e métricas específicas para vídeo (incluindo compreensão temporal).
4. Estratégia de Ajuste Progressivo: Uma abordagem de treinamento em duas etapas que permite aos modelos dominar simultaneamente a pontuação precisa e a geração de justificações racionais.

4. Resultados Experimentais

Os experimentos foram conduzidos em seis modelos LMMs de vídeo de código aberto (ex: LLaVA-OneVision, InternVL-Chat, VideoLLaMA3) e comparados com modelos proprietários (GPT-4o, Gemini).

• Justificação de Qualidade (S2I-Bench): Os modelos ajustados com S2I mostraram melhorias significativas em todas as métricas VCG. O LLaVA-OneVision aumentou sua pontuação total em +1.92 pontos, com ganhos notáveis em Compreensão Temporal (TU) e Corretude (CI), superando modelos fechados como o GPT-4o em tarefas de justificação.
• Pontuação de Qualidade (VQA): Houve melhorias consistentes nos coeficientes de correlação (SRCC e PLCC) em cinco benchmarks padrão (Maxwell, LSVQ, KoNViD-1k, etc.). O modelo ajustado alcançou correlações superiores a 0.80 no dataset Maxwell, demonstrando alta precisão mesmo sem supervisão direta de pontuação numérica durante o treino.
• Análises de Ablação:
  • A combinação de dados rotulados (Maxwell) e não rotulados foi crucial.
  • A agregação hierárquica de CoT e o uso de legendas de alto nível foram essenciais para a qualidade das justificações.
  • A etapa de pré-treinamento (Etapa I) foi vital para a precisão da pontuação, melhorando a SRCC em mais de 15% em alguns casos.

5. Significância

O trabalho Score2Instruct representa um avanço fundamental na área de VQA ao:

• Democratizar o Treinamento: Elimina a barreira de entrada de custos de anotação humana e dependência de APIs caras, permitindo a criação de datasets massivos e diversificados.
• Unificar Pontuação e Explicação: Demonstra que é possível treinar modelos que não apenas "dizem" se um vídeo é bom ou ruim, mas "explicam" o porquê com base em dimensões técnicas específicas (foco, ruído, etc.).
• Avançar a Compreensão Temporal: Ao focar em vídeo e não apenas em imagens, o método melhora a capacidade dos modelos de entender distorções temporais (como flicker e desfoque de movimento), um desafio histórico para LMMs.
• Estabelecer Novos Padrões: O S2I-Bench oferece uma nova base para avaliar a capacidade de raciocínio de qualidade em modelos multimodais, indo além da simples precisão de pontuação.

Em resumo, o paper propõe uma mudança de paradigma de "anotação humana cara" para "geração automatizada escalável", resultando em modelos de IA mais robustos, explicáveis e precisos para a avaliação de qualidade de vídeo.