DPC-VQA: Decoupling Quality Perception and Residual Calibration for Video Quality Assessment

Resumo Técnico: DPC-VQA

Definição do Problema
Modelos de Linguagem de Grande Escala Multimodais (MLLMs) demonstraram capacidades promissoras em Avaliação de Qualidade de Vídeo (VQA), mas sua implementação prática enfrenta obstáculos significativos. Adaptar esses modelos de larga escala para novos domínios de vídeo ou protocolos de pontuação normalmente requer o retreinamento end-to-end caro e anotações de larga escala de Pontuação de Opinião Média (MOS), que são custosas de coletar devido à necessidade de avaliação subjetiva humana repetida. Os métodos atuais de VQA baseados em MLLM frequentemente lutam com a adaptação entre conjuntos de dados, pois exigem ajuste fino (fine-tuning) específico para cada cenário ou falham em alinhar suas saídas com as escalas MOS específicas dos benchmarks alvo. Além que, as abordagens atuais de VQA de poucos disparos (few-shot) frequentemente confundem o aprendizado de representação com a calibração específica do conjunto de dados, limitando sua eficiência de generalização.

Metodologia: DPC-VQA
Os autores propõem o DPC-VQA (Desacoplamento de Percepção e Calibração para Avaliação de Qualidade de Vídeo), um framework que separa a tarefa de percepção de qualidade da calibração de pontuação. A hipótese central é que um MLLM pré-treinado já codifica um útil prior perceptivo genérico; o desafio não reside em reaprender a percepção de qualidade, mas em calibrar eficientemente este prior para o espaço MOS alvo.

O framework consiste em dois componentes principais:

1. Percepção de Qualidade Congelada (Prior Base):

   • Um MLLM congelado (especificamente o Qwen3-VL-8B nos experimentos) processa quadros de vídeo de entrada junto com um prompt de qualidade fixo.
   • O modelo produz uma pontuação de qualidade base ($q_b$) derivada de uma distribuição de "verbalizador de qualidade" (por exemplo, mapeando tokens como "ruim", "pobre", "regular", "bom", "excelente" para âncoras escalares).
   • O modelo também produz uma pontuação de confiança ($u_b$) baseada na entropia da distribuição do verbalizador e nos estados ocultos visuais da última camada ($H_{vis}$).
   • Crucialmente, os parâmetros do MLLM permanecem congelados durante o treinamento, preservando o conhecimento perceptivo pré-treinado.

2. Calibração Residual Leve:

   • Um ramo treinável prevê uma correção residual ($\Delta$) para ajustar a pontuação base ao espaço MOS alvo.
   • Recursos (Features): O ramo de calibração utiliza os tokens visuais congelados ($H_{vis}$), recursos auxiliares de vídeo ($H_{aux}$) extraídos de um codificador pré-treinado separado (SlowFast), a pontuação base ($q_b$) e a pontuação de confiança ($u_b$).
   • Mecanismo:
     • Os recursos são projetados em um espaço latente compartilhado e concatenados em um banco de tokens aumentado.
     • Consultas de calibração (calibration queries) treináveis realizam atenção cruzada (cross-attention) neste banco de tokens para extrair tokens conscientes da calibração.
     • Estes tokens são modulados pela condição base ($q_b, u_b$) via redimensionamento e deslocamento (rescaling e shifting) por característica.
     • Cada token modulado prevê uma proposta residual local (magnitude e direção), que são então agregadas via ponderação de importância para produzir o residual final $\Delta$.
   • Predição Final: A pontuação prevista é $\hat{y} = q_b + \Delta$.

Objetivo de Treinamento
O treinamento é restrito ao ramo de calibração leve. A função objetivo combina:

• Perda Smooth L1: Supervisionando a predição final contra o MOS real (ground-truth).
• Regularização Residual: Um termo que penaliza a magnitude do residual ($\sum |\Delta|$) para garantir que a correção permaneça um ajuste limitado em vez de uma reestimativa completa, estabilizando o treinamento e preservando o prior.

Principais Contribuições

1. Framework Desacoplado: A proposta do DPC-VQA, que desacopla a percepção de qualidade (MLLM congelado) da calibração de pontuação (ramo leve), evitando o retreinamento end-to-end custoso.
2. Mecanismo de Calibração Residual: Uma estratégia inovadora de estimativa de residual por token e agregação adaptativa que condiciona as correções às condições de pontuação e confiança, permitindo uma adaptação refinada.
3. Eficiência: O método utiliza menos de 2% dos parâmetros treináveis em comparação com os métodos de ajuste fino total de VQA baseados em MLLM e permanece eficaz com apenas 20% das etiquetas MOS.

Resultados Experimentais
Os autores avaliaram o DPC-VQA em cinco benchmarks: três conjuntos de dados de Conteúdo Gerado pelo Usuário (UGC) (KoNViD-1k, YouTube-UGC, LIVE-VQC) e dois conjuntos de dados de Conteúdo Gerado por IA (AIGC) (T2VQA, Human-AGVQA).

• Desempenho Few-Shot: Sob uma divisão de 5-fold few-shot (usando apenas 20% dos dados para treinamento), o DPC-VQA alcançou o melhor desempenho entre todos os baselines de few-shot em todos os cinco conjuntos de dados.
  • Nos conjuntos de dados UGC, superou o melhor baseline de few-shot com ganhos de SRCC de 0.032, 0.036 e 0.026.
  • Nos conjuntos de dados AIGC, mostrou melhorias significativas sobre os baselines de few-shot (ganhos de SRCC de 0.106 e 0.114), permanecendo competitivo com métodos dedicados supervisionados de AIGC, apesar de usar o mínimo de dados rotulados.
• Estudos de Ablação:
  • Residual vs. Regressão Direta: A formulação residual superou a regressão direta e a regressão condicionada à pontuação, confirmando que aprender uma correção é mais eficaz do que reaprender a pontuação.
  • Fontes de Informação: A combinação de tokens de MLLM congelados, recursos auxiliares, pontuação base e confiança rendeu os melhores resultados, com o MLLM congelado servindo como a principal base perceptiva.
  • Agregação de Consulta (Query Aggregation): Consultas de calibração treináveis superaram o pooling médio e a agregação de auto-atenção.
• Eficiência de Dados: O método manteve desempenho superior mesmo com razões de treinamento tão baixas quanto 10–20%, demonstrando forte robustez em regimes de poucos dados.
• Eficiência de Parâmetros: A contagem de parâmetros treináveis foi de aproximadamente 155M (1,9% do modelo completo de 8.2B), reduzindo significativamente os custos de otimização.

Significância e Alegações
O artigo alega que o principal gargalo na adaptação de MLLMs para VQA não é a falta de capacidade perceptiva no modelo pré-treinado, mas a dificuldade de alinhar sua saída com protocolos de pontuação específicos. Ao tratar o MLLM como um prior perceptivo fixo e formular a adaptação como uma tarefa de calibração residual leve, o DPC-VQA oferece um caminho mais prático e escalável para a implantação de VQA. Os autores argumentam que esta abordagem desloca o foco do reaprendizado específico de cenários para a calibração eficiente, tornando a VQA de alta qualidade viável em cenários onde as anotações MOS são escassas ou caras. Os resultados sugerem que sistemas de VQA futuros podem se beneficiar do aproveitamento de priors perceptivos congelados em vez de depender exclusivamente de treinamento end-to-end para cada novo domínio.