POVQA: Preference-Optimized Video Question Answering with Rationales for Data Efficiency

Resumo Técnico: POVQA

1. O Problema

A Resposta a Perguntas sobre Vídeo (VQA) em filmes e episódios de TV exige um raciocínio multimodal estruturado que integre evidências visuais, diálogo e contexto temporal distribuído ao longo de longas durações.

• Desafios Atuais: Os Grandes Modelos de Linguagem e Visão (LVLMs) modernos enfrentam limitações severas devido às janelas de contexto e restrições computacionais. Um clipe de vídeo de alguns minutos contém milhares de quadros; processar todos é inviável, mas a seleção agressiva de quadros (amostragem) pode eliminar evidências cruciais para perguntas causais ou temporais.
• Dilema Central: Existe um tradeoff fundamental entre a cobertura temporal densa e o orçamento de tokens (limite de entrada do modelo).

2. Metodologia (POVQA)

Os autores propõem o POVQA, um pipeline que prioriza a eficiência no tempo de inferência através de compressão de evidências e alinhamento de preferências.

• Compressão Temporal (Pooling):

  • Em vez de selecionar quadros isolados, o vídeo é comprimido em imagens agrupadas (pooled images) a 1 quadro por segundo (1 fps).
  • Cada imagem agrupada resume um segundo inteiro de vídeo utilizando técnicas como:
    • Média Ponderada (Weighted Average).
    • Média Ponderada Exponencial (WAE): viés para quadros recentes.
    • Média Ponderada em Ramp (WAR): viés linear para quadros recentes.
    • Blend-Blur com Último Quadro (BBLF): mistura do último quadro com uma versão borrada da média.
  • Isso reduz a sequência visual de $O(\text{quadros})$ para $O(\text{segundos})$, mantendo uma cobertura temporal densa sob um orçamento fixo de tokens.

• Interleaving (Intercalação):

  • As imagens agrupadas são intercaladas com o texto das legendas (subtítulos) alinhadas temporalmente.
  • O modelo recebe um prompt contendo a pergunta, o contexto intercalado (texto + imagem) e uma instrução para gerar uma Racional (explicação baseada em evidências) e a Resposta Final.

• Treinamento e Otimização:

  • Base: Utiliza o modelo Qwen2.5-VL-7B (pesos abertos).
  • SFT (Supervised Fine-Tuning): O modelo é ajustado com QLoRA para gerar pares de (Racional + Resposta). O uso de rationales explícitos força o modelo a basear suas respostas em evidências visuais e textuais.
  • DPO (Direct Preference Optimization): Opcionalmente aplicado após o SFT para alinhar o modelo a preferências humanas (escolhendo entre respostas "boas" e "ruins" baseadas em critérios como contradição, violação de formato ou uso de conhecimento externo).

3. Contribuições Principais

1. Pipeline de Raciocínio Multimodal de Longo Contexto: Uma abordagem que comprime vídeos longos em uma sequência fixa de imagens agrupadas temporalmente (1 fps), permitindo cobertura densa dentro de limites de tokens.
2. Configuração SFT com Rationales e DPO: Uma análise detalhada de como o ajuste fino supervisionado e a otimização de preferências funcionam em cenários de poucos dados, identificando onde o DPO ajuda ou prejudica.
3. Dataset ReasonVQA: Um conjunto de dados piloto e diagnóstico contendo 12 filmes e 239 triplets (Pergunta-Resposta-Racional) anotados por humanos. É projetado para análise controlada de raciocínio multimodal sob compressão, incluindo análise de falhas.

4. Resultados Experimentais

Os experimentos foram conduzidos no ReasonVQA e transferidos zero-shot para o dataset TVQA.

• Desempenho no ReasonVQA:

  • Linha de Base (Apenas Pooling): O desempenho inicial foi baixo (F1 de 0.212).
  • Com SFT: Houve uma melhoria drástica. O F1 saltou para 0.543, BLEU-4 para 0.291 e ROUGE-L para 0.528.
  • Com SFT + DPO: O DPO mostrou resultados mistos. Em algumas configurações, melhorou a consistência das rationales, mas não garantiu ganhos uniformes nas métricas de sobreposição lexical (F1/BLEU) em comparação ao SFT puro. Isso sugere que, em conjuntos de dados pequenos, o DPO pode introduzir instabilidade ou compensar métricas de estilo em detrimento da precisão lexical.
  • Estratégia de Pooling: A estratégia BBLF (Blend-Blur Last Frame) mostrou-se a mais robusta e consistente após o ajuste fino.

• Transferência Zero-Shot para TVQA:

  • O modelo POVQA (SFT + DPO) alcançou 64.7% de precisão no TVQA sem treinamento específico nesse dataset.
  • Curiosamente, a configuração "apenas pooling" (sem SFT/DPO) alcançou 69.7%, sugerindo que o pooling temporal é o principal motor da transferência, enquanto o ajuste fino de preferências (DPO) pode precisar de mais dados ou pares de preferência mais alinhados ao domínio para ser eficaz consistentemente.

• Análise de Falhas:

  • O método falha principalmente em ações micro-temporais sensíveis à ordem (interações rápidas, objetos pequenos) que podem ser borradas ou reordenadas pela agregação de 1 segundo.
  • Erros de dependência de diálogo e oclusão também foram observados.

5. Significado e Conclusão

O estudo posiciona o POVQA não como um novo benchmark massivo, mas como uma estudo de diagnóstico sobre a eficiência de inferência em VQA sob restrições de recursos.

• Eficiência: A compressão para 1 fps permite cobrir segundos de vídeo (até 60 segundos no experimento) com uma redução de contexto de ~23x em comparação com a ingestão de quadros brutos, mantendo a cobertura temporal.
• Raciocínio Explícito: O uso de rationales supervisionadas (SFT) provou ser mais impactante para o desempenho do que a otimização de preferências (DPO) neste cenário de dados limitados.
• Limitações: O estudo reconhece que o pooling pode perder detalhes temporais finos, o dataset é pequeno e focado em filmes, e a instabilidade do DPO em poucos dados.
• Futuro: Trabalhos futuros visam expandir o dataset, testar em benchmarks padrão de vídeo e aplicar a receita de compressão em backbones menores e maiores.

Em resumo, o POVQA demonstra que, para VQA de vídeos longos, comprimir a evidência visual temporalmente (mantendo a densidade de segundos) e treinar para explicar o raciocínio (rationales) é uma estratégia mais eficaz e eficiente do que tentar processar quadros brutos ou depender exclusivamente de otimização de preferências em dados escassos.