LFS: Learnable Frame Selector for Event-Aware and Temporally Diverse Video Captioning

Resumo Técnico: Seletor de Quadros Aprendível (LFS) para Legendagem de Vídeo Consciente de Eventos e Temporariamente Diversa

Declaração do Problema
Os modelos atuais de legendagem de vídeo, particularmente aqueles que aproveitam Modelos de Linguagem de Grande Escala (LLMs), tipicamente convertem quadros de vídeo em tokens visuais para gerar descrições. No entanto, codificar todos os quadros é computacionalmente proibitivo. Consequentemente, a amostragem uniforme tornou-se a estratégia padrão para selecionar um número fixo de quadros. Embora isso garanta cobertura temporal, falha em levar em conta a distribuição desigual de eventos informativos dentro de um vídeo. A amostragem uniforme frequentemente ignora ações curtas, mas críticas, ou agrupa quadros redundantes, levando a legendas detalhadas subótimas. Métodos de seleção orientados por consultas existentes (por exemplo, para QA de Vídeo) são inadequados para tarefas agnósticas a consultas como a legendagem detalhada, e as abordagens atuais baseadas em Top-K ou aprendizado por reforço frequentemente lutam para equilibrar a relevância de eventos com a diversidade temporal ou são difíceis de integrar com video-LLMs congelados. Além disso, os autores identificam uma lacuna significativa entre as avaliações de benchmarks existentes e a compreensão cognitiva humana do conteúdo de vídeo.

Metodologia: Seletor de Quadros Aprendível (LFS)
O artigo propõe o LFS, um módulo leve, plug-and-play projetado para selecionar um pequeno conjunto de quadros temporalmente diversos e relevantes para eventos. O LFS opera sem modificar os parâmetros do modelo de linguagem a jusante. Sua arquitetura e processo de treinamento consistem em três componentes principais:

1. Modelagem de Importância Temporal (TSNet):
   Dadas as incorporações de quadros de um codificador de visão congelado (Long-CLIP), o LFS emprega uma Rede de Pontuação Temporal (TSNet) para prever um campo contínuo de importância temporal. A TSNet utiliza convoluções temporais para capturar transições locais e um resumo global com modulação em portão para reescalar adaptativamente as características. Isso permite que o modelo pontue a importância dos quadros de maneira agnóstica a consultas.

2. Seleção Top-K Estratificada:
   Para garantir diversidade temporal e prevenir agrupamento, o LFS emprega uma estratégia Top-K estratificada durante a inferência. A linha do tempo do vídeo é dividida em $K$ segmentos iguais, e o quadro com a maior pontuação de importância é selecionado de cada segmento. Isso garante cobertura temporal completa. Durante o treinamento, uma distribuição de probabilidade suave é usada para permitir a propagação de gradientes, enquanto a seleção estratificada rígida é aplicada apenas na inferência.

3. Otimização Guiada por Legenda:
   Diferentemente de métodos que otimizam objetivos proxy, o LFS é treinado usando feedback de legenda de um video-LLM congelado (especificamente Qwen3-VL-8B). O seletor aprende a escolher quadros que maximizam diretamente a qualidade da legenda gerada. O objetivo de treinamento inclui:

   • Perda Relativa de Legenda: Alinha a seleção de quadros com a qualidade da legenda comparando contra uma linha de base uniforme.
   • Regularização $\ell_1$: Incentiva o peso compacto de quadros em quadros representativos.
   • Regularização de Entropia: Promove a exploração durante os estágios iniciais do treinamento.

Principais Contribuições

1. Framework LFS: A proposta de um seletor de quadros aprendível que equilibra explicitamente a consciência de eventos e a diversidade temporal através de seleção estratificada e supervisão guiada por legenda. Ele é projetado para ser facilmente integrado em pipelines existentes sem o ajuste fino do LLM.
2. Benchmark ICH-CC: A introdução do ICH-CC (Legendagem de Culinária do Patrimônio Cultural Intangível), um novo benchmark construído para refletir melhor a compreensão cognitiva humana. Apresenta perguntas cuidadosamente elaboradas e legendas escritas por humanos para vídeos de culinária chinesa e em inglês, abordando o desalinhamento encontrado em benchmarks existentes como VDC e Dream-1K.
3. Validação Empírica: Experimentos extensivos demonstrando que o LFS melhora consistentemente a legendagem detalhada de vídeo e a resposta a perguntas de vídeo zero-shot a jusante em várias bases e benchmarks.

Resultados Experimentais
Os autores avaliaram o LFS em três benchmarks: ICH-CC, VDC e Dream-1K, usando várias bases de video-LLM (por exemplo, Qwen3-VL-8B, AuroraCap-7B, Tarsier2-7B).

• ICH-CC: O LFS melhorou significativamente o desempenho. Para o Qwen3-VL-8B, aumentou a precisão em 4,47% no subconjunto em inglês e 3,14% no subconjunto em chinês. A análise qualitativa mostrou que o LFS capturou com sucesso etapas curtas e críticas (por exemplo, fervura, finalização) que a amostragem uniforme perdeu.
• VDC: O LFS forneceu ganhos consistentes em todas as categorias, com a melhoria mais notável na categoria "Detalhada" (por exemplo, +2,02% de precisão para o Qwen3-VL-8B).
• Dream-1K: Como um teste de robustez para vídeos curtos, o LFS manteve desempenho comparável à amostragem uniforme (pontuação F1 de 0,40), indicando que não degrada o desempenho em clipes curtos onde a amostragem uniforme já é eficaz.
• QA de Vídeo Zero-Shot: Legendas aprimoradas geradas via LFS levaram a um desempenho melhorado em tarefas de QA de vídeo a jusante (por exemplo, +2,1% no MVBench), confirmando que uma melhor seleção de quadros produz descrições mais informativas para raciocínio.

Significado e Alegações
O artigo alega que a seleção de quadros é um gargalo crítico para a legendagem detalhada de vídeo. Ao modelar explicitamente a relevância de eventos e a diversidade temporal, o LFS fornece uma solução eficaz e fácil de integrar que melhora a qualidade da legendagem sem exigir o retreinamento de grandes modelos de linguagem. Os autores enfatizam que sua abordagem preenche a lacuna entre restrições computacionais e a necessidade de descrições finas e temporalmente coerentes, apoiando finalmente tarefas a jusante como recuperação de vídeo e QA multimodal. A introdução do ICH-CC também é destacada como um passo necessário para alinhar a avaliação de benchmarks com a cognição humana.