💻 computer science

STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering

O artigo apresenta o STRIVE, um novo framework de aprendizado por reforço estruturado para responder a perguntas em vídeos, que supera limitações de métodos anteriores ao gerar variantes espaciotemporais e aplicar normalização conjunta, resultando em estimativas de vantagem mais estáveis e melhor desempenho em diversos benchmarks de raciocínio visual.

Autores originais: Emad Bahrami, Olga Zatsarynna, Parth Pathak, Sunando Sengupta, Juergen Gall, Mohsen Fayyaz

Publicado 2026-04-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Emad Bahrami, Olga Zatsarynna, Parth Pathak, Sunando Sengupta, Juergen Gall, Mohsen Fayyaz

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a responder perguntas sobre vídeos. O problema é que, às vezes, o robô fica "preguiçoso" ou confuso quando vê o mesmo vídeo repetidamente e só muda as palavras que ele fala.

Aqui está uma explicação simples do que o artigo STRIVE propõe, usando analogias do dia a dia:

1. O Problema: A "Festa de Respostas" Sem Variedade

Imagine que você é um professor e pede para 8 alunos (o robô) responderem a uma pergunta sobre um vídeo de um acidente de carro.

O jeito antigo (GRPO): Você mostra o mesmo vídeo para todos os 8 alunos. Eles escrevem 8 respostas diferentes.
O defeito: Se o vídeo for muito óbvio (ex: "o carro bateu"), todos os 8 alunos vão acertar. Se for muito difícil, todos vão errar.
A consequência: Como todas as respostas são iguais (todas certas ou todas erradas), o professor (o algoritmo de aprendizado) não consegue dizer quem fez melhor. É como tentar dar uma nota de 0 a 10 para 8 pessoas que tiraram exatamente 10. Não há diferença, então o robô não aprende nada novo. Isso é chamado de "colapso de vantagem" (o robô para de aprender porque não vê diferença entre as tentativas).

2. A Solução do STRIVE: O "Cinema Multiverso"

O STRIVE muda a regra do jogo. Em vez de mostrar o mesmo vídeo para os 8 alunos, ele cria variações do vídeo.

Imagine que o vídeo é um filme. O STRIVE faz o seguinte:

Ele pega o filme original e cria 2 versões diferentes (como se fossem dois ângulos de câmera diferentes ou cortes de tempo distintos).
Para cada uma dessas 2 versões, ele pede que 4 alunos escrevam uma resposta.
Agora, em vez de comparar apenas palavras, o robô compara: "Como a resposta muda se eu olhar o vídeo de um ângulo diferente?"

A Analogia do Detetive:
Pense no robô como um detetive investigando um crime em um vídeo.

Sem STRIVE: O detetive olha para a mesma cena, 8 vezes, e tenta adivinhar o que aconteceu. Se ele errar, ele continua errando.
Com STRIVE: O detetive recebe o mesmo caso, mas com lentes diferentes e cortes de tempo diferentes. Ele é forçado a olhar para o carro, depois para a estrada, depois para o rosto do motorista em momentos diferentes. Isso o obriga a prestar atenção nos detalhes reais, em vez de apenas chutar baseado no que ele já sabe.

3. O Segredo: "O Que é Importante?" (Amostragem Inteligente)

O STRIVE não cria essas variações aleatoriamente (como cortar o vídeo ao acaso). Ele usa um "olho crítico" para saber o que importa.

A Analogia do Foco: Se a pergunta é "O que a mulher estava segurando na mão?", o STRIVE sabe que não precisa cortar o vídeo mostrando o céu ou o chão. Ele foca nas cenas onde a mão aparece.
Ele usa uma técnica chamada "Amostragem Consciente da Importância". É como se o robô tivesse um filtro que diz: "Ei, essa parte do vídeo é crucial para a pergunta, vamos dar mais atenção a ela!", mas ainda mantém um pouco de aleatoriedade para não ficar cego a outras partes.

4. Por que isso funciona? (A Estabilidade)

Ao misturar diferentes versões do vídeo com diferentes respostas, o STRIVE garante que sempre haja uma diferença entre as tentativas.

Às vezes, uma versão do vídeo deixa a resposta mais fácil, às vezes mais difícil.
Isso cria um "termômetro" constante de aprendizado. O robô nunca fica sem sinal para aprender, porque as variações visuais mantêm o desafio vivo.

Resumo em uma frase

O STRIVE ensina o robô a ser um observador mais atento, mostrando a ele o mesmo vídeo de vários ângulos e cortes diferentes, forçando-o a entender a história real em vez de apenas adivinhar a resposta baseada em palavras vazias.

Resultado: O robô aprende mais rápido, erra menos em perguntas difíceis e se torna muito melhor em entender o que realmente acontece nos vídeos.

Título: STRIVE: Exploração Espaciotemporal Estruturada para Aprendizado por Reforço em Resposta a Perguntas sobre Vídeo

1. O Problema: Colapso de Vantagem em RL Multimodal

O artigo aborda um desafio crítico na aplicação de Aprendizado por Reforço (RL) pós-treinamento em Modelos Multimodais Grandes (LMMs) para Resposta a Perguntas sobre Vídeo (VQA).

Limitação Atual: Métodos de otimização de política baseados em grupos (como GRPO - Group Relative Policy Optimization) funcionam gerando múltiplas respostas textuais para uma única entrada fixa (o vídeo).
O Gargalo: Em tarefas de vídeo, é comum que todas as respostas geradas para um mesmo vídeo sejam uniformemente corretas ou uniformemente incorretas. Isso resulta em uma baixa variância de recompensa dentro do grupo.
Consequência: Quando a variância de recompensa tende a zero, a estimativa de vantagem (usada para atualizar a política) torna-se instável, explode (devido à divisão por um denominador pequeno) ou colapsa para zero. Isso leva a atualizações de gradiente não informativas ou caóticas, impedindo o aprimoramento eficaz do modelo.
Falha das Soluções Atuais: Métodos anteriores tentam resolver isso apenas diversificando as saídas textuais ou usando engenharia de recompensas, ignorando a rica estrutura espaciotemporal intrínseca do vídeo como fonte de diversidade.

2. Metodologia: O Framework STRIVE

O STRIVE (SpatioTemporal Reinforcement with Importance-aware Variant Exploration) propõe uma mudança conceitual fundamental: mover a diversidade do espaço de saída (texto) para o espaço de entrada (vídeo).

Componentes Principais:

Construção de Variantes Espaciotemporais (Dual-Grouping):
- Em vez de agrupar apenas respostas textuais para um vídeo fixo, o STRIVE gera múltiplas variantes visuais do mesmo vídeo de entrada.
- Para cada variante visual, o modelo gera múltiplas respostas textuais.
- Isso cria uma matriz de respostas $G \times M$ (onde $G$ é o número de gerações textuais e $M$ é o número de variantes visuais).
- A normalização das vantagens é realizada conjuntamente sobre todo esse pool de $G \times M$ amostras, garantindo que a variância de recompensa permaneça alta e informativa, evitando o colapso.
Regularização de Consistência Implícita:
- Ao exigir que a política produza respostas consistentes e corretas através de diferentes perspectivas visuais (variantes), o método atua como um regularizador. O modelo é forçado a ancorar seu raciocínio na evidência visual real, em vez de depender de priores linguísticos espúrios.
Amostragem Consciente da Importância (Importance-Aware Sampling):
- Para garantir que a diversidade visual seja semanticamente relevante (e não apenas ruído aleatório), o STRIVE utiliza um mecanismo de amostragem ponderada.
- Mecanismo: Calcula-se um escore de relevância para cada quadro do vídeo com base na similaridade entre as embeddings visuais do quadro e as embeddings textuais da pergunta (cross-modal embeddings).
- Estratégia de Amostragem: Utiliza-se uma amostragem softmax escalada por temperatura ( $\tau$ ) dentro de segmentos temporais. Isso permite uma exploração estruturada: prioriza quadros críticos para a pergunta, mas mantém a cobertura temporal global para evitar overfitting a momentos isolados.
Estratégias de Transformação:
O sistema suporta três tipos de construção de variantes:
1. Determinística: Amostragem temporal com deslocamentos (offsets) estagiados.
2. Estocástica: Recortes temporais aleatórios e aumentações espaciais (jitter de cor, transformações afins).
3. Baseada em Importância (Semântica): Seleção de quadros baseada na relevância para a pergunta (a abordagem mais eficaz).

3. Contribuições Chave

Solução para o Colapso de Vantagem: Demonstra que introduzir perturbações visuais estruturadas no espaço de entrada é mais eficaz para estabilizar o RL do que apenas diversificar o texto.
Novo Paradigma de Agrupamento: Propõe um mecanismo de "duplo agrupamento" (texto + visual) que enriquece o sinal de aprendizado sem aumentar o custo computacional total (mantendo o mesmo orçamento de inferência).
Exploração Semântica Guiada: Introduz uma estratégia de amostragem que equilibra a exploração de diferentes perspectivas visuais com a necessidade de manter a coerência semântica com a pergunta.
Validação Empírica: Prova que a estrutura espaciotemporal é um recurso subutilizado que, quando explorado corretamente, melhora significativamente o raciocínio multimodal.

4. Resultados Experimentais

Os experimentos foram conduzidos em seis benchmarks desafiadores de raciocínio em vídeo: VideoMME, TempCompass, VideoMMMU, MMVU, VSI-Bench e PerceptionTest.

Desempenho Geral: O STRIVE superou consistentemente as linhas de base fortes de RL (incluindo GRPO padrão e métodos como Video-R1 e ArrowRL) em modelos baseados em Qwen2.5-VL-7B e Qwen3-VL-8B.
- No modelo Qwen2.5-VL-7B, o STRIVE alcançou uma pontuação média de 59.8, superando o GRPO (59.0).
- No modelo mais capaz Qwen3-VL-8B, o STRIVE alcançou 65.2, superando o GRPO (64.3) e evitando quedas de desempenho em benchmarks específicos que ocorreram com o GRPO padrão.
Análise de Dinâmica de Treinamento:
- O STRIVE manteve uma variância de recompensa consistentemente alta durante o treinamento, enquanto o GRPO padrão viu sua variância cair drasticamente.
- O STRIVE eliminou quase completamente os passos de atualização com "vantagem zero" (que causam fome de gradiente no GRPO).
- A trajetória do gradiente no STRIVE foi muito mais suave e estável, evitando os picos caóticos observados no GRPO.
Estudos de Ablação:
- A combinação de agrupamento baseado em importância com aumentações espaciais (jitter, rotação) mostrou-se a estratégia mais robusta.
- Uma configuração balanceada de variantes visuais ( $M=2$ ) e gerações textuais ( $G=4$ ) foi identificada como ideal, superando a configuração padrão de apenas texto ( $M=1, G=8$ ).

5. Significado e Conclusão

O trabalho STRIVE estabelece que a exploração estruturada no domínio visual é essencial para o sucesso do Aprendizado por Reforço em tarefas de vídeo. Ao tratar o vídeo não como uma entrada estática, mas como um espaço de possibilidades espaciotemporais, o framework:

Estabiliza o treinamento de RL em modelos multimodais.
Força o modelo a desenvolver um raciocínio robusto que depende da evidência visual real e não de hallucinations ou priores linguísticos.
Oferece um mecanismo plug-and-play que pode ser integrado a diferentes algoritmos de otimização de política (como GRPO e Dr.GRPO), melhorando o desempenho geral em tarefas complexas de compreensão de vídeo.

Em suma, o STRIVE demonstra que, para raciocínio em vídeo, a diversidade deve ser construída na entrada (o que o modelo vê) tanto quanto na saída (o que o modelo diz).