Resumo Técnico: Gen2Balance

Definição do Problema

O reconhecimento de ações em vídeos com cauda longa (long-tailed) continua sendo um desafio fundamental, onde as distribuições de classes são fortemente enviesadas, com algumas classes "cabeça" dominando o conjunto de dados e muitas classes de "cauda" ou "poucos disparos" (few-shot) possuindo amostras escassas. Embora o aprendizado de cauda longa tenha progredido no reconhecimento de imagens, o reconhecimento de vídeo está significativamente atrasado. Abordagens existentes, como reamostragem, reponderação e aumento no espaço de características, frequentemente falham em reduzir a lacuna de desempenho entre benchmarks balanceados e de cauda longa. Por exemplo, no conjunto de dados UCF-101, a precisão cai de 92% em configurações balanceadas para 64% sob desbalanceamento de cauda longa. Além disso, os modelos atuais de geração de vídeo enfrentam desafios em relação à dinâmica temporal, plausibilidade física e permanência de objetos, levantando questões sobre se vídeos sintéticos podem ser suficientemente diversos e fiéis às classes de ação para auxiliar o reconhecimento.

Metodologia: Gen2Balance

Os autores propõem o Gen2Balance, um framework que aborda o reconhecimento de vídeo de cauda longa aumentando o conjunto de treinamento com vídeos sintéticos gerados via um modelo de texto-para-vídeo. O método consiste em dois componentes primários: um pipeline de preenchimento generativo e uma estratégia de treinamento de dois estágios.

1. Pipeline de Preenchimento Generativo

Para sintetizar vídeos diversos e fiéis às classes para classes sub-representadas, os autores empregam um pipeline estruturado usando um Modelo de Linguagem de Grande Escala (LLM) multimodal e um gerador de texto-para-vídeo (WAN 2.1). O pipeline aborda a ambiguidade semântica e a falta de diversidade através de quatro etapas:

• Diversificação de Prompts de Texto: O LLM gera prompts variando ao longo de nove eixos (ex: ambiente, enquadramento de câmera, demografia do ator, iluminação, contexto social) para garantir diversidade visual.
• Perfis de Ação (Action Profiles): Para resolver ambiguidades semânticas (ex: "Robot Dancing" referindo-se a um estilo de dança humana em vez de um robô mecânico), o LLM gera um "Perfil de Ação" contendo uma definição, restrições positivas (características visuais chave) e restrições negativas (equívocos comuns).
• Exemplares em Contexto (In-Context Exemplars): Para fundamentar ainda mais o perfil de ação na semântica correta, o LLM recebe um conjunto de poucos disparos (few-shot) de vídeos reais de treinamento como exemplares em contexto. Crucialmente, esses exemplares informam a geração do perfil, mas não os prompts finais diretamente, preservando a diversidade dos prompts.
• Geração de Vídeo: Os prompts diversificados, condicionados aos perfis de ação fundamentados, são enviados para o gerador de texto-para-vídeo para produzir clipes sintéticos.

2. Estratégia de Treinamento de Dois Estágios

Treinar diretamente em uma mistura de dados reais e sintéticos introduz riscos de sobreajuste (overfitting) a artefatos sintéticos e mudança de domínio (domain shift). Para mitigar isso, o Gen2Balance emprega um processo de treinamento de dois estágios:

• Estágio 1 (Aprendizado com Dados Aumentados): O modelo é treinado no conjunto de dados combinado ($D_{train} \cup D_{gen}$) usando a perda Balanced Softmax (BSCE). Crucialmente, as margens de perda são calculadas com base nas frequências dos dados reais ($N_c$) em vez das frequências aumentadas. Isso permite que o modelo aproveite a abundância de dados sintéticos para o aprendizado de características enquanto mantém as fronteiras de decisão calibradas para os verdadeiros priors de classe.
• Estágio 2 (Ensaios com Dados Reais): O modelo é ajustado (fine-tuned) exclusivamente no conjunto de treinamento real original ($D_{train}$) usando a mesma perda BSCE com uma taxa de aprendizado reduzida. Este estágio corrige mudanças de domínio e evita o esquecimento catastrófico das representações aprendidas a partir dos dados sintéticos.

Principais Contribuições

1. Proposta de Framework: Introdução do Gen2Balance, uma abordagem de balanceamento generativo que converte conjuntos de dados de vídeo desbalanceados em combinações balanceadas de clipes reais e sintéticos.
2. Pipeline Automático e Dataset: Desenvolvimento de um pipeline automático usando um LLM multimodal (Gemini 2.5 Pro) e um gerador de vídeo (WAN 2.1) para sintetizar vídeos fiéis às classes. Os autores lançam publicamente um dataset complementar de 140 mil vídeos sintéticos com prompts detalhados abrangendo 223 classes de ação através de UCF-LT, K100-LT e RareAct.
3. Análise da Estratégia de Treinamento: Demonstração de que uma estratégia de treinamento de dois estágios (aumentado depois real) combinada com uma perda de classe balanceada por margens derivadas de dados reais produz resultados superiores em comparação ao treinamento padrão ou abordagens de estágio único.
4. Avaliação Abrangente: Avaliação extensa nos splits de cauda longa de Kinetics-100 (K100-LT) e UCF-101 (UCF-LT), bem como ações raras do dataset RareAct.

Resultados Experimentais

Os autores avaliam o Gen2Balance em versões de cauda longa de benchmarks padrão:

• K100-LT: O Gen2Balance melhora a precisão média de classe em 7,0% sobre a base de comparação (baseline) mais forte de cauda longa (BSCE), atingindo 72,6% de precisão global. Ele impulsiona significativamente a precisão das classes de poucos disparos (few-shot) em +38,8%.
• UCF-LT: O método melhora a precisão em 5,1% sobre a base mais forte, atingindo 88,9% no total, com um ganho de +48,0% em classes de poucos disparos.
• RareAct: Em ações raras e composicionais (ex: "cortar teclado"), o Gen2Balance melhora a precisão em 31,9%, demonstrando eficácia para ações genuinamente escassas.
• Ablação e Escalonamento:
  • Balanceamento Parcial: Alcançar 79% dos ganhos de desempenho com apenas 27% do custo computacional (ao definir um limiar de preenchimento parcial) destaca a escalabilidade do método.
  • Fontes de Dados: O Gen2Balance supera o aumento por recuperação na web (web-retrieval augmentation) e a geração de imagens estáticas, confirmando a necessidade de pistas de movimento e a superioridade do pipeline de prompting específico sobre templates ingênuos.
  • Robustez: O método permanece robusto mesmo quando as classes de poucos disparos são estatisticamente raras na distribuição de treinamento do gerador (reindexação de Popularidade na Web).

Significância e Alegações

O artigo afirma que o Gen2Balance representa um passo significativo à frente no reconhecimento de vídeo de cauda longa ao utilizar modelos generativos para sintetizar a diversidade ausente, em vez de depender de recuperação na web ou interpolação no espaço de características. Os autores enfatizam que:

• Os modelos generativos atuais, quando cuidadosamente instruídos com perfis de ação fundamentados, produzem vídeos de qualidade suficiente para alcançar desempenho de estado da arte em configurações de cauda longa.
• A estratégia de treinamento de dois estágios mitiga efetivamente a mudança de domínio, permitindo que os modelos aprendam com dados sintéticos sem comprometer o desempenho em dados reais.
• A abordagem é prática e escalável, pois o balanceamento parcial oferece ganhos substanciais por uma fração do custo computacional.
• O dataset de 140 mil vídeos sintéticos liberado serve como um recurso para pesquisas futuras em balanceamento generativo para compreensão de vídeo.

O trabalho não afirma resolver todos os problemas de geração de vídeo (reconhecendo desafios com física e permanência de objetos), mas argumenta que, para a tarefa específica de reconhecimento de ação, o conteúdo gerado é suficientemente diverso e semanticamente correto para superar a escassez de dados.