Resumo Técnico: Focused Forcing

Declaração do Problema

Avanços recentes em modelos de difusão de vídeo autoregressivos permitiram a geração sequencial e em streaming de vídeo, oferecendo suporte natural à execução online via cache KV. No entanto, a geração de longo horizonte exige a manutenção de um cache em constante crescimento de quadros previamente gerados, levando ao aumento dos custos de memória e computação para operações de atenção.

Métodos existentes tentam mitigar isso por meio de designs de janela deslizante, estratégias de KV rotativo ou poda de quadros baseada em atenção. Apesar desses esforços, o artigo identifica três limitações específicas nas decisões de contexto de granularidade grosseira atuais:

1. Seleção Compartilhada ao Nível de Bloco: Métodos existentes frequentemente aplicam uma única estratégia de seleção de histórico a todo um bloco gerado, ignorando que quadros individuais dentro do mesmo bloco podem depender de quadros históricos distintos.
2. Classificação Apenas por Atenção: Os métodos geralmente classificam quadros históricos exclusivamente com base em pontuações de atenção. No entanto, as pontuações de atenção são sensíveis à distância temporal relativa; um quadro histórico pode receber pontuações diferentes à medida que o quadro atual muda, potencialmente causando o descarte de quadros que são cruciais para quadros de consulta específicos.
3. Orçamento Grosseiro por Cabeça: Abordagens atuais alocam orçamentos KV para cabeças de atenção de forma uniforme ou por meio de heurísticas, falhando em estimar explicitamente a importância variável de diferentes cabeças para a qualidade da geração.

Metodologia: Focused Forcing

Os autores propõem o Focused Forcing, um método de seleção de KV sem treinamento que realiza alocação de contexto de granularidade fina em duas dimensões: seleção de histórico por quadro gerado e alocação de orçamento por cabeça.

1. Seleção de Histórico por Quadro Gerado

Em vez de compartilhar a seleção de histórico em todo um bloco, o Focused Forcing seleciona quadros históricos separadamente para cada quadro de consulta gerado. Esse processo de seleção combina duas métricas:

• Pontuações de Atenção: Calculadas entre tokens de consulta e chave agrupados para medir a relevância.
• Pontuações de Diversidade: Computadas para medir a distintividade dos quadros históricos em relação à representação histórica média. Isso previne a perda de quadros distintivos que poderiam ser subclassificados apenas pela atenção devido a efeitos de distância temporal.
  A pontuação final para um quadro histórico é uma soma ponderada de sua pontuação de atenção e pontuação de diversidade. Os quadros são então selecionados com base em um orçamento específico atribuído a esse quadro de consulta e cabeça.

2. Pontuação Consciente de Conteúdo

O método aborda explicitamente a instabilidade da classificação apenas por atenção. Ao integrar pontuações de diversidade, o sistema preserva quadros históricos que contêm informações únicas (alta diversidade) mesmo que suas pontuações de atenção imediatas flutuem devido ao posicionamento temporal relativo.

3. Alocação de Orçamento por Cabeça

Reconhecendo que diferentes cabeças de atenção contribuem desigualmente para a qualidade da geração, o Focused Forcing emprega uma estratégia de estimativa de importância explícita:

• Estimativa de Importância: Durante uma execução preliminar de remoção de ruído, cada cabeça de atenção é mascarada individualmente. A degradação resultante na qualidade da geração é medida usando uma perda de Correspondência de Distribuição (DM).
• Mapeamento de Orçamento: Cabeças com maior perda DM (indicando maior importância) recebem orçamentos KV maiores (mais quadros históricos), enquanto cabeças menos críticas recebem orçamentos menores. Esse mapeamento é não linear, controlado por um parâmetro de curvatura $\gamma$.

4. Execução Eficiente

Para lidar com os comprimentos de sequência irregulares resultantes da seleção por quadro e por cabeça, o método empacota as linhas selecionadas de Consulta, Chave e Valor (QKV) em sequências de comprimento variável. Estas são processadas usando FlashAttention de Comprimento Variável, que calcula a atenção de forma eficiente sobre os quadros históricos retidos sem a sobrecarga de atenção densa.

Contribuições Principais

1. Observação de Dependências de Granularidade Fina: O artigo demonstra que a seleção de histórico baseada em atenção na geração de vídeo autoregressiva é dependente do quadro gerado e sensível à posição relativa. Além disso, mostra que diferentes cabeças de atenção têm impactos desiguais na qualidade da geração.
2. Compressão de KV sem Treinamento: A proposta do Focused Forcing, que integra seleção de histórico por quadro gerado, pontuação consciente de conteúdo (atenção + diversidade) e orçamentos KV diferenciados por cabeça.
3. Validação Empírica: Experimentos abrangentes em múltiplos paradigmas de geração autoregressiva (Self Forcing, LongLive, Rolling Forcing, Causal Forcing) e comparações com métodos de aceleração state-of-the-art.

Resultados

Os experimentos foram conduzidos no benchmark VBench-Long usando 128 prompts do MovieGen.

• Aceleração: O Focused Forcing alcança até 1,48× de aceleração ponta a ponta e 2,77× de aceleração de atenção sem treinamento adicional.
• Melhoria de Qualidade: Ao contrário de muitos métodos de aceleração que trocam qualidade por velocidade, o Focused Forcing melhora a qualidade visual. Por exemplo, na linha de base Self Forcing, aumentou a Qualidade Visual de 76,58 para 80,00 e o Grau de Dinâmica de 41,55 para 61,39.
• Desempenho Comparativo: O método supera as técnicas de aceleração existentes (Attention Sink, MonarchRT, TaylorSeer, Dummy Forcing) tanto em qualidade visual quanto em alinhamento com o texto, mantendo eficiência competitiva ou superior.
• Estudo com Usuários: Em uma avaliação subjetiva, o Focused Forcing recebeu uma taxa de preferência de 57,50%, superando significativamente outros métodos de aceleração.

Significado

O artigo afirma que a seleção de KV consciente de conteúdo e de granularidade fina é uma estratégia viável e eficaz para a geração de vídeo autoregressiva escalável de longo horizonte. Ao reformular a compressão KV como um problema de alocação de contexto de granularidade fina, em vez de uma tarefa de poda grosseira, o Focused Forcing reduz com sucesso a sobrecarga do cache, ao mesmo tempo que aprimora a fidelidade visual e o alinhamento com o texto. Isso sugere que preservar o contexto histórico certo, em vez de apenas menos contexto, é crítico para manter a qualidade na síntese de vídeo de longa duração. A natureza sem treinamento do método e sua compatibilidade com várias bases autoregressivas posicionam-no como uma solução prática para melhorar a eficiência de sistemas de geração de vídeo em streaming e de longa duração.