Resumo Técnico: TokenTrim

Declaração do Problema

A geração de vídeo autorregressiva emergiu como um paradigma dominante para sintetizar vídeos longos, condicionando iterativamente novos lotes de quadros ao conteúdo gerado anteriormente. No entanto, essa abordagem sofre de deriva temporal (temporal drift), um fenômeno onde erros e inconsistências menores introduzidos em quadros iniciais se acumulam e se amplificam ao longo de horizontes longos. Esse acúmulo leva a mudanças de identidade, degradação estrutural, perda de coerência global e colapso semântico.

Tentativas recentes para mitigar a deriva focaram no fortalecimento do condicionamento de longo alcance (ex: cache de Chave-Valor temporal, tokens de âncora) ou na modificação de procedimentos de treinamento (ex: self-forcing com truncamento de gradiente estocástico). Os autores hipotetizam que esses métodos permanecem frágeis porque não abordam a causa raiz da propagação de erro no tempo de inferência: o uso descontrolado de tokens de condicionamento latentes corrompidos. Uma vez que uma região do estado latente se torna corrompida, ela é repetidamente reutilizada em etapas autorregressivas subsequentes, dominando a atenção e propagando erros adiante. O sistema atual carece de um mecanismo para avaliar quais tokens latentes em cache são confiáveis.

Metodologia: TokenTrim

Os autores propõem o TokenTrim, um método totalmente de tempo de inferência projetado para identificar e remover tokens latentes instáveis antes que sejam reutilizados para condicionamento. O TokenTrim opera inteiramente no espaço latente, não requer mudanças arquitetônicas, não exige retreinamento e introduz um overhead computacional negligenciável.

O método consiste nos seguintes componentes principais:

1. Inicialização Estabilizada por Movimento

Para reduzir a corrupção no estágio inicial, o primeiro lote de quadros é gerado usando o FlowMo, uma técnica de regularização de tempo de inferência que introduz uma orientação de variância consciente do movimento. Isso produz uma âncora latente estável. Lotes subsequentes são gerados usando o modelo autorregressivo base.

2. Construção de Resumo Latente

Em cada etapa autorregressiva $t$, o método codifica o lote gerado anteriormente ($X_{t-1}$) e o candidato lote atual ($X_t$) em tokens latentes. Para permitir a comparação direta, ele constrói um resumo latente ($Z_{t-1}$ e $Z_t$) através da média dos tokens latentes espaciais ao longo da dimensão temporal (quadros) de cada lote.

3. Estimativa de Deriva por Token

O método calcula um escore de deriva ($d_i$) para cada índice de token espacial $i$, medindo a distância euclidiana entre as representações latentes nos resumos atual e anterior:
$$d_i = \|Z_t(i) - Z_{t-1}(i)\|_2$$
Altos escores de deriva indicam potencial corrupção ou desvio semântico em localizações específicas de tokens.

4. Gatilho Adaptativo e Avaliação de Severidade

Em vez de realizar a poda incondicionalmente, o TokenTrim avalia se o lote atual exibe uma deriva anormal.

• Ele identifica os top $p \cdot N$ tokens com os maiores escores de deriva (onde $p$ é uma fração de poda e $N$ é o número total de tokens).
• Ele calcula um escore de severidade de deriva ($D_t$) como a média da deriva desses tokens principais.
• Ele mantém estatísticas contínuas (média $\mu_t$ e desvio padrão $\sigma_t$) da severidade de deriva de lotes aceitos anteriormente.
• Uma intervenção de poda é disparada apenas se $D_t > \mu_t + \lambda\sigma_t$, onde $\lambda$ é um hiperparâmetro de sensibilidade. Um período de aquecimento ($T_{warm}$) é usado inicialmente para acumular estatísticas confiáveis.

5. Poda Rígida e Regeneração

Quando o critério de deriva é excedido:

• Uma máscara de poda espacial é aplicada ao cache de Chave-Valor (KV) temporal, removendo as chaves e valores correspondentes às posições de tokens instáveis.
• O lote atual é regenerado uma vez, condicionado a este cache podado.
• Se o lote regenerado ainda violar o critério de deriva, ele é aceito como está para evitar loops ilimitados.
• Se o critério de deriva não for excedido, o lote é aceito sem modificação.

O TokenTrim é compatível com frameworks autorregressivos que utilizam autoatenção com cache de KV, sendo demonstrado especificamente em Self Forcing e Rolling Forcing.

Principais Contribuições

1. Detecção de Deriva em Tempo de Inferência: O artigo introduz um mecanismo para detectar explicitamente tokens latentes instáveis durante a inferência, deslocando o foco da capacidade do modelo para o controle da propagação de informação.
2. Poda Rígida de Tokens Latentes: Ao contrário de métodos que modificam regiões espaciais inteiras ou parâmetros do modelo, o TokenTrim remove seletivamente tokens corrompidos específicos do contexto autorregressivo, impedindo que informações não confiáveis influenciem etapas futuras.
3. Integração Sem Treinamento: O método opera sem modificar os pesos do modelo, procedimentos de treinamento ou sair do espaço latente, tornando-o compatível com atuais frameworks de geração de vídeo de última geração.
4. Inicialização Estabilizada por Movimento: A integração do FlowMo para o lote inicial fornece uma âncora estável, complementando o mecanismo de poda.

Resultados Experimentais

Os autores avaliaram o TokenTrim no modelo de texto-para-vídeo Wan2.1-1.3B utilizando estratégias Rolling Forcing e Self Forcing.

• Desempenho Quantitativo (VBench):
  • No Rolling Forcing, o TokenTrim melhorou o Score Final de 75,12% para 79,67% (+4,55%), com ganhos significativos em Qualidade (+5,58%) e Semântica (+3,53%).
  • No Self Forcing, o Score Final aumentou de 75,93% para 81,84% (+5,91%).
  • O TokenTrim superou consistentemente o FlowMo (um método de orientação de movimento em tempo de inferência) e os métodos autorregressivos de linha de base em todas as métricas agregadas.
• Estudo de Preferência Humana (VideoJAM-Bench):
  • Em comparações diretas, o TokenTrim foi significativamente preferido em relação às linhas de base e ao FlowMo na redução da deriva temporal (41,7% vs. 15,2% para a linha de base Rolling Forcing; 49,7% vs. 10,2% vs. FlowMo).
  • Também mostrou desempenho superior em coerência de movimento e qualidade estética, preservando o alinhamento texto-vídeo.
• Eficiência: O TokenTrim aumentou o tempo de execução (wall-clock runtime) em apenas 1,08x comparado à linha de base, enquanto configurações adaptadas ao FlowMo sofreram um atraso de 2,18x.
• Estudos de Ablação:
  • A poda agressiva (20%) degradou severamente o desempenho, enquanto a poda moderada (10%) produziu resultados ótimos.
  • A remoção da inicialização FlowMo reduziu o desempenho, confirmando o benefício complementar de um início estável.

Significância e Alegações

O artigo afirma que a deriva temporal não é apenas um problema de modelagem ou de dados, mas um problema de propagação de informação em tempo de inferência. Ao tratar o cache de KV como um mecanismo de memória ativo e autocorretivo, em vez de um registro passivo de histórico, o TokenTrim demonstra que controlar o contexto de condicionamento apenas no tempo de inferência pode reduzir substancialmente a deriva temporal.

Os autores concluem que o progresso futuro na síntese de vídeo infinita pode depender não apenas de quanto contexto um modelo consegue lembrar, mas de sua capacidade de descartar seletivamente o ruído que ameaça distorcer a realidade. Eles posicionam o TokenTrim como um mecanismo distinto e pouco explorado que melhora a consistência temporal de longo horizonte sem o custo computacional de retreinamento ou modificação arquitetônica.