Resumen Técnico: TokenTrim

Declaración del Problema

La generación de vídeo autorregresiva ha emergido como un paradigma dominante para la síntesis de vídeos largos mediante el condicionamiento iterativo de nuevos lotes de fotogramas sobre el contenido generado previamente. Sin embargo, este enfoque sufre de deriva temporal (temporal drift), un fenómeno donde los errores menores e inconsistencias introducidos en los primeros fotogramas se acumulan y amplifican a lo largo de horizontes prolongados. Esta acumulación conduce a cambios de identidad, degradación estructural, pérdida de coherencia global y colapso semántico.

Los intentos recientes para mitigar la deriva se han centrado en fortalecer el condicionamiento de largo alcance (por ejemplo, caché de Clave-Valor temporal, tokens de anclaje) o en modificar los procedimientos de entrenamiento (por ejemplo, self-forcing con truncamiento de gradiente estocástico). Los autores plantean la hipótesis de que estos métodos siguen siendo frágiles porque no abordan la causa raíz de la propagación de errores en el tiempo de inferencia: el reuso incontrolado de tokens de condicionamiento latentes corruptos. Una vez que una región del estado latente se corrompe, es reutilizada repetidamente en los pasos autorregresivos subsiguientes, dominando la atención y propagando los errores hacia adelante. El sistema carece actualmente de un mecanismo para evaluar qué tokens latentes almacenados en caché son confiables.

Metodología: TokenTrim

Los autores proponen TokenTrim, un método que opera enteramente en el tiempo de inferencia diseñado para identificar y eliminar tokens latentes inestables antes de que sean reutilizados para el condicionamiento. TokenTrim opera totalmente en el espacio latente, no requiere cambios arquitectónicos, no requiere reentrenamiento e introduce un gasto computacional insignificante.

El método consta de los siguientes componentes principales:

1. Inicialización Estabilizada por Movimiento

Para reducir la corrupción en las etapas iniciales, el primer lote de fotogramas se genera utilizando FlowMo, una técnica de regularización en tiempo de inferencia que introduce una guía de varianza consciente del movimiento. Esto produce un ancla latente estable. Los lotes subsiguientes se generan utilizando el modelo autorregresivo base.

2. Construcción del Resumen Latente

En cada paso autorregresivo $t$, el método codifica el lote previamente generado ($X_{t-1}$) y el candidato lote actual ($X_t$) en tokens latentes. Para permitir una comparación directa, construye un resumen latente ($Z_{t-1}$ y $Z_t$) promediando los tokens latentes espaciales a través de la dimensión temporal (fotogramas) de cada lote.

3. Estimación de Deriva por Token

El método calcula una puntuación de deriva ($d_i$) para cada índice de token espacial $i$ midiendo la distancia euclidiana entre las representaciones latentes en los resúmenes actual y anterior:
$$d_i = \|Z_t(i) - Z_{t-1}(i)\|_2$$
Las puntuaciones de deriva altas indican una posible corrupción o desviación semántica en ubicaciones de tokens específicas.

4. Disparador Adaptativo y Evaluación de Severidad

En lugar de podar incondicionalmente, TokenTrim evalúa si el lote actual exhibe una deriva anormal.

• Identifica los top $p \cdot N$ tokens con las puntuaciones de deriva más altas (donde $p$ es una fracción de poda y $N$ es el número total de tokens).
• Calcula una puntuación de severidad de la deriva ($D_t$) como la media de la deriva de estos tokens superiores.
• Mantiene estadísticas continuas (media $\mu_t$ y desviación estándar $\sigma_t$) de la severidad de la deriva de los lotes aceptados previamente.
• Una intervención de poda se dispara solo si $D_t > \mu_t + \lambda\sigma_t$, donde $\lambda$ es un hiperparámetro de sensibilidad. Se utiliza un periodo de calentamiento ($T_{warm}$) inicialmente para acumular estadísticas fiables.

5. Poda Dura y Regeneración

Cuando se excede el criterio de deriva:

• Se aplica una máscara de poda espacial al caché de Clave-Valor (KV) temporal, eliminando las claves y valores correspondientes a las posiciones de los tokens inestables.
• El lote actual es regenerado una vez, condicionado por este caché podado.
• Si el lote regenerado aún viola el criterio de deriva, se acepta tal cual para evitar bucles ilimitados.
• Si el criterio de deriva no se excede, el lote se acepta sin modificaciones.

TokenTrim es compatible con marcos autorregresivos que utilizan auto-atención con caché de KV, demostrado específicamente en Self Forcing y Rolling Forcing.

Principales Contribuciones

1. Detección de Deriva en Tiempo de Inferencia: El artículo introduce un mecanismo para detectar explícitamente tokens latentes inestables durante la inferencia, desplazando el enfoque de la capacidad del modelo al control de la propagación de la información.
2. Poda Dura de Tokens Latentes: A diferencia de los métodos que modifican regiones espaciales completas o parámetros del modelo, TokenTrim elimina selectivamente tokens corruptos específicos del contexto autorregresivo, evitando que la información poco fiable influya en pasos futuros.
3. Integración Sin Entrenamiento: El método opera sin modificar los pesos del modelo, los procedimientos de entrenamiento o salir del espacio latente, lo que lo hace compatible con los marcos actuales de generación de vídeo de vanguardia.
4. Inicialización Estabilizada por Movimiento: La integración de FlowMo para el lote inicial proporciona un ancla estable, complementando el mecanismo de poda.

Resultados Experimentales

Los autores evaluaron TokenTrim en el modelo de texto-a-vídeo Wan2.1-1.3B utilizando estrategias de Rolling Forcing y Self Forcing.

• Rendimiento Cuantitativo (VBench):
  • En Rolling Forcing, TokenTrim mejoró la Puntuación Final del 75.12% al 79.67% (+4.55%), con ganancias significativas en Calidad (+5.58%) y Semántica (+3.53%).
  • En Self Forcing, la Puntuación Final aumentó de 75.93% a 81.84% (+5.91%).
  • TokenTrim superó consistentemente a FlowMo (un método de guía de movimiento en tiempo de inferencia) y a los métodos autorregresivos base en todas las métricas agregadas.
• Estudio de Preferencia Humana (VideoJAM-Bench):
  • En comparaciones directas, TokenTrim fue significativamente preferido sobre los modelos base y FlowMo en la reducción de la deriva temporal (41.7% frente a 15.2% para el baseline de Rolling Forcing; 49.7% frente a 10.2% frente a FlowMo).
  • También mostró un rendimiento superior en coherencia de movimiento y calidad estética, preservando la alineación texto-vídeo.
• Eficiencia: TokenTrim aumentó el tiempo de ejecución (wall-clock runtime) en solo 1.08x en comparación con el baseline, mientras que las configuraciones adaptadas con FlowMo incurrieron en una ralentización de 2.18x.
• Estudios de Ablación:
  • Una poda agresiva (20%) degradó severamente el rendimiento, mientras que una poda moderada (10%) produjo resultados óptimos.
  • Eliminar la inicialización de FlowMo redujo el rendimiento, confirmando el beneficio complementario de un inicio estable.

Significado y Reivindicaciones

El artículo sostiene que la deriva temporal no es solo un problema de modelado o de datos, sino un problema de propagación de información en el tiempo de inferencia. Al tratar el caché KV como un mecanismo de memoria activo y autocorrectivo en lugar de un registro pasivo de la historia, TokenTrim demuestra que controlar el contexto de condicionamiento durante la inferencia por sí solo puede reducir sustancialmente la deriva temporal.

Los autores concluyen que el progreso futuro en la síntesis de vídeo infinito puede depender no solo de cuánto contexto puede recordar un modelo, sino de su capacidad para descartar selectivamente el ruido que amenaza con distorsionar la realidad. Posicionan a TokenTrim como un mecanismo distinto y poco explorado que mejora la consistencia temporal de largo horizonte sin el coste computacional de reentrenar o modificar la arquitectura.