Resumen Técnico: SelfBootTok – Equilibrando la Compresión y Generación de Imágenes con Tokenización de Auto-Arranque (Bootstrapped)

1. Declaración del Problema

Los métodos actuales de tokenización de imágenes enfrentan un compromiso fundamental entre la eficiencia de compresión y la calidad de generación. Los enfoques estándar suelen codificar información redundante al mezclar semántica global y detalles locales dentro de cada token. Esta "mezcla" crea redundancia entre tokens y complica el entrenamiento de modelos generativos, ya que los generadores deben aprender simultáneamente la semántica de alto nivel y los detalles visuales finos. Además, los tokenizadores 1D existentes, aunque ofrecen una alta compresión, a menudo luchan por capturar tanto el contexto global como los detalles estructurales locales dentro de un presupuesto de tokens limitado sin sacrificar la fidelidad de la reconstrucción o el rendimiento de la generación. El desafío radica en descomponer la información visual de manera limpia para reducir la redundancia a nivel de token, permitiendo al mismo tiempo un entrenamiento escalable y una generación eficiente.

2. Metodología: SelfBootTok

Los autores proponen SelfBootTok, un tokenizador de imágenes 1D que aborda estos problemas mediante una estrategia de descomposición global-local combinada con un aprendizaje de auto-arranque (bootstrapped) autosupervisado. El marco consta de tres componentes principales:

A. Descomposición Global-Local

En lugar de tratar todos los tokens de manera uniforme, SelfBootTok separa la información visual en grupos distintos:

• Tokens Globales ($z_G$): Representaciones semánticas de alto nivel extraídas mediante un codificador de Vision Transformer (ViT).
• Tokens Locales ($z_{L1}, z_{L2}$): Detalles visuales finos capturados a través de dos ramas paralelas:
  • Tokens Locales 1D: Predichos mediante un MLP a partir de los tokens globales.
  • Tokens Locales 2D: Predichos mediante un transformador causal a partir de los tokens globales.
    El modelo emplea un diseño de multi-libro de códigos ($C_{global}, C_{local1D}, C_{local2D}$) con cuantización vectorial suave para asegurar la diferenciabilidad, permitiendo que cada grupo se especialice en su propia granularidad específica.

B. Aprendizaje de Auto-Arranque Autosupervisado

Una innovación clave es el paradigma de auto-arranque (self-bootstrapping). El modelo aprende a predecir detalles locales exclusivamente a partir de tokens globales utilizando imágenes no etiquetadas.

• Entrenamiento: El tokenizador se entrena para reconstruir características locales (alineadas con codificadores preentrenados como DINOv2, SigLIP o I-JEPA) basándose en la representación del token global.
• Generación: Durante la fase de generación, el generador produce únicamente los tokens globales ($z_G$). Los tokens locales ($z_{L1}, z_{L2}$) son predichos automáticamente por los alineadores locales congelados (MLP y Transformer) basados en los tokens globales generados.
• Beneficio: Esto traslada la carga de aprender los detalles visuales del generador al tokenizador. El generador se enfoca únicamente en la semántica de alto nivel, reduciendo significativamente su complejidad y sus requisitos de datos.

C. Alineación de 2D a 1D vía Transporte Óptimo

Para integrar los sesgos estructurales 2D en la secuencia de tokens 1D, el método utiliza un marco de Transporte Óptimo (OT).

• Un alineador local 2D predice una secuencia 1D que está alineada con las características latentes de un VAE 2D.
• La alineación minimiza una pérdida de transporte óptimo regularizada por entropía (resuelta mediante el algoritmo de Sinkhorn), mapeando efectivamente las distribuciones espaciales 2D a una secuencia 1D compacta mientras se preserva la información estructural.

D. Optimización Paralela y Escalamiento

El marco soporta una estrategia de entrenamiento única donde el tokenizador y el generador pueden optimizarse en paralelo.

1. El tokenizador se entrena para generar tokens globales y predecir detalles locales.
2. Una vez aprendido el componente de token global, este se congela.
3. El generador y los alineadores locales más grandes pueden entonces escalarse y entrenarse en paralelo sin necesidad de reentrenar el generador. Esto desacopla el diseño del tamaño del tokenizador del del generador, permitiendo un escalamiento eficiente.

3. Contribuciones Clave

1. Descomposición Limpia de Información: SelfBootTok resuelve la redundancia separando la semántica global y los detalles locales en grupos de tokens distintos, simplificando la tarea del generador.
2. Predicción de Auto-Arranque: El modelo predice detalles locales finos directamente desde los tokens globales usando datos no etiquetados, eliminando la necesidad de pares imagen-texto extensos para el aprendizaje de detalles y trasladando parte del proceso de generación hacia el flujo de compresión.
3. Generación Eficiente: Al requerir que el generador produzca solo tokens globales, el método reduce los costos computacionales en aproximadamente un 40% y el tiempo de entrenamiento en un 54% en comparación con los enfoques de escalamiento que requieren reentrenar generadores.
4. Arquitectura Escalable: El marco permite escalar el aprendizaje de representaciones locales (de 10M a 600M de parámetros) mientras se reutiliza el mismo generador entrenado, logrando un nuevo estado del arte en rendimiento sin reentrenar el modelo de generación.

4. Resultados Experimentales

Los experimentos se realizaron en ImageNet-256 ($256 \times 256$) con un presupuesto de 64 tokens.

• Calidad de Reconstrucción: SelfBootTok logra un FID de reconstrucción (rFID) de 0.66, superando a otros tokenizadores 1D (por ejemplo, SoftVQ con 0.88, TiTok-B con 1.70) y desempeñándose de manera comparable a métodos que utilizan 256 tokens (por ejemplo, SD-VAE).
• Rendimiento de Generación: El método alcanza un FID de generación (gFID) de 1.56, un estado del arte entre los tokenizadores 1D. Esto es comparable a los mejores tokenizadores 2D (VA-VAE: 1.35) y modelos autorregresivos (MAR-H: 1.55), a pesar de utilizar significativamente menos tokens.
• Eficiencia: La estrategia de entrenamiento paralelo reduce el costo computacional total de 4.9B de parámetros/60K GFLOPs a 2.95B/36.6K GFLOPs y acorta el tiempo de entrenamiento de 28 días a 13 días.
• Estudios de Ablación: Los resultados confirman que la inclusión de ambas ramas locales 1D y 2D, así como el uso de I-JEPA para la alineación, producen el mejor rendimiento. El diseño de auto-arranque mejora significativamente la reconstrucción en todas las métricas (rFID, PSNR, SSIM).

5. Significado y Reivindicaciones

El artículo afirma que SelfBootTok establece un nuevo paradigma para la tokenización de imágenes que equilibra eficazmente la compresión y la generación. Al trasladar el aprendizaje de los detalles visuales al tokenizador mediante el auto-arranque, el método permite:

• Eficiencia Superior: Los generadores se vuelven mucho más eficientes, requiriendo solo tokens globales para producir imágenes de alta calidad.
• Escalabilidad: La capacidad de escalar el aprendizaje de representaciones locales usando más datos o parámetros sin reentrenar el generador.
• Estado del Arte en Rendimiento: Lograr una calidad de generación de primer nivel (gFID 1.56) con solo 64 tokens, demostando que las representaciones latentes compactas pueden retener suficiente detalle para una generación de alta fidelidad cuando la información global y local se descompone adecuadamente.

Los autores enfatizan que este enfoque valida el potencial del auto-arranque en la tokenización de imágenes, ofreciendo una solución a los problemas de redundancia y escalabilidad que afectan a los métodos actuales de tokenización 1D.