Resumen Técnico: Modelo Generativo de Lenguaje Unificado de Tokens Pix y Tokens Palabra

1. Declaración del Problema

Los autores identifican limitaciones críticas en los modelos multimodales de código abierto más avanzados actuales (por ejemplo, LLaVA, Kimi-2.5, Qwen-2.5-VL) que dependen de Transformadores de Visión (ViT) preentrenados mediante métodos contrastivos como CLIP o SigLIP como codificadores de visión. El artículo argumenta que esta arquitectura sufre cuatro problemas principales:

1. Pérdida de Detalle: El ViT codifica imágenes en vectores de características similares al texto, lo que puede fallar al representar detalles finos como texto pequeño o números dentro de una imagen.
2. Inestabilidad (La "Reacción en Cadena"): Cambios menores en una imagen (por ejemplo, que un número de matrícula cambie de 1 a 6) provocan que todos los números de punto flotante en las características codificadas cambien, lo que lleva a representaciones inestables.
3. Incrustaciones de Tokens "Falsos": El ViT genera incrustaciones de tokens mediante la fragmentación de píxeles. Estas incrustaciones carecen de parámetros realmente ajustables, limitando su poder expresivo en comparación con los tokens de palabra en los Modelos de Lenguaje Grandes (LLM).
4. Limitaciones del Entrenamiento Supervisado: CLIP y SigLIP dependen del entrenamiento supervisado con conjuntos de datos limitados, lo que conduce a posibles deficiencias en escenarios fuera de la distribución.

2. Metodología

El artículo propone un Modelo Generativo de Lenguaje Unificado de Tokens Pix y Tokens Palabra que trata los píxeles de la imagen como tokens de primera clase, similares a las palabras, eliminando la necesidad de un codificador ViT separado. La metodología consta de tres componentes principales:

2.1 Incrustación de Token Pix

En lugar de la fragmentación, el modelo asigna una incrustación de token única y aprendible a cada píxel individual.

• Cálculo del Token: Un píxel con valores RGB $(r, g, b)$ se mapea a un valor de token único utilizando la fórmula: $TokenValue = r + g \times L + b \times L^2$, donde $L$ es la longitud del canal de color (predeterminado 256).
• Espacio de Incrustación: Esto crea un vocabulario de $256^3$ (aproximadamente 16.7 millones) de tokens. Cada token tiene su propio vector de incrustación independiente y entrenable de dimensión $d$, permitiendo parámetros ajustables similares a los tokens de palabra.
• Preprocesamiento sin Pérdidas: A diferencia de los métodos tradicionales que normalizan los valores RGB a números de punto flotante (introduciendo errores de truncamiento), este método utiliza una tokenización basada en enteros, asegurando un preprocesamiento de datos sin pérdidas.

2.2 Plegado de Color

Para abordar la inviabilidad computacional de un tamaño de vocabulario de 16.7 millones, los autores introducen el Plegado de Color.

• Concepto: Un "Factor de Plegado" ($f$) reduce la longitud del canal de color de $L$ a $L/f$. El nuevo valor de color se convierte en $(R//f, G//f, B//f)$.
• Fundamento: Los autores argumentan que el ojo humano no puede distinguir diferencias de color mínimas (por ejemplo, cambios de 8 unidades en un canal de 8 bits). Reducir el espacio de color (por ejemplo, usando un factor de plegado de 16) reduce drásticamente el tamaño del vocabulario de tokens (a 4,096 para $f=16$) y la carga computacional, manteniendo la fidelidad visual.

2.3 Arquitectura de Modelo Unificado

El modelo integra tokens de palabra y tokens pix en una única secuencia generativa.

• Aproximación de Ventana Global a Local: Para evitar la complejidad $O(N^2)$ de la atención auto-global en secuencias largas de píxeles, el modelo convierte la secuencia global de píxeles en un lote de ventanas locales.
• Atención de Ventana Local: Dentro de cada ventana, se realiza una atención auto-múltiple enmascarada.
• Aproximación de Atención Condicional Global: El modelo extrae la última incrustación de token de cada ventana local. Estas incrustaciones se combinan luego con las incrustaciones de tokens de palabra y se pasan a través de los decodificadores transformadores subsiguientes. Los autores afirman que esto aproxima la atención condicional global, ya que la probabilidad de la salida $Y$ dada la entrada se aproxima mediante la probabilidad dada las representaciones agregadas de las ventanas locales.
• Estrategia de Predicción: El modelo predice el siguiente token, que puede ser un token de palabra o el primer token de píxel de la siguiente ventana local.

3. Contribuciones Clave

1. Tokenización Verdadera por Píxel: La propuesta de "Incrustaciones de Token Pix" donde cada píxel tiene una incrustación independiente y entrenable, en contraste con las incrustaciones "falsas" basadas en fragmentos del ViT.
2. Plegado de Color: Una técnica novedosa para reducir la complejidad computacional de la tokenización de píxeles mediante la cuantización del espacio de color basada en los límites de la percepción visual humana, haciendo viable el entrenamiento no supervisado a nivel de píxel.
3. Arquitectura Unificada: Un modelo generativo que unifica tokens de texto e imagen en una sola secuencia, permitiendo que el modelo realice atención auto y predicción de tokens en ambas modalidades simultáneamente.
4. Preentrenamiento No Supervisado de Imágenes: Un marco que permite a los modelos aprender patrones directamente de datos masivos de imágenes sin etiquetas supervisadas, reflejando el éxito del preentrenamiento de texto de GPT-3.

4. Resultados Experimentales

Los autores realizaron experimentos centrados en el preentrenamiento no supervisado de imágenes debido a recursos informáticos limitados.

• Configuración: Un modelo pequeño (120 millones de parámetros) fue entrenado con 100,000 muestras del conjunto de datos llava-cc3m-pretrain-595k (aproximadamente 5 mil millones de tokens de píxeles). El tamaño de la imagen fue 224x224 con un factor de plegado de color de 16.
• Hallazgos:
  • Las curvas de pérdida de entrenamiento y validación convergieron de manera similar al preentrenamiento de texto de GPT-3, pero con una convergencia más rápida en relación con el número de tokens de píxeles procesados.
  • El modelo demostró la capacidad de aprender patrones de secuencias de tokens de píxeles incluso con una pequeña cantidad de parámetros y datos limitados.
• Limitaciones: Los autores declaran explícitamente que no pudieron probar modelos a gran escala ni preentrenamiento mixto de texto e imagen debido a restricciones de recursos.

5. Significado y Afirmaciones

El artículo afirma que esta arquitectura representa un cambio fundamental en el aprendizaje multimodal:

• Escalabilidad: Los autores creen que el modelo se ajusta a la ley de escalado; a medida que aumentan los parámetros del modelo y los datos de entrenamiento, el rendimiento seguirá mejorando, potencialmente superando los enfoques actuales basados en ViT.
• Robustez: Al aislar los cambios de píxeles en incrustaciones de tokens específicas en lugar de alterar todo un vector de características, el modelo es más robusto ante perturbaciones menores de la imagen.
• Potencial Futuro: Los autores postulan que este método podría reemplazar la cadena de CLIP/SigLIP en producción, ofreciendo un enfoque más detallado, estable y escalable para la comprensión visual. Expresan la esperanza de que, con suficientes recursos informáticos, el potencial del modelo podría beneficiar a la humanidad en general.

El artículo concluye que el modelo propuesto unifica exitosamente tokens de píxeles y tokens de palabra, permitiendo un preprocesamiento sin pérdidas y un preentrenamiento no supervisado, abordando así las limitaciones inherentes de los codificadores de visión actuales basados en aprendizaje contrastivo.