💻 computer science

Twins: Learn to Predict Unified Representations with Focal Loss

El artículo propone "Twins", un espacio de tokens continuos unificado que concatena características de ViT y VAE, y aborda el desequilibrio de optimización resultante en los modelos de difusión mediante la adaptación de un objetivo de regresión focal para mejorar significativamente tanto la calidad de la generación de imágenes como el rendimiento de la comprensión multimodal.

Autores originales: Kaixiong Gong, Xin Cai, Bin Lin, Hao Wang, Yunlong Lin, Mingzhe Zheng, Bohao Li, Jian-Wei Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Xiangyu Yue

Publicado 2026-07-27

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kaixiong Gong, Xin Cai, Bin Lin, Hao Wang, Yunlong Lin, Mingzhe Zheng, Bohao Li, Jian-Wei Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Xiangyu Yue

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir un robot que pueda tanto ver el mundo como un humano y pintar cuadros como un artista. En el mundo de la inteligencia artificial, estas dos tareas suelen requerir conjuntos de herramientas completamente diferentes. Para "ver" y comprender una imagen (como saber que una foto muestra un "golden retriever"), la IA utiliza un mapa cerebral de alto nivel que captura las grandes ideas pero ignora los detalles diminutos como la textura del pelaje. Para "pintar" o generar una nueva imagen, la IA necesita una herramienta diferente que se aferre a cada píxel y detalle fino, pero que a menudo pierde el significado de la visión general. Durante mucho tiempo, los científicos han estado atrapados intentando forzar estas dos herramientas diferentes para que trabajen juntas, teniendo a menudo que elegir entre un robot que entiende bien pero pinta imágenes borrosas, o uno que pinta maravillosamente pero no sabe qué está dibujando. Este artículo aborda ese delicado acto de equilibrio, preguntándose: ¿podemos crear un único "lenguaje" para el robot que le permita hacer ambas cosas perfectamente al mismo tiempo?

Los investigadores detrás de este estudio, conocidos como "Twins", decidieron dejar de elegir entre las dos herramientas y, en su lugar, las pegaron. Tomaron el mapa "cerebral" (de un sistema llamado SigLIP) y el mapa "orientado al detalle" (de un sistema llamado VAE) y los cosieron uno al lado del otro en una sola tira larga de información. Piensa en ello como si le dieras a tu robot un par de gafas donde la lente izquierda ve la imagen general y la lente derecha ve los detalles finos, todo en una sola vista. Sin embargo, cuando intentaron enseñar a su modelo de IA a usar esta nueva vista combinada, se toparon con un obstáculo. El modelo era perezoso; amaba la parte fácil y general y omitía por completo la parte difícil y detallada, lo que resultaba en imágenes generadas que eran difusas y carecían de textura.

Para solucionar esto, el equipo descubrió por qué el modelo estaba siendo perezoso. Descubrieron que la parte "fácil" de los datos era suave y simple, mientras que la parte "difícil" estaba llena de detalles complejos y ruidosos. La IA prefería naturalmente lo suave, tal como un estudiante podría saltarse los problemas matemáticos difíciles para hacer primero los fáciles de ortografía. Para resolver esto, inventaron una regla de entrenamiento especial llamada "Focal Loss" (Pérdida Focal). Imagina a un profesor que, en lugar de calificar cada pregunta por igual, otorga puntos de crédito extra por responder correctamente las preguntas más difíciles. Esto obligó a la IA a prestar atención a las partes difíciles y detalladas de la imagen que intentaba aprender.

Los resultados fueron impresionantes. Al usar esta nueva regla de "Focal Loss", la IA dejó de ignorar los detalles. En una prueba estándar de calidad de imagen, el nuevo método mejoró la puntuación hasta en 10.57 puntos en comparación con la forma antigua de entrenar, sin necesidad de trucos adicionales para guiarlo. Las imágenes que generaba eran nítidas y claras, y el robot aún podía entender lo que estaba dibujando tan bien como antes. El artículo sugiere que este enfoque logra romper el antiguo "triángulo imposible" donde tenías que sacrificar una habilidad por otra, demostando que, con los trucos de entrenamiento adecuados, un solo modelo de IA puede verdaderamente dominar tanto el ver como el crear.

Resumen Técnico: Twins: Aprender a Predecir Representaciones Unificadas con Pérdida Focal (Focal Loss)

1. Planteamiento del Problema

Los modelos multimodales unificados buscan utilizar un único modelo y un espacio de representación compartido para soportar tanto la comprensión multimodal como la generación de imágenes. Los enfoques existentes enfrentan un compromiso persistente, a menudo descrito como un "triángulo imposible" entre Comprensión, Reconstrucción y Generación:

Métodos Discretos: Unifican la interfaz mediante un libro de códigos (codebook) compartido, pero suelen tener dificultades con la fidelidad de la reconstrucción o requieren una tokenización compleja.
Métodos Continuos: Dependen típicamente de dos representaciones dispares: características semánticas de alto nivel (ej. ViT) para la comprensión y latentes de bajo nivel (ej. VAE) para la síntesis. Esta división crea espacios latentes desajustados, obligando a los sistemas a realizar viajes adicionales de decodificación-codificación para "comprender" sus propias generaciones y rompiendo la consistencia representacional.
Intentos Recientes: Métodos como UniFlow y UniLip intentan unificar las representaciones comprimiendo las características de alta dimensión de CLIP, pero esta reducción de dimensionalidad compromete la capacidad de comprensión. Por el contrario, enfoques como RAE, que generan embeddings semánticos de alta dimensión (ej. DINOv2), no logran reconstruir detalles de alta frecuencia, lo que resulta en una mala calidad de imagen.

El desafío central es obtener una representación continua única que soporte simultáneamente una fuerte comprensión semántica, una reconstrucción de alta fidelidad y una predictibilidad apta para la generación sin aumentar el costo computacional (ej. costos de atención).

2. Metodología

2.1. La Representación Twins

Los autores proponen Twins, un espacio de tokens continuos unificado formado por la concatenación por canales de las características de dos codificadores preentrenados sobre la misma rejilla de tokens:

Componente ViT: Características ricas en semántica de SigLIP2, optimizadas para el razonamiento semántico discriminativo.
Componente VAE: Latentes que preservan el detalle de Flux.2 VAE, optimizados para la fidelidad de reconstrucción a nivel de píxel.

Al concatenar a lo largo de la dimensión de los canales en lugar de la dimensión de la secuencia, Twins mantiene la longitud de la secuencia original. Esto asegura que el costo cuadrático de la atención ( $O(L^2)$ ) no aumente con el número de tokens, preservando la eficiencia computacional.

2.2. El Desequilibrio de Optimización

Al entrenar un Transformer de Difusión (DiT) para predecir la representación unificada de Twins, los autores observaron un severo desequilibrio de optimización: el modelo se ajusta bien al componente ViT (SigLIP) pero tiene dificultades para igualar la distribución del latente del VAE, lo que provoca imágenes borrosas y puntuaciones FID deficientes.

Los autores atribuyen este desequilibrio a tres fuentes de heterogeneidad:

Sesgo Espectral: Las características de ViT están dominadas por señales de baja frecuencia, mientras que las características de VAE contienen una energía significativa de alta frecuencia (textura, ruido). Las redes neuronales priorizan naturalmente el aprendizaje de funciones de baja frecuencia (teoría del Sesgo Espectral), causando que el DiT se ajuste primero a las características de ViT y trate los detalles de VAE como ruido difícil de aprender.
Dimensionalidad Intrínseca (ID): Aunque SigLIP tiene una dimensión física mayor (768) que el VAE (128), su dimensión intrínseca es significativamente menor (~15 vs. ~35). El manifold de baja ID de SigLIP es más fácil de aprender, mientras que el manifold de alta ID del VAE presenta un paisaje de optimización más complejo.
Dependencia Condicional: Las características de SigLIP están altamente estructuradas y alineadas con la condición (deterministas dada una etiqueta de clase), mientras que las características de VAE retienen una incertidumbre significativa independiente de la condición. El modelo prioriza naturalmente el objetivo predecible y alineado con la condición.

2.3. Focal Loss para Flow Matching

Para abordar este desequilibrio, los autores adaptan una estrategia de Focal Loss para el objetivo de Flow Matching. En lugar de usar el Error Cuadrático Medio (MSE) estándar que trata todas las dimensiones por igual, introducen un esquema de reponderación para los canales del VAE:

La función de pérdida asigna penalizaciones más altas a los residuales "difíciles" (errores grandes) en las dimensiones del VAE.
El factor de ponderación se define como $w_i = |v_i - v_\theta(z, t)_i|^{2\gamma}$ , donde $\gamma$ se establece en 0.5.
Esto obliga al modelo a enfocarse en las características de VAE de alta frecuencia, difíciles de aprender, evitando que la optimización se estanque en un óptimo local dominado por las características más fáciles de ViT.

3. Contribuciones Clave

Representación Unificada (Twins): Una concatenación simple y eficiente de canales de características de ViT y VAE que soporta tanto la comprensión como la generación sin aumentar la longitud de la secuencia o los costos de atención.
Análisis del Desequilibrio: Una identificación y análisis sistemático del desequilibrio de optimización en el modelado conjunto, atribuyéndolo al sesgo espectral, la dimensionalidad intrínseca y la dependencia condicional.
Adaptación de Focal Loss: La aplicación de una estrategia de reponderación focal al Flow Matching, que mitiga eficazmente el desequilibrio al aumentar el peso de las dimensiones difíciles del VAE.
Ganancias de Rendimiento: Demostración de que este enfoque produce mejoras sustanciales en la generación sobre la pérdida MSE naive, manteniendo un rendimiento competitivo en la comprensión multimodal.

4. Resultados Experimentales

4.1. Reconstrucción

En el conjunto de validación ImageNet-1K, Twins logra métricas de reconstrucción de vanguardia entre los tokenizadores unificados:

PSNR: 31.46
SSIM: 0.90
rFID: 0.11
Twins supera significativamente a RAE (PSNR 18.83) e iguala la calidad de reconstrucción de autoencoders generativos dedicados como Wan2.2 y SD-VAE 3, demostrando que la representación unificada retiene la consistencia de píxel perfecto.

4.2. Comprensión Multimodal

Al integrarse en un pipeline de VLM (usando Qwen2.5-7B), Twins se desempeña de manera competitiva frente a codificadores especializados:

Generalmente supera la sólida línea base de SigLIP2.
La inclusión de características de bajo nivel del VAE produce mejoras en tareas de grano fino como GQA (64.93 vs. 64.54) y TQA (58.89 vs. 56.92), atribuido a la preservación de texturas y detalles exactos de la forma que suelen ser abstraídos por los codificadores puramente semánticos.

4.3. Generación de Imágenes

En ImageNet@256 y @512:

Sin Guía: El modelo base de Twins con pérdida MSE muestra un FID pobre (degradado comparado con la línea base de Flux.2 VAE). Aplicar Focal Loss mejora significativamente la predicción de las características del VAE, reduciendo el FID de 14.41 (MSE) a 3.84 (Focal Loss) a las 80 épocas.
Con Guía: Twins logra un gFID de 1.59 (ImageNet@256) y 1.79 (ImageNet@512) con guía libre de clasificador (classifier-free guidance).
Resolución del Compromiso: Aunque RAE logra un FID ligeramente menor, Twins supera significativamente a RAE en calidad de reconstrucción (PSNR), cerrando con éxito la brecha entre las representaciones orientadas a la comprensión y las orientadas a la generación.

5. Significado y Reivindicaciones

El artículo afirma que Twins logra romper el "triángulo imposible" de la tokenización visual mediante la construcción de una representación unificada que fusiona explícitamente las características semánticamente ricas de ViT con las características de detalle de VAE.

La importancia radica en:

Simplicidad: Evita rediseños arquitectónicos complejos o codificadores residuales adicionales, apoyándose en su lugar en la concatenación directa de codificadores ya existentes.
Optimización Equilibrada: Identifica y resuelve el modo de falla específico donde los DiTs ignoran los detalles de alta frecuencia en espacios unificados, proporcionando una solución generalizable (Focal Loss) para el modelado conjunto de características heterogéneas.
Interfaz Unificada: Permite que un modelo tanto comprenda como genere en el mismo espacio de tokens, eliminando la necesidad de pasos adicionales de decodificación-codificación y asegurando la consistencia representacional a través de las tareas.

Los autores concluyen que, si bien el modelado conjunto de características heterogéneas no es trivial, la estrategia propuesta establece una nueva línea base para la generación de representaciones unificadas, permitiendo la predicción de alta calidad tanto de latentes semánticos como de detalle fino en un solo marco de trabajo.