🤖 machine learning

Abra: Scaling Diffusion Image Training

Este artículo presenta Abra, una familia controlada de transformadores de ajuste de flujo (flow-matching transformers) utilizada para establecer leyes de escalado computacionalmente óptimas para modelos de difusión de texto a imagen, revelando que escalan de manera predecible como los modelos de lenguaje pero requieren significativamente más datos por parámetro y son robustos al sobreentrenamiento.

Autores originales: Kyle Chickering, Wei-An Lin, Swayam Bhanded, Dan Saunders, Akshat Tripathi, Jiaming Song, Shyamal Buch, Xinchen Yan

Publicado 2026-08-19

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kyle Chickering, Wei-An Lin, Swayam Bhanded, Dan Saunders, Akshat Tripathi, Jiaming Song, Shyamal Buch, Xinchen Yan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En la era moderna de la inteligencia artificial, una revolución silenciosa se ha venido gestando en la forma en que los científicos construyen los programas informáticos más potentes. Durante años, los investigadores han dependido de un conjunto de reglas conocidas como leyes de escalado para decidir cómo emplear su potencia de cálculo. Estas reglas actúan como una guía de presupuesto, indicando a los ingenieros si deben construir un cerebro ligeramente más grande para su software o alimentarlo con una biblioteca de información mucho más extensa. En el mundo de la IA basada en texto, estas reglas han sido notablemente claras: para obtener los mejores resultados, se debe dividir el presupuesto de computación de forma aproximadamente equitativa entre el tamaño del modelo y la cantidad de datos que este lee. Este equilibrio ha permitido que las máquinas aprendan el lenguaje con una eficiencia sorprendente, dando lugar a las sofisticadas herramientas que vemos hoy en día. Sin embargo, cuando se trata de enseñar a las computadoras a crear imágenes, las reglas han seguido siendo un misterio. Los datos visuales son mucho más complejos y ruidosos que el texto, y los intentos previos de mapear estas reglas para los generadores de imágenes se han visto limitados por la falta de experimentos a gran escala. Sin una guía clara, los desarrolladores han estado adivinando cómo equilibrar el tamaño del modelo y el volumen de datos, desperdiciando a menudo enormes cantidades de energía y tiempo.

Un equipo de investigadores de Luma AI ha intervenido ahora para resolver este enigma mediante un experimento masivo y sistemático. Construyeron una familia controlada de modelos de generación de imágenes, que van desde muy pequeños hasta bastante grandes, y los entrenaron utilizando una cantidad de potencia de cálculo asombrosa, muy superior a la de cualquier estudio previo sobre este tema. Al someter a estos modelos a tres órdenes de magnitud diferentes de coste computacional, pudieron observar exactamente cómo cambia el rendimiento a medida que los modelos crecen. Su trabajo revela que las reglas para crear imágenes son fundamentalmente distintas a las reglas para procesar el lenguaje. Mientras que los modelos de texto alcanzan su pico de eficiencia tras leer unos veinte términos por cada unidad de su tamaño, los modelos de imagen requieren una dieta mucho más pesada. Los investigadores descubrieron que, para alcanzar el punto de eficiencia óptima, un modelo de texto a imagen necesita ver aproximadamente doscientos tokens de imagen por cada uno de los parámetros de su estructura. Esto significa que, para la generación de imágenes, los datos son diez veces más críticos de lo que son para los modelos de lenguaje. El viejo consejo de equilibrar el tamaño del modelo y los datos de forma igualitaria no se aplica aquí; en su lugar, la estrategia más eficaz es priorizar la alimentación del modelo con más imágenes, incluso si ello implica utilizar un cerebro más pequeño.

El estudio también descubrió una red de seguridad sorprendente para los desarrolladores. En el mundo de los modelos de lenguaje, si se entrena un sistema durante demasiado tiempo con demasiados datos, su rendimiento puede verse afectado y el esfuerzo adicional se desperdicia. Pero para los generadores de imágenes, los investigadores descubrieron que los modelos son increíblemente permisivos. Si un profesional decide entrenar un modelo durante más tiempo del estrictamente necesario, la calidad de las imágenes no disminuye significativamente. De hecho, la pérdida de rendimiento es tan pequeña que resulta casi insignificante. Este hallazgo ofrece una regla práctica para la industria: es mucho más seguro entrenar un modelo más pequeño con una gran cantidad de datos que arriesgarse a entrenar un modelo enorme con muy pocos datos. El tiempo de entrenamiento adicional actúa como un amortiguador, asegurando resultados de alta calidad sin la penalización de recursos desperdiciados que afecta a otros tipos de IA.

Más allá de la calidad final de la imagen, el equipo analizó cómo estos modelos aprenden a comprender el mundo dentro de sus cerebros digitales. Pusieron a prueba si los modelos eran buenos reconociendo objetos y patrones, una habilidad conocida como aprendizaje de representación. Descubrieron que el punto de eficiencia óptima para comprender las imágenes ocurre con un volumen de datos mucho menor que el punto para generarlas. Un modelo puede volverse muy bueno reconociendo un gato o un paisaje mucho antes de que sea perfecto pintándolos. Esto sugiere que el conocimiento interno del modelo y su capacidad para crear arte crecen a ritmos diferentes. Además, los investigadores observaron que a medida que aumenta la resolución de las imágenes, la necesidad de datos crece aún más. Entrenar un modelo para crear imágenes de alta definición requiere significativamente más información visual por unidad de tamaño de modelo que entrenar uno para crear bocetos de baja resolución.

Quizás el descubrimiento más profundo fue que estos modelos de generación de imágenes siguen un patrón universal en sus curvas de aprendizaje. Cuando los investigadores ajustaron los datos para tener en cuenta el tamaño del modelo y la cantidad de computación utilizada, el progreso del entrenamiento de cada uno de los modelos, desde el más pequeño hasta el más grande, colapsó en una única línea suave. Este fenómeno, conocido como colapso de escalado, significa que el comportamiento de un modelo diminuto puede predecir con exactitud el comportamiento de uno gigante. Sugiere que la mecánica subyacente del aprendizaje es consistente en todos los tamaños, proporcionando una herramienta poderosa para que los ingenieros predigan cómo funcionará un futuro modelo masivo sin tener que construirlo y entrenarlo primero.

Los investigadores también examinaron cómo las diferentes medidas de éxito, como qué tan bien coincide la imagen con una descripción de texto o qué tan realista parece, escalan con la potencia de cálculo. Encontraron que estos diferentes objetivos no alcanzan su punto máximo al mismo tiempo. Algunas métricas, como qué tan bien sigue la imagen una instrucción, prefieren un equilibrio de datos y tamaño distinto al de otras, como qué tan cerca está la imagen de la distribución de las fotografías del mundo real. Esto indica que no existe una configuración única "perfecta" para un generador de imágenes; la mejor configuración depende enteramente de lo que el usuario quiera que haga el modelo. Además, descubrieron que los ajustes utilizados para guiar el proceso de generación, que controlan qué tan estrictamente sigue el modelo las instrucciones, deben ajustarse a medida que el modelo crece. Una mayor capacidad generativa requiere, de hecho, menos guía para producir buenos resultados.

Al final, este trabajo proporciona un mapa claro y basado en datos para el futuro de la generación de imágenes. Aleja al campo de las conjeturas y lo acerca a una comprensión precisa de cómo asignar los recursos. La conclusión central es que, para la creación de imágenes, los datos son el rey. El camino más eficiente no es construir el modelo más grande posible, sino asegurar que cualquier modelo que se construya sea alimentado con una vasta cantidad de información visual. Al seguir estas nuevas reglas, los desarrolladores pueden construir sistemas mejores y más eficientes que creen imágenes impresionantes sin desperdiciar la inmensa energía requerida para entrenarlos. El estudio confirma que, si bien el camino hacia la generación de imágenes perfecta es diferente al camino hacia el lenguaje perfecto, es igual de predecible e igual de abierto al descubrimiento.

Resumen Técnico: ABRA: ESCALADO DEL ENTRENAMIENTO DE DIFUSIÓN DE IMÁGENES

Declaración del Problema

Si bien las leyes de escalado computacionalmente óptimas se han convertido en una herramienta industrial estándar para guiar el entrenamiento de los modelos de lenguaje extensos (LLM) de frontera, su aplicación a la generación visual permanece ampliamente inexplorada. La extensión del análisis de escalado a los modelos de difusión de texto a imagen presenta desafíos únicos, incluyendo una mayor dimensionalidad, una densidad de información de tokens dependiente de la resolución y curvas de entrenamiento más ruidosas. Trabajos previos, como el de Liang et al. (2024), han intentado ajustar perfiles iso-FLOP, pero a menudo dependen de la extrapolación desde presupuestos de cómputo menores (por debajo de $10^{19}$ FLOPs) o carecen de una familia de modelos controlada, lo que conduce a ajustes empíricos potencialmente imprecisos. Existe la necesidad de un estudio sistemático a través de un rango más amplio de presupuestos de cómputo para determinar cómo se deben asignar el tamaño del modelo ( $N$ ) y el tamaño del conjunto de datos ( $D$ ) para minimizar la pérdida y maximizar la calidad generativa.

Metodología

Los autores introducen ABRA, una familia controlada de transformadores de flujo denso (flow-matching) diseñada específicamente para el análisis de escalado sistemático.

Familia de Modelos: ABRA consiste en seis modelos que van desde 60M hasta 2B de parámetros. La arquitectura combina elementos de modelos de código abierto como FLUX.2 y PixArt- $\alpha$ , utilizando una estructura de bloques de doble flujo/flujo único con una tasa de expansión de FFN fija de 6. Los modelos son entrenados en el conjunto de datos DataComp-1B, recapturado utilizando modelos de visión-lenguaje de código abierto para mejorar la calidad de los subtítulos (captions).
Régimen de Entrenamiento: Los modelos son entrenados utilizando un objetivo de flujo de predicción- $v$ con una formulación de difusión latente (VAE de FLUX). El entrenamiento abarca tres órdenes de magnitud en cómputo, de $10^{19}$ a $10^{22}$ FLOPs de tokens de imagen. Los autores sobreentrenan intencionalmente los modelos hasta 400 Tokens Por Parámetro (TPP) para asegurar que el punto computacionalmente óptimo se encuentre dentro del interior de su rango de búsqueda.
Transferencia de Hiperparámetros: El estudio emplea $\mu$ P (Parametrización de Actualización Máxima) para transferir hiperparámetros (específicamente la tasa de aprendizaje de $4 \times 10^{-4}$ ) a través de la familia de modelos, asegurando que las diferencias de rendimiento se deban al escalado y no a un ajuste subóptimo.
Evaluación: Los autores evalúan la pérdida de entrenamiento, la precisión de la sonda lineal (para la calidad de la representación) y un conjunto de métricas generativas (FID, KID, CLIPScore, CMMD y distancias basadas en DINOv2). Crucialmente, realizan un barrido de la escala de Guía Libre de Clasificador (CFG) para cada modelo y métrica para identificar las configuraciones óptimas, en lugar de utilizar un valor de guía fijo.

Contribuciones Clave

Regla de Escalado Accionable para Modelos de Difusión: El artículo deriva una regla de escalado computacionalmente óptima para transformadores de difusión de texto a imagen, estableciendo que la optimalidad se logra aproximadamente a 200 tokens de imagen por parámetro (TPP). Esto es aproximadamente 10 veces mayor que la "regla Chinchilla" (20 TPP) establecida para los LLM.
Robustez al Sobreentrenamiento: El estudio caracteriza el fenómeno del sobreentrenamiento en los modelos de difusión, encontrando que son notablemente robustos a este. A diferencia de los LLM, donde desviarse del TPP óptimo incurre en una penalización significativa de la pérdida, los modelos de difusión sufren una degradación de rendimiento insignificante (menos del 0.5% de penalización de pérdida) incluso cuando se entrenan con el doble de datos de lo óptimo.
Escalado Heterogéneo de Capacidades: Los autores demuestran que diferentes capacidades escalan de manera distinta. Mientras que las métricas de calidad generativa (como FID) y la pérdida de entrenamiento alcanzan su máximo alrededor de 200 TPP, la precisión de la sonda lineal (que representa la comprensión de imágenes) alcanza su máximo en un TPP significativamente menor. Esto sugiere un "doble punto" donde tanto la generación como la comprensión son conjuntamente óptimas, estimado en aproximadamente $5 \times 10^{22}$ FLOPs con un modelo de 6B de parámetros.
Colapso de Escala (Scaling Collapse): Por primera vez, el artículo demuestra que el entrenamiento de modelos de difusión computacionalmente óptimos exhibe un colapso de escala. Cuando las curvas de entrenamiento se reescalan adecuadamente por cómputo, las trayectorias de pérdida de diferentes tamaños de modelo colapsan en una forma universal única, indicando que la dinámica de entrenamiento es predecible e independiente del tamaño del modelo una vez normalizada.
Efectos de Resolución: El estudio muestra que el entrenamiento a mayor resolución requiere más tokens de imagen para alcanzar la optimalidad de cómputo. A medida que la resolución aumenta de 256px a 768px, el TPP óptimo aumenta de ~165 a ~247, aunque el número de imágenes distintas requeridas por parámetro disminuye.

Resultados Empíricos

Optimalidad de Cómputo: A través de varios procedimientos de ajuste y tamaños de modelo (excluyendo el valor atípico de 60M), el TPP óptimo se agrupa consistentemente alrededor de 200. La relación entre el tamaño del modelo y el tamaño de los datos sigue una ley de escalado equilibrada ( $N \propto C^{0.5}$ , $D \propto C^{0.5}$ ), contradiciendo hallazgos previos que sugerían que los modelos deberían escalar más rápido que los datos.
Métricas Generativas: Todas las métricas generativas probadas siguen leyes de potencia predecibles con respecto al cómputo. Sin embargo, el TPP óptimo varía según la métrica: FID y KID favorecen un TPP más alto (requiriendo más datos), mientras que CLIPScore y CMMD favorecen un TPP más bajo (requiriendo más parámetros en relación con los datos).
Dinámica de CFG: La escala de CFG óptima disminuye a medida que el tamaño del modelo y los pasos de entrenamiento aumentan. Una mayor capacidad generativa requiere menos guía para alcanzar la calidad óptima.
Colapso de Escala: En el primer 15% del entrenamiento, las curvas de pérdida reescaladas de la familia ABRA colapsan hacia el piso de ruido. Para el resto del entrenamiento, la desviación entre modelos de diferentes tamaños permanece por debajo del piso de ruido de un solo modelo entrenado con diferentes semillas, confirmando la predictibilidad de la dinámica de entrenamiento.

Significancia y Reivindicaciones

El artículo afirma proporcionar los ajustes empíricos más precisos para las leyes de escalado computacionalmente óptimas en el modelado de difusión de texto a imagen hasta la fecha, utilizando un orden de magnitud más de cómputo que estudios previos. La principal significancia radica en el cambio de paradigma para los profesionales: los modelos de difusión requieren significativamente más datos que los LLM para alcanzar la optimalidad de cómputo, y son robustos al sobreentrenamiento.

Consecuentamente, los autores argumentan que los profesionales deben "errar hacia el lado de tener más datos en lugar de un modelo más grande". Este hallazgo desafía la intuición de que los modelos más grandes son siempre superiores y proporciona una directriz concreta y accionable (200 TPP) para la asignación de presupuestos de cómputo en tareas de generación visual. Además, el descubrimiento del colapso de escala sugiere que la dinámica de entrenamiento de los modelos de difusión es tan predecible como la de los modelos de lenguaje, permitiendo mejores herramientas de diagnóstico y planificación de recursos para futuros sistemas de generación visual a gran escala.