🤖 machine learning

Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation

Este artículo introduce multi-axis max@K, un objetivo de aprendizaje por refuerzo basado en grupos que mejora la diversidad y la equidad demográfica de la generación de texto a imagen al asignar crédito a las muestras solo cuando mejoran de manera única la cobertura de modos semánticos específicos dentro de un lote, logrando así puntuaciones de equidad más altas sin comprometer la calidad de la imagen o la alineación con el prompt.

Autores originales: Ku Onoda, Paavo Parmas, Hiroki Furuta, Soichiro Nishimori, Yuta Oshima, Shohei Taniguchi, Yutaka Matsuo

Publicado 2026-07-17

📖 9 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ku Onoda, Paavo Parmas, Hiroki Furuta, Soichiro Nishimori, Yuta Oshima, Shohei Taniguchi, Yutaka Matsuo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que entras en un estudio de arte gigante y mágico donde un robot artista puede pintar instantáneamente cualquier cuadro que describas. Dices: "Dibuja un detective", ¡y puf!, aparece un detective. Lo dices de nuevo y aparece otro detective. Pero aquí está el truco: cada vez que lo pides, el robot pinta exactamente el mismo tipo de detective —tal vez siempre un hombre alto con gabardina—. Es como si el robot tuviera un atuendo favorito y se negara a intentar cualquier otra cosa. Este es un problema común con la IA de "texto a imagen" moderna. Aunque estos robots son increíblemente buenos creando imágenes que parecen reales y coinciden con tus palabras, a menudo se quedan estancados en una rutina, produciendo las mismas pocas variaciones una y otra vez. Esto es un gran problema porque si pides un "doctor" o un "líder", y el robot solo te muestra siempre un tipo específico de persona, refuerza una visión estrecha e injusta del mundo. Los científicos llaman a esto una falta de "diversidad".

Para solucionar esto, los investigadores suelen intentar decirle al robot: "¡Haz que se vea diferente!". Pero a menudo, cuando obligan al robot a ser diferente, las imágenes empiezan a verse raras, borrosas o simplemente mal. El robot se confunde y deja de escuchar tus instrucciones. Este artículo presenta una nueva y astuta forma de enseñar al robot a ser diverso sin perder la compostura. Los autores proponen un método llamado "Multi-Axis Max@K". Piensa en esto como un concurso de talentos donde no solo eliges al mejor cantante; en su lugar, miras a todo un grupo de concursantes y dices: "Muy bien, este es el mejor cantante, este es el mejor bailarín y este es el mejor mago". El objetivo no es que una sola persona lo haga todo perfectamente; el objetivo es que todo el grupo cubra todos los aspectos. Los investigadores probaron esta idea y descubrieron que ayuda a la IA a generar una variedad mucho más amplia de personas y colores, haciendo que los resultados sean más justos e interesantes, todo esto manteniendo las imágenes nítidas y fieles a tu descripción.

El Problema: El atuendo "favorito" del Robot

Imagina que tienes un amigo al que le encanta dibujar. Le pides que dibuje un "gato". Dibuja un gato atigrado naranja y esponjoso. Le pides de nuevo y dibuja exactamente el mismo gato atigrado naranja. Le pides una tercera vez y sigue siendo el mismo gato atigrado naranja. Tu amigo no es malo dibujando; simplemente está atrapado en un bucle. Tiene un "modo favorito" de dibujar gatos y sigue cayendo en él.

En el mundo de la Inteligencia Artificial (IA), específicamente en los modelos de "Texto a Imagen", esto sucede todo el tiempo. Estos modelos han sido entrenados con miles de millones de imágenes de internet. Si internet tiene más fotos de hombres blancos como doctores que de mujeres o personas de otras razas, la IA aprende que "doctor" es igual a "hombre blanco". Cuando pides un doctor, extrae información de ese banco de memoria tan estrecho.

La solución habitual es decirle a la IA: "¡Sé diversa!". Pero si solo gritas "¡sé diversa!", la IA podría confundirse. Podría empezar a dibujar un doctor que parece una papa o un gato con un estetoscopio. La IA intenta ser diferente, pero olvida cómo ser buena siguiendo tus instrucciones. Los investigadores querían una forma de hacer que la IA mostrara un grupo completo de diferentes opciones —algunos doctores que sean mujeres, otros que sean hombres, algunos que sean negros, otros que sean asiáticos— sin que las imágenes se vean mal.

La Solución: El Concurso de Talentos de "Lo Mejor del Lote"

Los autores de este artículo idearon una nueva regla para cómo aprende la IA. Lo llaman Multi-Axis Max@K. Eso suena complicado, pero vamos a desglosarlo con una historia sencilla.

Imagina que eres un profesor calificando a una clase de estudiantes. Tienes una lista de "habilidades" que quieres ver: Matemáticas, Arte, Música y Deportes.

La Forma Antigua (Recompensa Escalar): Miras a cada estudiante individualmente. "El Estudiante A es genial en Matemáticas pero malo en todo lo demás. El Estudiante B es genial en Arte pero malo en todo lo demás". Si solo sumas sus puntuaciones, podrías terminar eligiendo al estudiante que es "aceptable" en todo pero increíble en nada. O, podrías elegir al genio de las Matemáticas e ignorar el hecho de que la clase no tiene músicos.
La Nueva Forma (Multi-Axis Max@K): Miras a toda la clase como un grupo. Preguntas: "¿Quién es el mejor estudiante de Matemáticas en este grupo?". Eliges al Estudiante A. "¿Quién es el mejor estudiante de Música?". Eliges al Estudiante B. "¿Quién es el mejor en Deportes?". Eliges al Estudiante C.

La magia ocurre aquí: El grupo obtiene una puntuación alta porque tiene un genio de las Matemáticas, un genio de la Música y un genio de los Deportes, incluso si ningún estudiante individual es bueno en las tres cosas. La IA aprende que no necesita crear una imagen perfecta que lo haga todo. En su lugar, aprende que un "lote" de imágenes es exitoso si diferentes imágenes en ese lote representan cosas distintas.

La parte de "Max" significa que la IA busca el mejor ejemplo de cada categoría en el grupo. La parte de "K" significa que observa un grupo de K imágenes (como un lote de 7 o 10). La parte de "Multi-Axis" significa que comprueba muchas categorías diferentes a la vez (como diferentes tonos de piel, géneros o colores).

Cómo lo Probaron: De los Píxeles a las Personas

Los investigadores no solo adivinaron que esto funcionaría; lo probaron de tres maneras diferentes, aumentando la complejidad en cada paso.

1. El Juego de Colores (Prueba Sintética)
Primero, jugaron un juego con un programa informático sencillo. Les dijeron al programa que generara imágenes que fueran Rojas, Verdes, Azules u otros colores. Establecieron una regla donde el programa ganaba puntos si el grupo de imágenes cubría todos los colores.

Qué pasó: Cuando usaron el método antiguo de "puntuación única", el programa se volvió perezoso y simplemente hizo un montón de imágenes Rojas porque era la forma más fácil de ganar puntos. Pero cuando usaron el nuevo método "Multi-Axis Max@K", el programa se dio cuenta de que necesitaba hacer una imagen Roja, una Verde y una Azul para ganar. Empezó a diversificar sus apuestas y a crear una mezcla colorida.

2. El Rompecabezas de Píxeles (Prueba Basada en Reglas)
Después, usaron un generador de imágenes real llamado SD3.5-M (un modelo de arte de IA muy popular). Esta vez, no usaron a un humano para juzgar las imágenes. En su lugar, usaron un programa informático que observaba los píxeles y contaba los colores. Le pidieron a la IA que hiciera imágenes con temas de color específicos (como "colores cálidos" o "colores oscuros").

El Resultado: La IA aprendió a producir un lote donde una imagen era brillante y cálida, otra era fría y azul, y otra era oscura. Logró cubrir todos los "ejes" de color sin necesidad de que un humano le dijera qué era bueno.

3. La Prueba de Equidad (Apariencia Percibida)
Finalmente, abordaron el gran problema del mundo real: la Equidad. Le pidieron a la IA que generara imágenes de personas con diferentes trabajos (como "doctor", "artista", "científico"). Querían ver si la IA mostraría una mezcla diversa de razas y géneros.

La Configuración: Utilizaron herramientas automáticas para "adivinar" la raza y el género de las personas en las imágenes generadas. Definieron "modos objetivo" como "mujer negra", "hombre asiático", "mujer latina", etc.
El Resultado: Cuando usaron el nuevo método, la IA empezó a generar un grupo mucho más equilibrado.
- Antes de la corrección, un lote de 16 fotos de un "doctor" podría haber tenido 13 hombres blancos y 3 personas de otros orígenes.
- Después de la corrección, un lote de 16 fotos podría haber tenido 4 hombres blancos, 3 personas negras, 4 personas asiáticas, 2 personas indias y 3 personas latinas.
- Los investigadores midieron esto usando una "Puntuación de Equidad". Su nuevo método mejoró la puntuación en 0.23 a 0.36 en comparación con el modelo base. ¡Ese es un salto enorme! Y lo mejor de todo es que las imágenes seguían viéndose bien. El "alineamiento de texto" (qué tan bien la imagen coincidía con la palabra "doctor") se mantuvo alto y la calidad de la imagen no disminuyó.

Qué Significa Esto (y qué no)

El artículo muestra que, al cambiar cómo recompensamos a la IA, podemos hacer que sea naturalmente diversa. En lugar de forzarla a ser diferente (lo que la hace verse rara), recompensamos al grupo por tener representantes distintos.

Sin embargo, los autores tienen cuidado de decir qué es lo que esto no hace.

No crea personas nuevas de la nada. Si la IA nunca ha visto una foto de un tipo específico de persona, no puede inventarla mágicamente. Solo puede distribuir a las personas que ya sabe cómo dibujar.
Depende de la "puntuación" que recibe la IA. Si la herramienta utilizada para juzgar las imágenes (el "evaluador") tiene sesgos, la IA podría aprender la lección equivocada. Los investigadores usaron herramientas automáticas para juzgar las imágenes y, aunque verificaron su trabajo con diferentes herramientas para asegurar la consistencia, admiten que el ojo humano sería la prueba definitiva.
Funciona mejor cuando tienes una lista clara de cómo se ve la "diversidad" (como una lista de razas o colores específicos). Es una herramienta para ayudar a la IA a cubrir un conjunto de objetivos, no una varita mágica que resuelve todos los problemas de equidad del mundo.

La Conclusión

Este artículo es como darle al robot artista un nuevo libro de reglas. En lugar de decirle: "Debes hacer una imagen perfecta", le dice: "Haz un grupo de imágenes, y te daré una estrella de oro si el grupo tiene un poco de todo".

¿El resultado? La IA se vuelve menos aburrida y más justa. Deja de mostrarnos a la misma persona "por defecto" una y otra vez y empieza a mostrarnos la rica y colorida variedad del mundo real. Y lo hace sin que las imágenes parezcan un desastre lleno de errores. Es un pequeño cambio en las matemáticas, pero podría conducir a un cambio mucho mayor en cómo nos vemos a nosotros mismos en el arte que creamos con las máquinas.

Planteamiento del Problema

Los modelos de texto a imagen (T2I), particularmente los generadores basados en difusión, a menudo producen muestras para un único prompt que cubren solo un subconjunto estrecho de modos visualmente distintos. Aunque estos modelos sintetizan imágenes realistas, frecuentemente carecen de diversidad representativa. Esta limitación es crítica cuando el objetivo es proporcionar un conjunto diverso de alternativas en lugar de una única imagen plausible. En prompts centrados en personas, esta concentración puede reflejar o amplificar sesgos demográficos (por ejemplo, respecto a la raza o el género), ya que el modelo no logra generar representantes sólidos para las categorías subrepresentadas.

Las intervenciones de diversidad existentes suelen reducir la calidad de la imagen, y los enfoques estándar de Aprendizaje por Refuerzo (RL) que utilizan recompensas escalares son inadecuados para este problema. Las recompensas escalares agregan puntuaciones dentro de una sola imagen antes de comparar las muestras, lo cual falla cuando el objetivo es cubrir varios modos objetivos mutuamente excluyentes (por ejemplo, diferentes modos de color o etiquetas demográficas) a través de un grupo de muestras. Una sola imagen no puede representar simultáneamente todos los modos mutuamente excluyentes; por lo tanto, se debería preferir un grupo generado si las diferentes muestras dentro de él sirven como representantes sólidos para diferentes modos.

Metodología: Multi-Axis Max@K

Los autores formalizan el problema como cobertura de modos objetivo y proponen multi-axis max@k, un objetivo de aprendizaje por refuerzo basado en grupos diseñado para modelos de difusión.

1. Formulación del Objetivo:
En lugar de agregar las dimensiones de recompensa dentro de una imagen primero, el método agrega a través de las muestras primero. Para un prompt $c$ , se genera un conjunto de $k$ muestras $S_k(c)$ . Dados $D$ modos objetivo predefinidos (ejes) y una puntuación $r_d(x, c) \in [0, 1]$ para cada modo $d$ devuelta por un evaluador fijo, el puntaje del objetivo $G_k$ se define como:
$G_k(S_k, c) = \sum_{d=1}^{D} w_d(c) \max_{x_i \in S_k(c)} r_d(x_i, c)$
Aquí, la puntuación máxima se selecciona por eje a través del conjunto muestreado, y estos máximos se suman posteriormente. Esta estructura asegura que una muestra reciba crédito por una categoría específica solo si mejora la puntuación máxima del grupo para esa categoría, permitiendo que diferentes muestras contribuyan a diferentes categorías.

2. Mecanismo de Asignación de Crédito:
Para optimizar este objetivo a nivel de conjunto, los autores derivan un estimador de gradiente de política.

Contribución Marginal Leave-One-Out (L2O): Para una muestra $x_i$ y un eje $d$ , el crédito se determina por si eliminar $x_i$ disminuye la puntuación máxima del grupo para ese eje.
Expected Improvement (EI) + L2O: En la práctica, donde el tamaño del lote de entrenamiento $m$ puede diferir del tamaño de la ventana del objetivo $k$ , los autores utilizan un estimador de Mejora Esperada (Expected Improvement) con una línea base de leave-two-out. Esto estima la ventaja por muestra promediando las mejoras sobre todos los subconjuntos posibles de tamaño $k$ extraídos de los $m$ candidatos.
Agregación de Preservación de Ejes: Las ventajas se calculan independientemente para cada eje y luego se suman para formar un único peso de política para la muestra. Esto preserva la separación de los ejes de recompensa hasta el paso final de agregación.

3. Bucle de Entrenamiento:
El método emplea una actualización estándar de estilo GRPO (Group Relative Policy Optimization) para modelos de difusión.

Generar un grupo on-policy de $m$ candidatos para un prompt.
Puntuar todos los candidatos en $D$ ejes de recompensa.
Calcular los créditos de representatividad por eje (max@K) y convertirlos en ventajas por muestra.
Actualizar la política utilizando estas ventajas con regularización KL contra el modelo base.

Contribuciones Clave

Formulación de la Diversidad Representativa: El artículo define la diversidad representativa como cobertura de modos objetivo, enmarcándola como un objetivo a nivel de conjunto en lugar de una propiedad de la imagen individual.
Algoritmo Multi-Axis Max@K: Introducen un objetivo de RL específico que realiza la selección de máximo por cada eje de recompensa antes de la agregación. Esto se presenta como un caso especializado del objetivo ReMax, adaptado para el modelado generativo donde los modos son mutuamente excluyentes.
Asignación de Crédito con Preservación de Ejes: El método implementa un algoritmo de RL de difusión basado en grupos que asigna crédito a las muestras basándose en su capacidad para ser el "mejor representante" para un modo específico, evitando el colapso de la masa de probabilidad hacia un solo modo.
Validación Exhaustiva: El método se valida en tres entornos distintos:
- Un entorno sintético de mezcla de modos gaussianos.
- Un entorno de recompensa de color determinista y basado en reglas sobre Stable Diffusion 3.5 Medium (SD3.5-M).
- Un entorno de equidad de apariencia percibida (raza y género) sobre SD3.5-M.

Resultados Experimentales

1. Experimentos Sintéticos y de Modos de Color:

En un entorno sintético con nueve modos gaussianos mutuamente excluyentes, multi-axis max@k redistribuyó con éxito la masa de probabilidad para cubrir todos los modos objetivo. En contraste, las recompensas de un solo modo escalar colapsaron la distribución hacia un único modo preferido.
En SD3.5-M utilizando siete ejes de color basados en reglas (por ejemplo, rojo, verde, cálido, frío), el método mejoró significativamente la cobertura a nivel de lote. Con una ventana de entrenamiento $k=7$ , el modelo logró un incremento del 57% en la cobertura de máximo por lote ( $C_{pix}$ ) en comparación con el modelo base, mientras que un baseline de $k=1$ (GRPO estándar de imagen única) no mostró mejora alguna.

2. Equidad de Apariencia Percibida:
El método se aplicó para mejorar la equidad en prompts centrados en personas utilizando la raza percibida (5 categorías) y el género percibido (2 categorías) como modos objetivo.

Mejora de la Equidad: Multi-axis max@k mejoró el Puntaje de Equidad (que mide la cercanía a una distribución uniforme) en 0.23–0.36 en relación con el modelo base SD3.5-M a través de tres evaluadores automáticos (CLIP, VLM y FairFace).
Comparación con Baselines: El método superó a los baselines de RL emparejados que utilizan crédito basado en conteo (Fair-GRPO) e intervenciones en tiempo de inferencia (FairImagen, Weak Guidance). Notablemente, mientras que otros métodos mejoraron la equidad a costa del alineamiento de texto (caída de puntuaciones CLIP-T), multi-axis max@k mantuvo o incluso mejoró las métricas de calidad de imagen y alineamiento de texto.
Cambio Cualitativo: La inspección visual de los lotes generados mostró un cambio desde el dominio de una sola categoría (por ejemplo, "Blanco") hacia una distribución equilibrada entre las cinco categorías de raza percibida dentro del lote de un mismo prompt.

3. Estudios de Ablación:

Tamaño de Ventana ( $k$ ): El hiperparámetro $k$ (el número de muestras consideradas para la selección de máximo) es crítico. El Puntaje de Equidad mejoró drásticamente a medida que $k$ aumentó de 1 a 5 (coincidiendo con el número de categorías de raza), saturándose después de eso. Un ajuste de $k=1$ (sin crédito a nivel de conjunto) no logró mejorar la diversidad.
Mecanismo de Crédito: El método superó a los baselines de asignación dura por conteo, lo que los autores atribuyen a la capacidad de las puntuaciones suaves para capturar evidencia subumbral de categorías raras y al crédito explícito dado al "mejor disponible" por eje.

Significancia y Reivindicaciones

El artículo afirma que multi-axis max@k proporciona un mecanismo general para mejorar la diversidad en el modelado generativo al tratar la diversidad como un problema de cobertura sobre un conjunto predefinido de modos.

Validez del Mecanismo: La contribcción central es la regla de asignación de crédito que permite que diferentes muestras en un lote se especialicen en diferentes ejes de recompensa, resolviendo eficazmente el problema de los "modos mutuamente excluyentes" que las recompensas escalares no logran abordar.
Impacto Práctico: El método demuestra que es posible mejorar significativamente la equidad demográfica en la generación de T2I sin sacrificar la calidad de la imagen o el alineamiento de texto, un compromiso que se observa a menudo en las intervenciones de equidad previas.
Limitaciones y Alcance: Los autores señalan modestamente que el método requiere puntuaciones medibles para los modos objetivo y solo puede dar crédito a los modos que el generador ya es capaz de muestrear; no crea modos ausentes desde cero. Además, los resultados dependen de evaluadores automáticos, y la elección de los ejes objetivo (por ejemplo, categorías específicas de raza/género) es una decisión de diseño a nivel de tarea que determina qué diversidad se alcanza. El método se presenta como un primitivo de alineación a nivel de conjunto aplicable a varios dominios donde los conjuntos de candidatos deben cubrir ejes específicos.