🤖 machine learning

Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation

Este artigo introduz o multi-axis max@K, um objetivo de aprendizado por reforço baseado em grupos que melhora a diversidade e a equidade demográfica da geração de texto para imagem ao atribuir crédito a amostras apenas quando elas melhoram unicamente a cobertura de modos semânticos específicos dentro de um lote, alcançando assim pontuações de equidade mais altas sem comprometer a qualidade da imagem ou o alinhamento com o prompt.

Autores originais: Ku Onoda, Paavo Parmas, Hiroki Furuta, Soichiro Nishimori, Yuta Oshima, Shohei Taniguchi, Yutaka Matsuo

Publicado 2026-07-17

📖 9 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ku Onoda, Paavo Parmas, Hiroki Furuta, Soichiro Nishimori, Yuta Oshima, Shohei Taniguchi, Yutaka Matsuo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está entrando em um estúdio de arte gigante e mágico onde um robô artista pode pintar instantaneamente qualquer quadro que você descrever. Você diz: "Desenhe um detetive", e poof! Um detetive aparece. Você diz novamente, e outro detetive aparece. Mas aqui está o detalhe: toda vez que você pede, o robô pinta exatamente o mesmo tipo de detetive — talvez sempre um homem alto de sobretudo. É como se o robô tivesse uma roupa favorita e se recusasse a tentar qualquer outra coisa. Este é um problema comum com os modernos modelos de "texto para imagem" (text-to-image). Embora esses robôs sejam incrivelmente bons em criar imagens que parecem reais e combinam com suas palavras, eles frequentemente ficam presos em um ciclo, produzindo as mesmas poucas variações repetidamente. Isso é um grande problema porque, se você pedir por um "médico" ou um "líder", e o robô mostrar apenas um tipo específico de pessoa, isso reforça uma visão estreita e injusta do mundo. Os cientistas chamam isso de falta de "diversidade".

Para corrigir isso, os pesquisadores geralmente tentam dizer ao robô: "Faça parecer diferente!". Mas, muitas vezes, quando eles forçam o rob em ser diferente, as imagens começam a parecer estranhas, borradas ou simplesmente erradas. O robô fica confuso e para de ouvir suas instruções. Este artigo apresenta uma nova maneira inteligente de ensinar o robô a ser diverso sem perder a compostura. Os autores propõem um método chamado "Multi-Axis Max@K". Pense nisso como um show de talentos onde você não escolhe apenas o melhor cantor; em vez disso, você olha para todo um grupo de candidatos e diz: "Ok, este é o melhor cantor, este é o melhor dançarino e este é o melhor mágico". O objetivo não é que uma única pessoa faça tudo perfeitamente; é que o grupo inteiro cubra todas as bases. Os pesquisadores testaram essa ideia e descobriram que ela ajuda a IA a gerar uma variedade muito maior de pessoas e cores, tornando os resultados mais justos e interessantes, mantendo as imagens nítidas e fiéis à sua descrição.

O Problema: A Roupa "Favorita" do Robô

Imagine que você tem um amigo que adora desenhar. Você pede para ele desenhar um "gato". Ele desenha um gato malhado laranja e peludo. Você pede novamente, e ele desenha exatamente o mesmo gato malhado laranja. Você pede uma terceira vez, e ainda é o mesmo gato malhado laranja. Seu amigo não é ruim em desenhar; ele está apenas preso em um loop. Ele tem um "modo favorito" de desenhar gatos, e continua atingindo esse modo.

No mundo da Inteligência Artificial (IA), especificamente nos modelos de "Texto para Imagem", isso acontece o tempo todo. Esses modelos são treinados em bilhões de imagens da internet. Se a internet tem mais fotos de homens brancos como médicos do que mulheres ou pessoas de outras raças, a IA aprende que "médico" é igual a "homem branco". Quando você pede um médico, ela busca nessa memória estreita.

A solução usual é dizer à IA: "Seja diversa!". Mas se você apenas gritar "seja diversa!", a IA pode ficar confusa. Ela pode começar a desenhar um médico que parece uma batata ou um gato usando um estetoscópio. A IA tenta ser diferente, mas esquece como ser boa em seguir suas instruções. Os pesquisadores queriam uma maneira de fazer a IA mostrar um grupo inteiro de opções diferentes — alguns médicos que são mulheres, alguns que são homens, alguns que são negros, alguns que são asiáticos — sem fazer com que as imagens fiquem ruins.

A Solução: O Show de Talentos do "Melhor do Lote"

Os autores deste artigo criaram uma nova regra para como a IA aprende. Eles a chamam de Multi-Axis Max@K. Isso soa complicado, mas vamos decompor com uma história simples.

Imagine que você é um professor avaliando uma turma de alunos. Você tem uma lista de "habilidades" que deseja ver: Matemática, Arte, Música e Esportes.

O Jeito Antigo (Recompensa Escalar): Você avalia cada aluno individualmente. "O Aluno A é ótimo em Matemática, mas ruim em todo o resto. O Aluno B é ótimo em Arte, mas ruim em todo o resto." Se você apenas somar as notas deles, pode acabar escolhendo o aluno que é "ok" em tudo, mas incrível em nada. Ou, você pode escolher o gênio da Matemática e ignorar o fato de que a classe não tem músicos.
O Novo Jeito (Multi-Axis Max@K): Você olha para a classe inteira como um grupo. Você pergunta: "Quem é o melhor aluno de Matemática neste grupo?" Você escolhe o Aluno A. "Quem é o melhor aluno de Música?" Você escolhe o Aluno B. "Quem é o melhor aluno de Esportes?" Você escolhe o Aluno C.

A mágica acontece aqui: o grupo recebe uma nota alta porque possui um gênio da Matemática, um gênio da Música e um gênio dos Esportes, mesmo que nenhum aluno sozinho seja bom nas três coisas. A IA aprende que não precisa criar uma imagem perfeita que faça tudo. Em vez disso, ela aprende que um "lote" de imagens é bem-sucedido se diferentes imagens nesse lote representarem coisas diferentes.

A parte "Max" significa que a IA procura pelo melhor exemplo de cada categoria no grupo. A parte "K" significa que ela olha para um grupo de K imagens (como um lote de 7 ou 10). A parte "Multi-Axis" significa que ela verifica muitas categorias diferentes ao mesmo tempo (como diferentes tons de pele, gêneros ou cores).

Como Eles Testaram: Dos Pixels às Pessoas

Os pesquisadores não apenas adivinharam que isso funcionaria; eles testaram isso de três maneiras diferentes, aumentando a complexidade a cada vez.

1. O Jogo das Cores (Teste Sintético)
Primeiro, eles jogaram um jogo com um programa de computador simples. Eles disseram ao programa para gerar imagens que fossem Vermelhas, Verdes, Azuis ou outras cores. Eles estabeleceram uma regra onde o programa ganhava pontos se o grupo de imagens que ele criava cobrisse todas as cores.

O que aconteceu: Quando usaram o método antigo de "pontuação única", o programa ficou preguiçoso e apenas criou um monte de imagens Vermelhas porque era a maneira mais fácil de ganhar pontos. Mas quando usaram o novo método "Multi-Axis Max@K", o programa percebeu que precisava fazer uma imagem Vermelha, uma Verde e uma Azul para vencer. Ele começou a diversificar suas apostas e a criar uma mistura colorida.

2. O Quebra-Cabeça de Pixels (Teste Baseado em Regras)
Em seguida, eles usaram um gerador de imagens real chamado SD3.5-M (um modelo de arte de IA popular). Desta vez, eles não usaram um humano para julgar as imagens. Em vez disso, usaram um programa de computador que olhava para os pixels e contava as cores. Eles pediram para a IA fazer imagens com temas de cores específicos (como "cores quentes" ou "cores escuras").

O Resultado: A IA aprendeu a produzir um lote onde uma imagem era brilhante e quente, outra era fria e azul, e outra era escura. Ela conseguiu cobrir todos os "eixos" de cor sem precisar de um humano para dizer o que era bom.

3. O Teste de Justiça (Aparência Percebida)
Finalmente, eles abordaram o grande problema do mundo real: a Justiça (Fairness). Eles pediram para a IA gerar imagens de pessoas com diferentes profissões (como "médico", "artista", "cientista"). Eles queriam ver se a IA mostraria uma mistura diversa de raças e gêneros.

A Configuração: Eles usaram ferramentas automáticas para "adivinhar" a raça e o gênero das pessoas nas imagens geradas. Eles definiram "modos alvo" como "mulher negra", "homem asiático", "mulher latina", etc.
O Resultado: Quando usaram o novo método, a IA começou a gerar um grupo muito mais equilibrado.
- Antes do ajuste, um lote de 16 fotos de um "médico" poderia ter 13 homens brancos e 3 pessoas de outros históricos.
- Após o ajuste, um lote de 16 fotos poderia ter 4 homens brancos, 3 pessoas negras, 4 pessoas asiáticas, 2 indianas e 3 latinas.
- Os pesquisadores mediram isso usando uma "Pontuação de Justiça". Seu novo método melhorou a pontuação em 0,23 a 0,36 em comparação ao modelo base. Esse é um salto enorme! E o melhor de tudo? As imagens ainda pareciam boas. O "alinhamento de texto" (o quanto a imagem correspondia à palavra "médico") permaneceu alto, e a qualidade da imagem não caiu.

O Que Isso Significa (e o Que Não Significa)

O artigo mostra que, ao mudar como recompensamos a IA, podemos fazer com que ela naturalmente queira ser diversa. Em vez de forçá-la a ser diferente (o que a torna estranha), recompensamos o grupo por ter representantes diferentes.

No entanto, os autores são cuidadosos ao dizer o que isso não faz.

Não cria novas pessoas do nada. Se a IA nunca viu uma foto de um tipo específico de pessoa, ela não pode inventá-la magicamente. Ela só pode espalhar as pessoas que ela já sabe como desenhar.
Depende do "score" que a IA recebe. Se a ferramenta usada para julgar as imagens (o "avaliador") for tendenciosa, a IA pode aprender a lição errada. Os pesquisadores usaram ferramentas automáticas para julgar as imagens e, embora tenham verificado seu trabalho com diferentes ferramentas para garantir consistência, admitem que olhos humanos seriam o teste definitivo.
Funciona melhor quando você tem uma lista clara do que a "diversidade" representa (como uma lista de raças ou cores específicas). É uma ferramenta para ajudar a IA a cobrir um conjunto de objetivos, não uma varinha mágica que resolve todos os problemas de justiça do mundo.

A Conclusão

Este artigo é como dar ao robô artista um novo livro de regras. Em vez de dizer: "Você deve fazer uma imagem perfeita", ele diz: "Faça um grupo de imagens, e eu te darei uma estrela de ouro se o grupo tiver um pouco de cada coisa".

O resultado? A IA torna-se menos entediante e mais justa. Ela para de nos mostrar a mesma pessoa "padrão" repetidamente e começa a mostrar a variedade rica e colorida do mundo real. E ela faz isso sem transformar as imagens em uma bagunça cheia de falhas. É uma pequena mudança na matemática, mas pode levar a uma mudança muito maior na forma como vemos a nós mesmos na arte que criamos com máquinas.

Problema

Modelos de texto-para-imagem (T2I), particularmente geradores baseados em difusão, frequentemente produzem amostras para um único prompt que cobrem apenas um subconjunto estreito de modos visualmente distintos. Embora esses modelos sintetizem imagens realistas, eles frequentemente carecem de diversidade representativa. Essa limitação é crítica quando o objetivo é fornecer um conjunto diversificado de alternativas, em vez de uma única imagem plausível. Em prompts centrados em pessoas, essa concentração pode refletir ou amplificar desvios demográficos (por exemplo, em relação a raça ou gênero), pois o modelo falha em gerar representantes fortes para categorias sub-representadas.

Intervenções de diversidade existentes frequentemente reduzem a qualidade da imagem, e abordagens padrão de Aprendizado por Reforço (RL) usando recompensas escalares são inadequadas para este problema. Recompensas escalares agregam pontuações dentro de uma única imagem antes de comparar as amostras, o que falha quando o objetivo é cobrir vários modos alvo mutuamente exclusivos (por exemplo, diferentes modos de cores ou rótulos demográficos) através de um grupo de amostras. Uma única imagem não pode representar simultaneamente todos os modos mutuamente exclusivos; portanto, um grupo gerado deve ser preferido se diferentes amostras dentro dele servirem como fortes representantes para diferentes modos.

Metodologia: Multi-Axis Max@K

Os autores formalizam o problema como cobertura de modo-alvo e propõem o multi-axis max@k, um objetivo de aprendizado por reforço baseado em grupo projetado para modelos de difusão.

1. Formulação do Objetivo:
Em vez de agregar dimensões de recompensa dentro de uma imagem primeiro, o método agrega entre as amostras primeiro. Para um prompt $c$ , um conjunto de $k$ amostras $S_k(c)$ é gerado. Dados $D$ modos-alvo predefinidos (eixos) e uma pontuação $r_d(x, c) \in [0, 1]$ para cada modo $d$ retornada por um avaliador fixo, o objetivo $G_k$ é definido como:
$G_k(S_k, c) = \sum_{d=1}^{D} w_d(c) \max_{x_i \in S_k(c)} r_d(x_i, c)$
Aqui, a pontuação máxima é selecionada por eixo através do conjunto amostrado, e esses máximos são então somados. Esta estrutura garante que uma amostra receba crédito por uma categoria específica apenas se ela melhorar a pontuação máxima do grupo para aquela categoria, permitindo que diferentes amostras contribuam para diferentes categorias.

2. Mecanismo de Atribuição de Crédito:
Para otimizar este objetivo de nível de conjunto, os autores derivam um estimador de gradiente de política.

Contribuição Marginal Leave-One-Out (L2O): Para uma amostra $x_i$ e eixo $d$ , o crédito é determinado por saber se a remoção de $x_i$ diminui a pontuação máxima do grupo para aquele eixo.
Expected Improvement (EI) + L2O: Na prática, onde o tamanho do lote de treinamento $m$ pode diferir do tamanho da janela do objetivo $k$ , os autores utilizam um estimador de Melhoria Esperada (Expected Improvement) com uma linha de base leave-two-out. Isso estima a vantagem por amostra através da média das melhorias sobre todos os subconjuntos possíveis de tamanho $k$ extraídos dos $m$ candidatos.
Agregação Preservadora de Eixos: As vantagens são calculadas independentemente para cada eixo e então somadas para formar um único peso de política para a amostra. Isso preserva a separação dos eixos de recompensa até a etapa final de agregação.

3. Ciclo de Treinamento:
O método emprega uma atualização padrão do tipo GRPO (Group Relative Policy Optimization) para modelos de difusão.

Gerar um grupo on-policy de $m$ candidatos para um prompt.
Pontuar todos os candidatos em $D$ eixos de recompensa.
Computar créditos representativos por eixo (max@K) e converter em vantagens por amostra.
Atualizar a política usando essas vantagens com regularização KL contra o modelo base.

Principais Contribuições

Formulação de Diversidade Representativa: O artigo define diversidade representativa como cobertura de modo-alvo, enquadrando-a como um objetivo de nível de conjunto em vez de uma propriedade de imagem individual.
Algoritmo Multi-Axis Max@K: Eles introduzem um objetivo de RL específico que realiza a seleção de máximo por eixo de recompensa antes da agregação. Isso é apresentado como um caso especializado do objetivo ReMax, adaptado para modelagem generativa onde os modos são mutuamente exclusivos.
Atribuição de Crédito Preservadora de Eixos: O método implementa um algoritmo de RL de difusão baseado em grupo que atribui crédito às amostras com base em sua capacidade de serem a "melhor representante" para um modo específico, evitando o colapso da massa de probabilidade em um único modo.
Validação Abrangente: O método é validado em três configurações distintas:
- Uma mistura sintética controlada de modos Gaussianos.
  imposto de um modo de cor determinístico e baseado em regras no Stable Diffusion 3.5 Medium (SD3.5-M).
- Uma configuração de aparência percebida de equidade (raça e gênero) no SD3.5-M.

Resultados Experimentais

1. Experimentos Sintéticos e de Modo de Cor:

Em um cenário sintético com nove modos Gaussianos mutuamente exclusivos, o multi-axis max@k redistribuiu com sucesso a massa de probabilidade para cobrir todos os modos alvo. Em contraste, recompensas escalares de modo único colapsaram a distribuição em um único modo preferido.
No SD3.5-M usando sete eixos de cor baseados em regras (ex: vermelho, verde, quente, frio), o método melhorou significativamente a cobertura ao nível de lote. Com uma janela de treinamento $k=7$ , o modelo alcançou um aumento de 57% na cobertura de máximo de lote ( $C_{pix}$ ) em comparação com o modelo base, enquanto um baseline $k=1$ (GRPO padrão de imagem única) não mostrou melhoria.

2. Aparência Percebida de Equidade:
O método foi aplicado para melhorar a equidade em prompts centrados em pessoas usando raça percebida (5 categorias) e gênero percebido (2 categorias) como modos alvo.

Melhoria na Equidade: O multi-axis max@k melhorou o Score de Equidade (medindo a proximidade de uma distribuição uniforme) em 0,23–0,36 em relação ao modelo base SD3.5-M através de três avaliadores automáticos (CLIP, VLM e FairFace).
Comparação com Baselines: O método superou baselines de RL correspondentes usando crédito baseado em contagem (Fair-GRPO) e intervenções em tempo de inferência (FairImagen, Weak Guidance). Notavelmente, enquanto outros métodos melhoraram a equidade ao custo do alinhamento de texto (as pontuações CLIP-T caíram), o multi-axis max@k manteve ou até melhorou levemente as métricas de qualidade de imagem e alinhamento de texto.
Mudança Qualitativa: A inspeção visual dos lotes gerados mostrou uma mudança da dominância por uma única categoria (ex: "Branca") para uma distribuição equilibrada entre todas as cinco categorias de raça percebida dentro do lote de um único prompt.

3. Estudos de Ablação:

Tamanho da Janela ( $k$ ): O hiperparametro $k$ (o número de amostras consideradas para a seleção de máximo) é crítico. O Score de Equidade melhorou acentuadamente conforme $k$ aumentava de 1 para 5 (correspondendo ao número de categorias de raça), saturando a partir daí. Uma configuração $k=1$ (sem crédito de nível de conjunto) falhou em melhorar a diversidade.
Mecanismo de Crédito: O método superou os baselines de contagem de atribuição rígida, o que os autores atribuem à capacidade de pontuações suaves de capturar evidências sub-limiares para categorias raras e ao crédito explícito dado ao "melhor disponível" representante por eixo.

Significância e Alegações

O artigo alega que o multi-axis max@k fornece um mecanismo geral para melhorar a diversidade na modelagem generativa, tratando a diversidade como um problema de cobertura sobre um conjunto predefinido de modos.

Validade do Mecanismo: A principal contribuição é a regra de atribuição de crédito que permite que diferentes amostras em um lote se especializem em diferentes eixos de recompensa, resolvendo efetivamente o problema dos "modos mutuamente exclusivos" que as recompensas escalares não conseguem abordar.
Impacto Prático: O método demonstra que é possível melhorar significativamente a equidade demográfica na geração de T2I sem sacrificar a qualidade da imagem ou o alinhamento de texto, um trade-off frequentemente observado em intervenções de equidade anteriores.
Limitações e Escopo: Os autores observam modestamente que o método requer pontuações mensuráveis para os modos alvo e só pode creditar modos que o gerador já é capaz de amostrar; ele não cria modos ausentes do zero. Além disso, os resultados dependem de avaliadores automáticos, e a escolha dos eixos alvo (ex: categorias específicas de raça/gênero) é uma decisão de design de nível de tarefa que determina qual diversidade será alcançada. O método é apresentado como um primitivo de alinhamento de nível de conjunto aplicável a vários domínios onde conjuntos de candidatos devem cobrir eixos específicos.