Resumo Técnico: RAIGen – Identificação de Atributos Raros em Modelos Generativos de Texto-para-Imagem

1. Declaração do Problema

Modelos de difusão de texto-para-imagem (T2I), como o Stable Diffusion, geram imagens de alta fidelidade, mas herdam e amplificam vieses de seus dados de treinamento. Embora trabalhos anteriores abordem isso por meio de abordagens de conjunto fechado (mitigando vieses em categorias predefinidas como gênero ou raça) ou abordagens de conjunto aberto (identificando atributos majoritários dominantes), uma lacuna crítica permanece. Os métodos existentes negligenciam a sub-representação sistemática de atributos raros ou minoritários que estão codificados nas representações internas do modelo, mas são suprimidos durante a geração. Esses atributos podem ser sociais, culturais ou estilísticos e não são necessariamente conhecidos a priori. Suprimir atributos dominantes não amplifica automaticamente esses atributos sub-representados; em vez disso, muitas vezes realoca a massa de probabilidade de forma desigual. Há uma necessidade de um framework para descobrir sistematicamente esses atributos minoritários "suprimidos" sem depender de rótulos predefinidos.

2. Metodologia: Framework RAIGen

O RAIGen é um framework livre de rótulos (label-free) projetado para identificar atributos raros diretamente das representações latentes internas de modelos de difusão. Ele opera através de três estágios primários:

2.1. Decomposição de Características via Matryoshka Sparse Autoencoders (MSAEs)

Para mapear representações internas emaranhadas em características semanticamente interpretáveis, o RAIGen utiliza Matryoshka Sparse Autoencoders (MSAEs).

• Entrada: O framework extrai representações de gargalo ($h_t$) de um modelo de difusão durante o processo de amostragem reversa (tipicamente no passo de tempo final, onde a informação semântica é mais expressa).
• Arquitetura: Os MSAEs decompõem essas representações em uma hierarquia de características latentes esparsas ($z$) em vários níveis de granularidade.
• Seleção de Nível: Embora os MSAEs ofereçam níveis detalhados, o RAIGen foca no nível mais grosseiro ($k_1$). Níveis mais finos frequentemente fragmentam um único conceito em partes localizadas e frágeis, enquanto o nível mais grosseiro produz características semanticamente e espacialmente coerentes, adequadas para identificar atributos globais.

2.2. O Score de Minoria

Para distinguir atributos raros e significativos de ruído ou características comuns, o RAIGen introduz um Score de Minoria ($s$) que combina dois sinais complementares:

1. Frequência de Ativação ($\nu$): A proporção de amostras em um conjunto de dados onde um neurônio específico está ativo. Atributos raros correspondem a neurônios com baixa frequência de ativação.
2. Distintividade Semântica ($d$): A distância de cosseno entre o centroide CLIP ponderado pela ativação do neurônio ($\mu_i$) e o centroide global do conjunto de dados ($\mu_{D_c}$). Isso garante que o neurônio represente um conceito que diverge significativamente da semântica média do conjunto de dados.

O score é calculado como:
$$s(z) = d \odot (1 - \nu)$$
Esta formulação prioriza neurônios que são tanto infrequentemente ativos quanto semanticamente distintos.

2.3. Pipeline de Descoberta e Verificação

• Ranking: Os neurônios são classificados por seu Score de Minoria.
• Desduplicação: Para garantir um conjunto compacto e diverso, a redundância é avaliada via distâncias de cosseno pareadas entre os centroides dos neurônios. Neurônios com semânticas semelhantes são filtrados, retendo apenas o representante de maior pontuação.
• Interpretabilidade: As imagens de maior ativação para os neurônios selecionados são visualizadas com mapas de calor de ativação do MSAE. Anotações legíveis por humanos são geradas usando Modelos de Linguagem de Grande Escala Multimodais (MLLMs) para descrever os atributos descobertos.
• Natureza Livre de Rótulos: O processo não requer categorias de minoria predefinidas ou rótulos de atributos, baseando-se apenas nas representações internas do modelo e em um prior semântico pré-treinado (CLIP) para a medição de distintividade.

3. Principais Contribuições

1. Primeiro Framework Livre de Rótulos: O RAIGen é o primeiro framework, até onde os autores sabem, para identificação de atributos raros em modelos de difusão que não requer categorias de minoria predefinidas. Ele desloca o foco da identificação de vieses dominantes para a descoberta de características minoritárias suprimidas codificadas no modelo.
2. Métrica de Minoria Inovadora: O artigo propõe uma métrica que combina a frequência de ativação do neurônio e a distintividade semântica, validada como um proxy confiável para identificar conceitos sub-representados.
3. Auditoria e Amplificação Sistemática: O RAIGen demonstra a capacidade de revelar atributos além de categorias fixas de equidade em múltiplas arquiteturas (Stable Diffusion 1.4, 2, XL e FLUX.1-schnell). Ele permite ainda a amplificação direcionada desses atributos raros através de intervenções leves de prompt.

4. Resultados Experimentais

Os autores avaliaram o RAIGen no Stable Diffusion v1.4, SDXL e FLUX.1-schnell usando WinoBias (baseado em ocupação) e COCO (cenas diversas).

• Validação do Heurístico: Em um cenário de brinquedo controlado com fatores raros de verdade fundamental (ground-truth), os autores demonstraram que os latentes menos frequentemente ativados nos MSAEs mapeiam desproporcionalmente para características raras (correlação de Spearman $\rho \approx 0.991$), validando a frequência de ativação como um proxy para raridade.
• Desempenho Quantitativo: No WinoBias e COCO, os atributos descobertos pelo RAIGen mostraram uma "Presença de Atributo" significativamente menor (aprox. 0.20) em comparação aos atributos majoritários identificados pelo OpenBias (aprox. 0.94), confirmando que o RAIGen isola características suprimidas.
• Achados Qualitativos: O RAIGen descobriu com sucesso diversos atributos minoritários, incluindo:
  • Sociais/Equidade: Médicas, xerife mulheres.
  • Contextuais/Estilísticos: Médicos em retratos emoldurados, médicos com prontuários médicos, trens com grandes colunas de fumaça, trens de visão lateral com desfoque de movimento e mulheres com cabelo de textura afro-cacheada.
  • Cross-Arquitetura: O método generalizou-se para modelos baseados em transformer (FLUX.1-schnell), embora com mapas de calor ligeiramente mais difusos em comparação com as arquiteturas U-Net.
• Estudo de Usuário: Um estudo com 25 participantes confirmou que os atributos descobertos pelo RAIGen são perceptualmente raros. Para cinco profissões, os participantes relataram a presença desses atributos em menos de 3 de cada 10 imagens geradas em média, validando que essas características estão codificadas, mas subexpressas na amostragem padrão.
• Amplificação: Usar as anotações do RAIGen para revisar prompts resultou em uma redução substancial no desvio de presença de atributo (ex: de 0.50 para 0.22 no SD v1.4), demonstrando que a reintrodução de descritores minoritários aumenta efetivamente a cobertura de modos sub-representados.

5. Significância e Alegações

O artigo posiciona o RAIGen como uma ferramenta fundamental para a auditoria abrangente de modelos generativos. Sua significância reside em:

• Preenchimento da Lacuna: Ele aborda a limitação das ferramentas atuais de mitigação de viés que lidam apenas com categorias conhecidas ou tendências majoritárias, permitindo a descoberta de "desconhecidos desconhecidos" no espaço latente do modelo.
• Descoberta Baseada em Representação: Ao fundamentar a descoberta nas representações internas do modelo em vez de modelos de mundo externos, o RAIGen identifica características que o modelo realmente aprendeu, mas escolhe não expressar.
• Utilidade Prática: Fornece um mecanismo para amplificação direcionada, permitindo que desenvolvedores melhorem sistematicamente a diversidade dos outputs gerados sem o retreinamento do modelo.

Os autores mantêm uma postura modesta, observando que o RAIGen pode apenas trazer à tona atributos que já estão codificados no modelo; ele não pode descobrir minorias socialmente salientes que o modelo falhou em aprender inteiramente. Eles sugerem que o RAIGen deve ser visto como um componente de um framework de auditoria híbrido, complementando priors semânticos externos (como ferramentas baseadas em LLM) para fornecer uma visão completa da sub-representação. Eles também reconhecem o potencial uso indevido, como a geração deliberada de imagens sensíveis ou estereotipadas, enfatizando a necessidade de governança e salvaguardas.