Resumo Técnico: EMoE – Desacordo de Especialistas Livre de Treinamento para Incerteza em Difusão de Texto-para-Imagem

Declaração do Problema

Os grandes modelos de difusão de texto-para-imagem, apesar de seus rápidos avanços em fidelidade e velocidade, permanecem opacos em relação à sua incerteza. Eles carecem de sinais confiáveis para indicar quando um prompt provavelmente produzirá gerações mal alinhadas ou não confiáveis, particularmente quando os dados de treinamento são desconhecidos ou incompletos. Embora a incerteza epistêmica (incerteza decorrente de dados de treinamento insuficientes ou não representativos) ofereça uma forma fundamentada de identificar esses modos de falha, estimar essa incerteza em configurações generativas de alta dimensão é desafiador. Abordagens padrão baseadas em ensembles são computacionalmente proibitivas, e métodos existentes frequentemente exigem treinamento adicional ou redes auxiliares, o que é impraticável para modelos pré-treinados de grande escala.

Metodologia: EMoE

Os autores introduzem o EMoE (Epistemic Mixture of Experts), um framework zero-shot, livre de treinamento, projetado para estimar a incerteza epistêmica no espaço latente de modelos de difusão Mixture-of-Experts (MoE) pré-treinados.

Mecanismo Central

O EMoE aproveita a estrutura inerente das arquiteturas esparsas de MoE, onde múltiplos componentes de "especialistas" existem dentro de um único modelo. Em vez de agregar as saídas dos especialistas como fazem as camadas MoE padrão, o EMoE separa os caminhos de computação específicos de cada especialista na primeira camada de MoE esparsa (localizada na primeira camada de atenção cruzada do primeiro bloco de downsampling).

1. Separação de Caminhos: Para um dado prompt $y$ e ruído inicial $z_T$, o modelo processa a entrada através de $M$ caminhos de especialistas distintos de forma independente.
2. Controle de Ruído: Crucialmente, o EMoE utiliza o mesmo ruído inicial $z_T$ em todos os caminhos de especialistas. Isso isola a variância na saída para as diferenças nas representações aprendidas pelos especialistas (desacordo epistêmico) em vez da incerteza estocástica de amostragem (incerteza aleatória).
3. Estimativa Precoce: O método extrai as representações latentes ($m_{post}^T$) do mid-block da U-Net após apenas o primeiro passo de denoising.
4. Métrica de Incerteza: A incerteza epistêmica $EU(y)$ é calculada como a covariância do traço normalizado dessas representações condicionadas aos especialistas:
   $$EU(y) = \frac{1}{D_{mid}} \sum_{d=1}^{D_{mid}} \text{Var}_{i=1,...,M} (m_{post}^T{}_{i,d})$$
   Isso mede efetivamente o desacordo médio quadrático entre os caminhos dos especialistas.

Detalhes de Implementação

• Zero-Shot: O EMoE não requer treinamento adicional. Ele utiliza checkpoints MoE pré-treinados reunidos de repositórios públicos (ex: Hugging Face, Civit AI).
• Roteamento Dinâmico: Para selecionar especialistas sem treinar um módulo de gating, o método infere pesos comparando a representação do prompt com descritores positivos e negativos predefinidos para cada especialista.
• Eficiência: Ao estimar a incerteza após um único passo, o EMoE permite a filtragem precoce ou a abstenção antes da geração completa da imagem, evitando o custo de gerar múltiplas imagens completas.

Principais Contribuições

1. Introdução de Framework: O EMoE é apresentado como um framework zero-shot para estimar a incerteza epistêmica em modelos de difusão de texto-para-imagem ao desagregar representações MoE no espaço latente.
2. Alinhamento com Métricas de Qualidade: Os autores demonstram que as estimativas de incerteza do EMoE se alinham com métricas de qualidade de alinhamento texto-imagem (CLIP score, Aesthetic Score, Image Reward) nos datasets COCO e CC3M.
3. Diagnósticos Multilingues: O método é aplicado a prompts em 25 idiomas, revelando lacunas de confiabilidade sistemáticas e dependentes da língua. Ele identifica com sucesso entradas de idiomas sub-representados (ex: finlandês vs. inglês) e efeitos lexicais mais finos (ex: termos de vocabulário compartilhado como "pizza" reduzindo a incerteza).
4. Validação de Robustez: Estudos de ablação confirmam a robustez do método em relação ao tamanho do ensemble, seleção de passo de denoising, escolha do espaço latente e arquitetura do modelo (testado em SegMoE e Runway ML MoE).

Resultados

• Desempenho In-Distribution: Em 40.000 prompts de inglês do COCO, o EMoE produz uma relação monotônica onde menor incerteza correlaciona-se com maiores CLIP scores, Aesthetic scores e Image Reward. Essa tendência não foi observada com baselines como DECU ou Gating Entropy.
• Detecção de Out-of-Distribution: Quando aplicado a prompts em finlandês (tratados como out-of-distribution), o EMoE detectou significativamente maior incerteza em comparação com prompts em inglês. Ele alcançou um AUROC de 0.739 para distinguir finlandês de inglês, superando o DECU (0.571) e o Gating Entropy (0.543).
• Sensibilidade Lexical: O método capturou efeitos sutis; prompts em finlandês contendo a palavra de vocabulário compartilhado "pizza" exibiram menor incerteza (46,67% no quartil inferior) em comparação com prompts aleatórios em finlandês (21,54%), sugerindo sensibilidade a capacidades específicas de grounding.
• Correlação Multilingue: Em 25 idiomas, foi encontrada uma forte correlação negativa ($r = -0,79$) entre a incerteza média do EMoE e o CLIP score médio. Idiomas com populações de falantes nativos maiores geralmente mostraram menor incerteza e maior qualidade de geração.

Significância e Alegações

O artigo posiciona o EMoE como uma ferramenta de diagnóstico prática para:

• Avaliação de Risco de Prompt: Identificar prompts que provavelmente resultarão em gerações não confiáveis antes da computação completa.
• Análise de Cobertura de Modelo: Diagnosticar lacunas na cobertura de dados de treinamento, particularmente entre diferentes idiomas.
• Detecção de Viés: Revelar vieses sistemáticos relacionados à representação linguística e vocabulário.

Os autores enfatizam que o EMoE fornece esses insights sem exigir acesso aos dados de treinamento, redes auxiliares ou o custo computacional de treinar ensembles de difusão do zero. Eles observam limitações, incluindo a necessidade de um modelo MoE pré-treinado com componentes de especialistas diversos e o fato de que ele estima a incerteza no espaço latente, em vez de fornecer uma decomposição completa no espaço da imagem da incerteza aleatória e epistêmica. O trabalho sugere que o desacordo de especialistas no espaço latente é um sinal viável e eficiente de incerteza epistêmica em arquiteturas de difusão modernas.