Resumo Técnico: Classificadores de Difusão Auto-Melhoráveis com Otimização de Preferência de Minoria (MiPO)

1. Declaração do Problema

Os classificadores de difusão (DCs) demonstraram um desempenho robusto de classificação zero-shot, particularmente em relação a amostras fora da distribuição (OOD) e compreensão composicional. No entanto, sua eficácia é fortemente dependente da distribuição dos dados de pré-treinamento. Os DCs atuais apresentam bom desempenho em regiões de "maioria" (alta densidade) do manifesto de dados, mas exibem uma degradação significativa de acurácia em regiões de "minoria" (baixa densidade).

Essa lacuna de desempenho surge porque a função de perda padrão de correspondência de ruído (noise-matching loss) usada para treinar modelos de difusão é inerentemente enviesada para amostras frequentes e de alta densidade. Consequentemente, a cobertura generativa do modelo é esparsa em regiões sub-representadas, levando a uma percepção deficiente de conceitos minoritários. Embora trabalhos anteriores tenham tentado abordar a amostragem de minoria por meio de orientação em tempo de inferência ou classificadores auxiliares, esses métodos frequentemente incorrem em altos custos computacionais, exigem modelos externos ou falham em atualizar a própria representação do modelo de difusão, limitando sua capacidade de melhorar o desempenho da classificação.

2. Metodologia: MiPO

Os autores propõem o MiPO (Minority Preference Optimization), um framework de auto-melhoria que ajusta finamente um modelo de difusão de texto-para-imagem pré-treinado para aprimorar sua representação de regiões de minoria sem exigir dados de imagem adicionais ou modelos de recompensa externos.

Componentes Principais

• Mecanismo de Auto-Melhoria: O MiPO utiliza apenas dados de legendas arbitrárias (ex: de HPSv2) para gerar amostras candidatas. Ele não depende de conjuntos de dados de imagens externos ou modelos de fundação para o cálculo de recompensa.
• Recompensa de Preferência de Minoria: Para quantificar quão bem uma amostra gerada cobre uma região de minoria, o método emprega uma aproximação da fórmula de Tweedie baseada em DDIM.
  • Para uma imagem gerada $x_0$, ruído Gaussiano é adicionado para criar um latente perturbado $x_t$.
  • O modelo reconstrói $\hat{x}_0$ via inversão DDIM.
  • O Score de Minoria é definido como a discrepância de reconstrução: $M(x_0) = \|\hat{x}_0 - x_0\|_2$.
  • Erros de reconstrução mais altos indicam regiões onde o denoiser exibe maior incerteza (ou seja, regiões de minoria), servindo como um sinal de recompensa positivo.
• Aprendizado por Reforço com GRPO: O modelo é ajustado finamente usando Otimização de Política Relativa de Grupo (GRPO).
  • Múltiplas trajetórias são amostradas do mesmo prompt e ruído inicial.
  • Vantagens normalizadas por grupo são computadas com base nas recompensas de minoria.
  • A política é atualizada para maximizar a verossimilhança de gerar amostras de alta recompensa (minoria).
• Integração LoRA: Para garantir eficiência e estabilidade, as atualizações são aplicadas via um adaptador de Adaptação de Baixo Rank (LoRA) em vez de um ajuste fino total do modelo. Isso permite compatibilidade plug-and-play com vários backbones (ex: Stable Diffusion 1.5 e 2.0).
• Regularização KL: Para evitar que a política se desvie demais da distribuição pré-treinada (o que poderia degradar a fidelidade visual ou o desempenho da maioria), um termo de divergência de Kullback–Leibler (KL) é adicionado à função objetivo:
  $$\mathcal{J}(\theta) = \alpha \mathcal{J}_{Minority}(\theta) + \beta D_{KL}(\pi_\theta \| \pi_{pre})$$
  Isso equilibra a exploração de minoria com a preservação do prior generativo original.
• Otimização de Política Seletiva: O método atualiza apenas os primeiros 40% dos passos de difusão. A análise empírica sugere que os passos iniciais são críticos para formar informações semânticas e estruturais grosseiras, e restringir as atualizações a esta fase reduz o custo computacional enquanto mantém a fidelidade visual.

3. Contribuições Principais

1. Conexão Inovadora: O artigo estabelece uma relação direta entre a amostragem de minoria na geração e a capacidade de percepção de classificadores de difusão, demonstrando que o aprimoramento da cobertura generativa de regiões de baixa densidade melhora a classificação zero-shot.
2. Framework MiPO: Uma abordagem de auto-melhoria que ajusta finamente modelos de difusão usando recompensas de preferência de minoria derivadas exclusivamente de dados de legenda, eliminando a necessidade de dados de imagem externos, modelos de recompensa externos (ex: CLIPScore, ImageReward) ou otimização por prompt.
3. Otimização Eficiente: A integração de GRPO com LoRA e atualizações de passos de tempo seletivas permite uma amostragem de minoria adaptável ao prompt e estável, com overhead de inferência negligenciável e uma pequena pegada de parâmetros.
4. Avaliação Abrangente: O método é avaliado em cinco datasets padrão, demonstrando melhorias tanto na acurácia de classificação zero-shot quanto na qualidade de geração de imagens de minoria.

4. Resultados Experimentais

Os autores avaliaram o MiPO nos backbones SD 1.5 e SD 2.0 em múltiplos datasets:

• Classificação Zero-Shot:

  • CIFAR10: Melhorou de 85.38% para 87.89% (SD 1.5).
  • CIFAR10-C (Robustez): Melhorou de 57.72% para 59.76% (SD 1.5) e de 64.61% para 65.33% (SD 2.0).
  • ImageNet-Tiny: Melhorou de 46.50% para 47.30% (SD 1.5) e de 51.45% para 55.25% (SD 2.0).
  • Caltech & SUN09: Ganhos consistentes observados em ambos os backbones.
  • Nota: O artigo reconhece que o desempenho em datasets complexos de múltiplos objetos, como LabelME e VOC2007, foi menos estável ou mostrou leve degradação, atribuindo isso a lacunas de domínio e inconsistências de anotação.

• Geração de Minoria:

  • O MiPO alcançou desempenho comparável ou superior ao baseline MinorityPrompt em métricas sensíveis à minoria (Score de Minoria, JEPA-SCORE), mantendo alta qualidade perceptual (CLIPScore, HPSv3).
  • Crucialmente, o MiPO opera de maneira totalmente adaptável ao prompt (1s por imagem) sem a pesada otimização por prompt exigida pelo MinorityPrompt (63s por imagem).

• Preferência Humana:

  • O MiPO alcançou o maior score de ImageReward (0.228) comparado ao baseline (0.184) e ao MinorityPrompt (-0.026), indicando um melhor equilíbrio entre a geração orientada à minoria e a qualidade visual preferida por humanos.

5. Significância e Alegações

O artigo alega que a percepção do classificador de difusão é inerentemente enviesada para regiões de maioria e que esse viés pode ser mitigado através da otimização de preferência de minoria. Ao demonstrar que o aprimoramento da cobertura generativa de regiões sub-representadas traduz-se diretamente em melhores capacidades de reconhecimento, os autores argumentam que a "percepção" de um modelo de difusão está intrinsecamente ligada às suas capacidades de "geração".

A significância do MiPO reside em sua capacidade de melhorar classificadores de difusão sem dados de imagem adicionais ou modelos externos, baseando-se, em vez disso, em um loop de auto-melhoria impulsionado por recompensas de minoria. Os autores posicionam isso como um passo em direção a modelos generativos mais robustos e equitativos, mostrando que a amostragem de minoria estável e adaptável ao prompt é alcançável através de otimização de política eficiente (GRPO + LoRA) e que essa abordagem produz ganhos tangíveis em tarefas de classificação zero-shot.

O artigo permanece modesto quanto às suas limitações, observando que o método depende de auto-melhoria baseada em legendas, o que pode levar a melhorias instáveis em datasets com lacunas de domínio significativas ou anotações ambíguas. Além disso, reconhece um trade-off inerente entre maximizar a distinção de minoria e preservar o alinhamento estético de alto nível do prior pré-treinado.