Resumen Técnico: Clasificadores de Difusión Auto-Mejorables con Optimización de Preferencia de Minorías (MiPO)

1. Planteamiento del Problema

Los clasificadores de difusión (DC, por sus siglas en inglés) han demostrado una robusta capacidad de clasificación zero-shot, particularmente en muestras fuera de la distribución (OOD) y en la comprensión compositiva. Sin embargo, su efectividad depende fuertemente de la distribución de los datos de preentrenamiento. Los DC actuales funcionan bien en regiones de "mayoría" (alta densidad) del manifold de datos, pero exhiben una degradación significativa en la precisión en regiones de "minoría" (baja densidad).

Esta brecha de rendimiento surge porque la función de pérdida de coincidencia de ruido estándar utilizada para entrenar modelos de difusión está inherentemente sesgada hacia muestras frecuentes de alta densidad. En consecuencia, la cobertura generativa del modelo es dispersa en las regiones subrepresentadas, lo que conduce a capacidades de percepción deficientes para conceptos minoritarios. Aunque trabajos previos han intentado abordar el muestreo de minorías mediante guía en tiempo de inferencia o clasificadores auxiliares, estos métodos suelen incurrir en altos costos computacionales, requieren modelos externos o no logran actualizar la representación subyacente del modelo de difusión en sí, limitando su capacidad para mejorar el rendimiento de la clasificación.

2. Metodología: MiPO

Los autores proponen MiPO (Minority Preference Optimization), un marco de auto-mejora que ajusta finamente un modelo de difusión de texto a imagen preentrenado para mejorar su representación de las regiones de minoría sin requerir datos de imagen adicionales o modelos de recompensa externos.

Componentes Principales

• Mecanismo de Auto-mejora: MiPO utiliza únicamente datos de subtítulos arbitrarios (por ejemplo, de HPSv2) para generar muestras candidatas. No depende de conjuntos de datos de imágenes externos o modelos fundacionales para el cálculo de la recompensa.
• Recompensa de Preferencia de Minoría: Para cuantificar qué tan bien una muestra generada cubre una región de minoría, el método emplea una aproximación de la fórmula de Tweedie basada en DDIM.
  • Para una imagen generada $x_0$, se añade ruido gaussiano para crear un latente perturbado $x_t$.
  • El modelo reconstruye $\hat{x}_0$ mediante la inversión DDIM.
  • El Puntaje de Minoría se define como la discrepancia de reconstrucción: $M(x_0) = \|\hat{x}_0 - x_0\|_2$.
  • Los errores de reconstrucción más altos indican regiones donde el denoiser exhibe mayor incertidumbre (es decir, regiones de minoría), sirviendo como una señal de recompensa positiva.
• Aprendizaje por Refuerzo con GRPO: El modelo se ajusta finamente utilizando Optimización de Política Relativa de Grupo (GRPO).
  • Se muestrean múltiples trayectorias a partir del mismo prompt y ruido inicial.
  • Las ventajas normalizadas por grupo se calculan basándose en las recompensas de minoría.
  • La política se actualiza para maximizar la verosimilitud de generar muestras de alta recompensa (minoría).
• Integración de LoRA: Para asegurar la eficiencia y estabilidad, las actualizaciones se aplican mediante un adaptador de Adaptación de Bajo Rango (LoRA) en lugar de un ajuste fino completo del modelo. Esto permite la compatibilidad plug-and-play con varios backbones (por ejemplo, Stable Diffusion 1.5 y 2.0).
• Regularización KL: Para evitar que la política diverja demasiado de la distribución preentrenada (lo que podría degradar la fidelidad visual o el rendimiento de la mayoría), se añade un término de divergencia de Kullback–Leibler (KL) a la función objetivo:
  $$\mathcal{J}(\theta) = \alpha \mathcal{J}_{Minority}(\theta) + \beta D_{KL}(\pi_\theta \| \pi_{pre})$$
  Esto equilibra la exploración de la minoría con la preservación del prior generativo original.
• Optimización de Política Selectiva: El método actualiza solo el primer 40% de los pasos de tiempo de la difusión. El análisis empírico sugiere que los pasos tempranos son críticos para formar información semántica y estructural gruesa, y restringir las actualizaciones a esta fase reduce el costo computacional mientras mantiene la fidelidad visual.

3. Contribuciones Clave

1. Conexión Novedosa: El artículo establece una relación directa entre el muestreo de minorías en la generación y la capacidad de percepción de los clasificadores de difusión, demostando que mejorar la cobertura generativa de las regiones de baja densidad mejora la clasificación zero-shot.
2. Marco MiPO: Un enfoque de auto-mejora que ajusta finamente los modelos de difusión utilizando recompensas de preferencia de minoría derivadas únicamente de datos de subtítulos, eliminando la necesidad de datos de imagen externos, modelos de recompensa externos (por ejemplo, CLIPScore, ImageReward) o optimización por prompt.
3. Optimización Eficiente: La integración de GRPO con LoRA y actualizaciones de pasos de tiempo selectivos permite un muestreo de minorías estable y adaptable al prompt con una sobrecarga de inferencia insignificante y una pequeña huella de parámetros.
4. Evaluación Exhaustiva: El método se evalúa en cinco conjuntos de datos estándar, demostrando mejoras tanto en la precisión de la clasificación zero-shot como en la calidad de la generación de imágenes de minoría.

4. Resultados Experimentales

Los autores evaluaron MiPO en backbones SD 1.5 y SD 2.0 a través de múltiples conjuntos de datos:

• Clasificación Zero-Shot:

  • CIFAR10: Mejoró de 85.38% a 87.89% (SD 1.5).
  • CIFAR10-C (Robustez): Mejoró de 57.72% a 59.76% (SD 1.5) y de 64.61% a 65.33% (SD 2.0).
  • ImageNet-Tiny: Mejoró de 46.50% a 47.30% (SD 1.5) y de 51.45% a 55.25% (SD 2.0).
  • Caltech & SUN09: Se observaron ganancias consistentes en ambos backbones.
  • Nota: El artículo reconoce que el rendimiento en conjuntos de datos complejos y multiobjeto como LabelME y VOC2007 fue menos estable o mostró una ligera degradación, atribuyéndolo a brechas de dominio e inconsistencias en la anotación.

• Generación de Minorías:

  • MiPO logró un rendimiento comparable o superior al baseline de estado del arte MinorityPrompt en métricas sensibles a la minoría (Minority Score, JEPA-SCORE) mientras mantenía una alta calidad perceptual (CLIPScore, HPSv3).
  • Crucialmente, MiPO opera de manera totalmente adaptable al prompt (1s por imagen) sin la pesada optimización por prompt requerida por MinorityPrompt (63s por imagen).

• Preferencia Humana:

  • MiPO alcanzó el puntaje de ImageReward más alto (0.228) en comparación con el baseline (0.184) y MinorityPrompt (-0.026), indicando un mejor equilibrio entre la generación orientada a la minoría y la calidad visual preferida por humanos.

5. Significado y Reivindicaciones

El artículo sostiene que la percepción de los clasificadores de difusión está inherentemente sesgada hacia las regiones de la mayoría y que este sesgo puede mitigarse mediante la optimización de la preferencia de la minoría. Al demostrar que mejorar la cobertura generativa de las regiones subrepresentadas se traduce directamente en mejores capacidades de reconocimiento, los autores argumentan que la "percepción" de un modelo de difusión está inextricablemente ligada a sus capacidades de "generación".

La importancia de MiPO radica en su capacidad para mejorar los clasificadores de difusión sin datos de imagen adicionales ni modelos externos, apoyándose en su lugar en un bucle de auto-mejora impulsado por recompensas de minoría. Los autores posicionan esto como un paso hacia modelos generativos más robustos y equitativos, mostrando que el muestreo de minorías estable y adaptable al prompt es alcanzable mediante una optimización de política eficiente (GRPO + LoRA) y que este enfoque produce ganancias tangibles en tareas de clasificación zero-shot.

El artículo se mantiene modesto respecto a sus limitaciones, señalando que el método depende de la auto-mejora basada en subtítulos, lo que puede conducir a mejoras inestables en conjuntos de datos con brechas de dominio significativas o anotaciones ambiguas. Además, reconoce un compromiso inherente entre maximizar la distintividad de la minoría y preservar la alineación estética de alto nivel del prior preentrenado.