Resumen Técnico: Clasificación Consistente de Modelos Generativos mediante Distancias de Kernel

Declaración del Problema

La evaluación y clasificación de modelos generativos (por ejemplo, GAN, Modelos de Difusión, VAE) es crítica para identificar las arquitecturas con mejor rendimiento. En entornos centralizados estándar, esto se logra comparando los datos generados contra una única distribución de referencia utilizando métricas como la Distancia de Fréchet (FD) o la Distancia de Kernel (KD). Sin embargo, las aplicaciones modernas operan cada vez más en entornos distribuidos (por ejemplo, Aprendizaje Federado), donde los datos de referencia residen en múltiples clientes con distribuciones de datos heterogéneas.

En tales escenarios, una evaluación centralizada (agregar todos los datos de los clientes para calcular una métrica única de "puntuación para todos") suele ser inviable debido a las restricciones de privacidad y los costos de comunicación. En su lugar, los profesionales pueden depender de la agregación de puntuaciones individuales de los clientes ("puntuación promedio"). Surge una pregunta fundamental: ¿Produce la agregación de las puntuaciones individuales de los clientes la misma clasificación de modelos que una evaluación centralizada? El artículo investiga si la clasificación de los modelos generativos permanece consistente entre estos dos enfoques a través de diferentes métricas de evaluación.

Metodología

Los autores analizan la consistencia de la clasificación distribuida para dos clases primarias de métricas basadas en la distancia: la Distancia de Kernel (KD) y la Distancia de Fréchet (FD).

1. Marco Teórico

El estudio define dos mecanismos de puntuación agregada para $k$ clientes con distribuciones $P_{X_1}, \dots, P_{X_k}$ y pesos $\lambda_i$:

• Score-All ($D_{all}$): La distancia entre el modelo generativo $P_G$ y la distribución de mezcla $\bar{P}_X = \sum \lambda_i P_{X_i}$. Esto representa la evaluación centralizada ideal.
• Score-Avg ($D_{avg}$): El promedio ponderado de las distancias individuales de los clientes: $\sum \lambda_i D(P_{X_i}, P_G)$.

Los autores derivan relaciones teóricas entre $D_{all}$ y $D_{avg}$ para KD y FD.

2. Análisis de la Distancia de Kernel (KD)

La métrica KD se define como el cuadrado de la Discrepancia de la Media Máxima (MMD) utilizando una función de kernel $k$.

• Teorema 1: Los autores demuestran que para cualquier función de kernel que satisfaga las condiciones estándar del Espacio de Hilbert de Núcleo Reproductor (RKHS), la relación entre la puntuación KD promedio y la puntuación KD centralizada es:
  $$KD_{avg} = KD_{all} + \sum_{i=1}^k \lambda_i KD(\bar{P}_X, P_{X_i})$$
• Implicación: El término $\sum \lambda_i KD(\bar{P}_X, P_{X_i})$ depende únicamente de las distribuciones de los datos de los clientes y es independiente del modelo generativo $P_G$. En consecuencia, $KD_{avg}$ y $KD_{all}$ difieren por un desfase constante para todos los modelos. Esto garantiza que clasificar los modelos mediante $KD_{avg}$ produce exactamente el mismo orden que clasificar mediante $KD_{all}$, independientemente de la heterogeneidad de los datos.

3. Análisis de la Distancia de Fréchet (FD)

La métrica FD se define como la distancia de 2-Wasserstein entre aproximaciones gaussianas de las distribuciones de datos.

• Teorema 2: Los autores muestran que la matriz de covarianza óptima para la agregación centralizada ($\bar{C}$) difiere de la covarianza óptima para la agregación promedio ($\tilde{C}$) cuando las medias de los clientes $\mu_i$ son heterogéneas. Específicamente, $\bar{C}$ incluye un término que contabiliza la varianza de las medias de los clientes, mientras que $\tilde{C}$ no lo hace.
• Proposición 1: Los autores demuestran que existen escenarios donde dos modelos generativos distintos reciben puntuaciones FD individuales idénticas de todos los clientes (y, por lo tanto, una $FD_{avg}$ idéntica), pero sus puntuaciones FD centralizadas $FD_{all}$ difieren significativamente. Esto demuestra que ninguna estrategia de agregación de las puntuaciones locales de FD puede garantizar una clasificación consistente con la métrica centralizada FD-all.

Contribuciones Clave

1. Formulación del Problema: El artículo identifica y estudia formalmente la tarea de clasificar modelos generativos en entornos distribuidos con datos heterogéneos, resaltando la brecha entre las evaluaciones locales que preservan la privacidad y la verdad de terreno centralizada.
2. Consistencia de KD: Proporciona una prueba teórica de que la Distancia de Kernel (KD) permite una clasificación distribuida consistente. Específicamente, el promedio de las puntuaciones de KD de los clientes ($KD_{avg}$) es matemáticamente equivalente a la puntuación KD centralizada ($KD_{all}$) en términos de ordenamiento de modelos para cualquier función de kernel.
3. Inconsistencia de FD: Demuestra que la ampliamente utilizada Distancia de Fréchet (FD) falla en preservar la consistencia de la clasificación en entornos distribuidos. El artículo prueba que las puntuaciones locales de FD son insuficientes para recuperar la clasificación global, ya que diferentes modelos pueden parecer idénticos localmente pero diferir globalmente.
4. Validación Empírica: Los autores validan estos hallazgos teóricos mediante extensos experimentos numéricos en conjuntos de datos de imágenes estándar (ImageNet, CIFAR, FFHQ, AFAF) y diversas arquitecturas generativas (BigGAN, StyleGAN, modelos de difusión).

Resultados Experimentales

• Consistencia de KD: Los experimentos en ImageNet y el entrenamiento distribuido de StyleGAN muestran una brecha fija entre $KD_{avg}$ y $KD_{all}$ a través de diferentes modelos y configuraciones de entrenamiento. Las clasificaciones derivadas de ambas métricas son idénticas.
• Inconsistencia de FD:
  • En un experimento controlado con seis clientes simulados, dos generadores ($G_1, G_2$) tuvieron puntuaciones FD de nivel de cliente casi idénticas (diferencias < 1.0) y una $FD_{avg}$ idéntica (195.04 vs. 195.37). Sin embargo, sus puntuaciones FD centralizadas $FD_{all}$ difirieron drásticamente (100.49 vs. 190.93).
  • Los experimentos en conjuntos de datos federados con varianza limitada (donde la varianza intra-cliente es baja pero la varianza inter-cliente es alta) confirmaron además que $FD_{avg}$ y $FD_{all}$ pueden producir clasificaciones contradictorias, favoreciendo a menudo diferentes modelos basados en los compromisos entre diversidad y fidelidad.
• Otras Métricas: El estudio señala que, si bien las puntuaciones de Recall también mantienen la consistencia (Recall-all = Recall-avg), métricas como Precision, Density y Coverage exhiben inconsistencias de clasificación similares a FD.

Significancia y Reivindicaciones

El artículo afirma que la Distancia de Kernel es una métrica excepcionalmente adecuada para la evaluación distribuida de modelos generativos que preserva la privacidad. Debido a que $KD_{avg}$ preserva la clasificación de la $KD_{all}$ centralizada sin requerir el intercambio de datos, permite:

• Clasificación Privada: Los clientes pueden compartir solo puntuaciones escalares, permitiendo que un servidor clasifique los modelos basándose en la distribución de referencia global sin acceder a los datos brutos.
• Optimización Distribuida: La relación monotónica entre $KD_{avg}$ y $KD_{all}$ permite el ajuste fino distribuido (por ejemplo, minimizando la pérdida MMD) donde el objetivo local se alinea con el objetivo global.

Los autores concluyen modestamente que, si bien KD ofrece una solución para la clasificación consistente, otras métricas populares como FD no comparten esta propiedad, lo que plantea desafíos para la selección de modelos distribuidos. Sugieren que trabajos futuros podrían explorar técnicas de privacidad diferencial para asegurar aún más el proceso de clasificación e investigar la clasificación bajo restricciones de comunicación.