Resumo Técnico: Classificação Consistente de Modelos Generativos via Distâncias de Kernel

Declaração do Problema

A avaliação e classificação de modelos generativos (ex: GANs, Modelos de Difusão, VAEs) são críticas para identificar as arquiteturas de melhor desempenho. Em configurações centralizadas padrão, isso é alcançado comparando dados gerados contra uma única distribuição de referência usando métricas como a Distância de Fréchet (FD) ou Distância de Kernel (KD). No entanto, aplicações modernas operam cada vez mais em configurações distribuídas (ex: Aprendizado Federado), onde os dados de referência residem em múltiplos clientes com distribuições de dados heterogêneas.

Nesses cenários, uma avaliação centralizada (agregando todos os dados dos clientes para computar uma métrica única de "score-all") é frequentemente inviável devido a restrições de privacidade e custos de comunicação. Em vez disso, os praticantes podem depender da agregação de scores individuais de clientes ("score-avg"). Uma questão fundamental surge: A agregação de scores individuais de clientes produz o mesmo ranking de modelos que uma avaliação centralizada? O artigo investiga se o ranking de modelos generativos permanece consistente entre essas duas abordagens para diferentes métricas de avaliação.

Metodologia

Os autores analisam a consistência da classificação distribuída para duas classes primárias de métricas baseadas em distância: Distância de Kernel (KD) e Distância de Fréchet (FD).

1. Estrutura Teórica

O estudo define dois mecanismos de pontuação agregada para $k$ clientes com distribuições $P_{X_1}, \dots, P_{X_k}$ e pesos $\lambda_i$:

• Score-All ($D_{all}$): A distância entre o modelo generativo $P_G$ e a distribuição de mistura $\bar{P}_X = \sum \lambda_i P_{X_i}$. Isso representa a avaliação centralizada ideal.
• Score-Avg ($D_{avg}$): A média ponderada das distâncias individuais dos clientes: $\sum \lambda_i D(P_{X_i}, P_G)$.

Os autores derivam relações teóricas entre $D_{all}$ e $D_{avg}$ para KD e FD.

2. Análise da Distância de Kernel (KD)

A métrica KD é definida como o erro quadrático da Máxima Discrepância de Média (MMD) usando uma função de kernel $k$.

• Teorema 1: Os autores provam que, para qualquer função de kernel que satisfaça as condições padrão de Espaço de Hilbert de Núcleo Reproduzível (RKHS), a relação entre o score médio de KD e o score centralizado de KD é:
  $$KD_{avg} = KD_{all} + \sum_{i=1}^k \lambda_i KD(\bar{P}_X, P_{X_i})$$
• Implicação: O termo $\sum \lambda_i KD(\bar{P}_X, P_{X_i})$ depende apenas das distribuições de dados dos clientes e é independente do modelo generativo $P_G$. Consequentemente, $KD_{avg}$ e $KD_{all}$ diferem por um deslocamento constante para todos os modelos. Isso garante que classificar modelos por $KD_{avg}$ produz exatamente a mesma ordenação que classificar por $KD_{all}$, independentemente da heterogeneidade dos dados.

3. Análise da Distância de Fréchet (FD)

A FD é definida como a distância de 2-Wasserstein entre aproximações Gaussianas das distribuições de dados.

• Teorema 2: Os autores mostram que a matriz de covariância ótima para a agregação centralizada ($\bar{C}$) difere da matriz de covariância ótima para a agregação média ($\tilde{C}$) quando as médias dos clientes $\mu_i$ são heterogêneas. Especificamente, $\bar{C}$ inclui um termo que contabiliza a variância das médias dos clientes, enquanto $\tilde{C}$ não o faz.
• Proposição 1: Os autores provam que existem cenários onde dois modelos generativos distintos recebem scores de FD individuais idênticos de todos os clientes (e, portanto, $FD_{avg}$ idêntico), mas seus scores de FD centralizados $FD_{all}$ diferem significativamente. Isso demonstra que nenhuma estratégia de agregação de scores locais de FD pode garantir um ranking consistente com a métrica centralizada FD-all.

Principais Contribuições

1. Formulação do Problema: O artigo identifica e estuda formalmente a tarefa de classificar modelos generativos em ambientes distribuídos com dados heterogêneos, destacando a lacuna entre avaliações locais preservadoras de privacidade e a verdade fundamental centralizada.
2. Consistência de KD: Fornece uma prova teórica de que a Distância de Kernel (KD) permite uma classificação distribuída consistente. Especificamente, a média dos scores de KD dos clientes ($KD_{avg}$) é matematicamente equivalente ao score de KD centralizado ($KD_{all}$) em termos de ordenação de modelos para qualquer função de kernel.
3. Inconsistência de FD: Demonstra que a amplamente utilizada Distância de Fréchet (FD) falha em preservar a consistência de ranking em configurações distribuídas. O artigo prova que os scores locais de FD são insuficientes para recuperar o ranking global, pois diferentes modelos podem parecer idênticos localmente, mas diferir globalmente.
4. Validação Empírica: Os autores validam esses achados teóricos através de experimentos numéricos extensos em conjuntos de dados de imagens padrão (ImageNet, CIFAR, FFHQ, AFHQ) e várias arquiteturas generativas (BigGAN, StyleGAN, Modelos de Difusão).

Resultados Experimentais

• Consistência de KD: Experimentos no ImageNet e treinamento distribuído de StyleGAN mostram um gap fixo entre $KD_{avg}$ e $KD_{all}$ entre diferentes modelos e configurações de treinamento. Os rankings derivados de ambas as métricas são idênticos.
• Inconsistência de FD:
  • Em um experimento controlado com seis clientes simulados, dois geradores ($G_1, G_2$) tiveram scores de FD por cliente quase idênticos (diferenças < 1.0) e $FD_{avg}$ idêntico (195.04 vs. 195.37). No entanto, seus scores de $FD_{all}$ centralizados diferiram drasticamente (100.49 vs. 190.93).
  • Experimentos em datasets federados com variância limitada (onde a variância intra-cliente é baixa, mas a variância inter-cliente é alta) confirmaram ainda mais que $FD_{avg}$ e $FD_{all}$ podem produzir rankings contraditórios, frequentemente favorecendo modelos diferentes com base nos trade-offs de diversidade vs. fidelidade.
• Outras Métricas: O estudo observa que, embora os scores de Recall também mantenham a consistência (Recall-all = Recall-avg), métricas como Precision, Density e Coverage exibem inconsistências de ranking semelhantes à FD.

Significância e Alegações

O artigo afirma que a Distância de Kernel é uma métrica unicamente adequada para a avaliação distribuída de modelos generativos preservando a privacidade. Como o $KD_{avg}$ preserva o ranking do $KD_{all}$ centralizado sem exigir o compartilhamento de dados, ele permite:

• Classificação Privada: Os clientes podem compartilhar apenas scores escalares, permitindo que um servidor classifique modelos com base na distribuição de referência global sem acessar os dados brutos.
• Otimização Distribuída: A relação monotônica entre $KD_{avg}$ e $KD_{all}$ permite o ajuste fino distribuído (ex: minimização de perda MMD), onde o objetivo local se alinha ao objetivo global.

Os autores concluem modestamente que, embora a KD ofereça uma solução para classificação consistente, outras métricas populares como a FD não compartilham essa propriedade, apresentando desafios para a seleção de modelos distribuídos. Eles sugerem que trabalhos futuros poderiam explorar técnicas de privacidade diferencial para aumentar a segurança do processo de classificação e investigar a classificação sob restrições de comunicação.