Resumo Técnico: Avaliação da Qualidade de Amostras em Geração Condicional sob Mudança Composicional

Declaração do Problema

Modelos generativos condicionais, particularmente modelos de difusão, são cada vez mais utilizados para simular condições que são raras, caras ou não observadas em dados reais (por exemplo, perturbações biológicas específicas ou combinações de atributos inovadores). No entanto, avaliar a qualidade dessas gerações "extrapolativas" apresenta uma circularidade fundamental: métricas padrão como o Fréchet Inception Distance (FID) ou o Kernel Inception Distance (KID) exigem uma distribuição de referência de amostras reais da condição alvo para comparação. Por definição, essa distribuição alvo é indisponível no regime extrapolativo onde o modelo é mais útil. Consequentemente, as ferramentas de confiabilidade post-hoc existentes ou medem o realismo global (compatibilidade com a distribuição de treinamento) ou o alinhamento de atributos (concordância com um prompt), mas falham em combinar ambos em um escore de confiança por amostra, sem referência, unificado, que possa filtrar ou classificar gerações quando o ground truth do alvo está ausente.

Metodologia

Os autores propõem um escore de confiança por amostra, post-hoc ($T$) que avalia a qualidade da amostra condicional usando apenas a distribuição de treinamento real e um extrator de características pré-treinado ($\Phi$). O escore decompõe a qualidade em duas quantidades geometricamente estimáveis:

1. Realismo Global ($R$): Mede a compatibilidade de uma amostra gerada com a variedade (manifold) dos dados reais. Isso é computado como uma energia de Mahalanobis padronizada no espaço de características de $\Phi$, quantificando o quão longe a amostra está da média empírica das características de treinamento reais.
2. Fidelidade por Atributo ($F$): Mede se uma amostra está mais próxima dos valores de atributos solicitados do que de alternativas plausíveis. Em vez de exigir uma amostra real para a condição conjunta específica $a^*$, o método avalia cada atributo constituinte $k$ de forma independente. Ele computa uma margem entre a distância ao protótipo do atributo solicitado e a distância mínima aos protótipos de atributos concorrentes. Isso depende de uma condição de cobertura de referência: o suporte observado no treinamento deve conter variação suficiente para isolar os efeitos dos atributos (por exemplo, uma condição de referência onde todos os outros atributos são fixos enquanto um varia).

O escore de confiança final é a soma: $T = R + F$. Escores menores indicam maior confiança.

Variantes de Implementação

• Pontuação Pós-geração: A imagem é totalmente decodificada, passada por $\Phi$ e pontuada.
• Pontuação Durante a Geração: Para permitir a rejeição precoce, os autores treinam um tradutor leve (um MLP raso) para mapear representações intermediárias de denoising do modelo de difusão diretamente para o espaço de características compatível com $\Phi$. Isso permite que o escore de confiança seja avaliado antes da decodificação total, possibilitando a rejeição de amostras de baixa qualidade precocemente na trajetória de geração.

Principais Contribuições

1. Escore de Confiança Sem Referência: O artigo reformula a avaliação de qualidade por amostra como um problema solucionável sem observar a condição conjunta alvo. Introduz um escore computável a partir de um gerador pré-treinado, um codificador e estatísticas do conjunto de treinamento, decompondo a qualidade em realismo global e fidelidade por atributo.
2. Identificabilidade ao Nível de Atributo: Os autores demonstram teoricamente que, embora a fidelidade condicional total à distribuição alvo ausente seja não-identificável sem suposições, escores de comparação de nível de atributo significativos são identificáveis sob uma condição suave de cobertura de referência. Isso formaliza o limite entre o que pode ser certificado e o que permanece fundamentalmente não-identificável.
3. Mecanismo de Abstenção Precoce: Ao alinhar as representações internas do modelo de difusão com o espaço do extrator de características via um tradutor, o método permite a avaliação de qualidade e a rejeição de amostras durante o processo de denoising, evitando o custo computacional da decodificação e re-codificação total para candidatos de baixa confiança.
4. Validação Empírica: O escore é validado em imagens biológicas (RxRx1) e benchmarks de visão controlados (CelebA), mostrando que pode filtrar, classificar e curar dados sintéticos sob mudança de suporte.

Resultados Experimentais

O método foi avaliado em:

• RxRx1: Um conjunto de dados de imagens de microscopia de fluorescência com tipos celulares e perturbações de siRNA.
• CelebA: Um ambiente de teste composicional com atributos faciais binários.

Principais Descobertas:

• Filtragem e Classificação: Sob mudança de suporte (condições conjuntas não vistas), o escore de confiança selecionou consistentemente amostras com $\Delta$KID significativamente menor (melhorias de 39–44% no CelebA e 39–42% no RxRx1) em comparação com baselines aleatórios. O escore também forneceu uma forte correlação de Spearman ($\rho \approx 0.9$) entre a confiança média e o $\Delta$KID, permitindo a classificação eficaz por nível de condição.
• Utilidade Downstream: No RxRx1, as amostras selecionadas pelo escore de confiança melhoraram o desempenho de classificação downstream (identificação de tipo celular e perturbação) quando usadas como dados de treinamento.
• Validade Biológica: No RxRx1, as amostras selecionadas pela confiança estavam mais próximas dos centroides morfológicos reais no espaço de características do CellProfiler, preservando melhor as estruturas biologicamente significativas (textura, forma, granularidade) do que as gerações não filtradas.
• Eficiência Durante a Geração: O escore baseado em tradutor alcançou desempenho de filtragem comparável ao de pontuação pós-geração no CelebA (ex: +31% de melhoria no $\Delta$KID) enquanto economizava computação significativa ao rejeitar amostras precocemente na trajetória de denoising (ex: economizando ~67% dos passos em $k=83$).
• Ablação: Os autores mostraram que métodos de alinhamento padrão (como o alinhamento de cosseno do REPA) falharam em preservar a geometria de covariância necessária para a pontuação de confiança no RxRx1, enquanto seu tradutor de geometria branqueada (whitened-geometry) obteve sucesso.

Significância e Alegações

O artigo afirma abordar uma lacuna crítica no uso de modelos generativos condicionais em configurações científicas e exploratórias onde os dados alvo estão indisponíveis. Ao fornecer uma estimativa de confiabilidade por amostra e sem referência, o método permite que pesquisadores:

• Filtrem dados sintéticos não confiáveis antes que eles contaminem análises downstream.
• Classifiquem condições geradas por dificuldade ou probabilidade de sucesso, priorizando experimentos de bancada (wet-lab).
• Abstenham-se de gerar amostras de baixa qualidade precocemente, reduzindo o desperdício computacional.

Os autores enfatizam que sua abordagem não melhora o próprio modelo generativo, mas fornece uma ferramenta de diagnóstico necessária para a confiança. Eles observam que o método depende da suposição de cobertura de referência; se os atributos forem perfeitamente confundidos nos dados de treinamento (ex: aparecendo apenas em combinações fixas), a fidelidade ao nível de atributo não pode ser desmembrada. O trabalho é de escopo modesto, focando em atributos discretos e demonstrando que, embora a fidelidade condicional total seja não-identificável, uma decomposição em realismo e fidelidade por atributo resulta em uma métrica prática e calibrada para generalização composicional.