A Pragmatic Note on Evaluating Generative Models with Fréchet Inception Distance for Retinal Image Synthesis

Este artigo examina casos em imagens de retina onde a Distância Fréchet Inception (FID) e suas variantes falham em alinhar-se com objetivos de avaliação específicos de tarefas, como classificação e segmentação, destacando que a incorporação de dados sintéticos no treinamento de tarefas downstream é o padrão-ouro mais pragmático para avaliar modelos generativos em biomedicina.

O essencial

Imagine que você é um chef de cozinha tentando criar um prato novo e delicioso. Você quer que esse prato seja tão bom que, se você o servir aos seus clientes, eles nem percebam a diferença entre o prato original e o seu novo.

Neste artigo, os pesquisadores estão falando sobre Inteligência Artificial (IA) que cria imagens médicas (como fotos do fundo do olho ou tomografias). O objetivo dessas IAs é criar muitas imagens falsas, mas realistas, para ajudar a treinar outras IAs que vão diagnosticar doenças.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O "Cheiro" vs. O "Sabor"

Para saber se a IA está criando boas imagens, os cientistas usam uma régua chamada FID (Distância de Fréchet Inception).

• Como funciona o FID: É como um "nariz" treinado. Ele cheira a imagem gerada e a imagem real e diz: "Ei, elas cheiram muito parecidas!". Se o cheiro for parecido, o FID dá uma nota alta.
• O que os pesquisadores descobriram: Eles perceberam que o "nariz" (o FID) está enganando a todos. Às vezes, a IA cria uma imagem que cheira perfeitamente como um olho humano (o FID dá nota 10), mas quando você tenta usar essa imagem para treinar um médico robô a diagnosticar glaucoma, o robô fica confuso e erra muito.

A Analogia: Imagine que você tem um manequim de loja.

• O FID é como alguém que olha o manequim de longe e diz: "Uau! Parece um ser humano perfeito! A pele, a cor, tudo está ótimo!" (Nota alta).
• Mas, se você tentar fazer o manequim jogar futebol (a tarefa real), ele vai cair e não vai conseguir.
• O artigo diz: "Não adianta o manequim parecer bonito se ele não consegue jogar futebol."

2. O Experimento: Testando Diferentes "Cozinheiros"

Os autores testaram três tipos de "cozinheiros" (modelos de IA) diferentes:

1. StyleGAN3: Um modelo antigo, mas famoso.
2. Medfusion: Um modelo feito especificamente para medicina.
3. DDPM: Um modelo que cria imagens passo a passo, como desenhar.

Eles criaram milhares de imagens de olhos (fundo do olho e tomografias) e mediram a qualidade de duas formas:

1. Pela régua FID: "Quão parecido é com a realidade?"
2. Pela tarefa real: "Se usarmos essas imagens para treinar um sistema de diagnóstico, ele funciona bem?"

3. A Grande Surpresa: A Régua Quebrou!

O resultado foi chocante:

• Para os modelos de Difusão (os mais modernos): A régua FID e a tarefa real não tinham nenhuma relação. Era como tentar prever se um carro vai ser rápido olhando apenas a cor da pintura.
• Para o modelo StyleGAN3: Foi ainda pior! A régua FID dizia que as imagens estavam ficando piores (nota mais baixa), mas na verdade, quando usadas para treinar o diagnóstico, elas estavam ficando melhores!
  • Analogia: É como se você estivesse afinando um violão. O afinador (FID) grita: "Você está desafinando!", mas quando você toca a música, soa perfeitamente. O afinador estava medindo a tensão das cordas, mas não a harmonia da música.

4. Por que isso acontece?

O artigo explica que o FID foi treinado para olhar para fotos de gatos, carros e paisagens (um banco de dados chamado ImageNet). Ele não entende a "anatomia" de um olho humano.

• A IA pode criar um olho que tem a cor e o brilho certos (o FID fica feliz), mas a estrutura interna (os vasos sanguíneos, as camadas da retina) pode estar errada de uma forma que só importa para um médico.
• O FID é como um turista que visita o Brasil e diz: "A praia é linda, a areia é branca, tudo perfeito!". Mas ele não sabe que a água está poluída ou que há correntes perigosas. Para um nadador (o médico), a praia "perfeita" do turista é perigosa.

5. A Conclusão Prática

O que os autores querem que a gente faça?

• Pare de confiar cegamente no FID. Não use apenas a "nota de beleza" da imagem para decidir se ela é útil.
• Teste na vida real (Downstream Task): Se você quer criar imagens falsas para treinar um médico, a única prova real é: pegue essas imagens, treine o médico e veja se ele acerta o diagnóstico.
• Se a imagem falsa ajuda o médico a acertar mais, ela é boa. Se não ajuda, não importa se ela parece 100% real para um computador; ela é inútil para a medicina.

Resumo em uma frase:
Não julgue um livro pela capa (a imagem bonita que o FID vê), mas sim pela história que ele conta quando você o lê (se ele ajuda a curar o paciente). Para imagens médicas, o teste final é sempre: "Isso ajuda a diagnosticar a doença?"

Resumo técnico

Resumo Técnico: Avaliação Pragmática de Modelos Generativos para Síntese de Imagens Retinianas

1. Problema e Motivação

O uso de modelos generativos (como GANs e Modelos de Difusão) para síntese de imagens biomédicas tem crescido, visando enriquecer conjuntos de dados escassos e resolver problemas de privacidade. O objetivo principal dessas aplicações é frequentemente treinar tarefas downstream (como classificação de doenças ou segmentação de estruturas) com dados sintéticos anotados.

No entanto, a métrica padrão da indústria para avaliar a qualidade de imagens geradas é a Distância Fréchet Inception (FID). A FID calcula a distância de Wasserstein-2 entre as distribuições de características de dados reais e sintéticos, extraídas por uma rede Inception-v3 pré-treinada no ImageNet.

• A Hipótese Crítica: A comunidade assume que uma FID baixa (alta similaridade perceptual) implica que os dados sintéticos serão úteis para melhorar o desempenho de modelos em tarefas downstream.
• O Problema: Os autores questionam se métricas baseadas em distância de características (feature-distance metrics) são realmente proxies confiáveis para a utilidade prática dos dados sintéticos em tarefas biomédicas específicas, como classificação de glaucoma ou segmentação de camadas da retina.

2. Metodologia

O estudo foi conduzido em duas modalidades de imagem retiniana: Fotografia de Fundo de Olho (Fundus) e Tomografia de Coerência Óptica (OCT).

• Modelos Generativos Avaliados:

  • StyleGAN3: Variáveis de checkpoints selecionados com base na FID de validação.
  • Medfusion (Latent Diffusion): Modelos de difusão médica com diferentes passos de amostragem.
  • DDPM (Denoising Diffusion Probabilistic Models): Modelos de difusão para geração de OCT baseada em esboços de máscaras de segmentação.
  • Total de 24 configurações de modelos avaliadas.

• Métricas de Avaliação Generativa (7 Métricas):
  Os autores compararam várias métricas baseadas em distância de características:

  • FID e Variantes: FID padrão, Clean-FID, CLIP-FD, RETFound-FD (usando um modelo fundação específico para retina).
  • MMD (Maximum Mean Discrepancy): KID (Kernel Inception Distance) e CMMD (CLIP-MMD).
  • Divergência de Entropia: FLD (Feature Likelihood Divergence).
  • Extratores de Características: Inception-v3 (ImageNet), CLIP, DINOv2 e RETFound.

• Tarefas Downstream (Objetivo Final):

  • Classificação (Fundus): Classificação binária de Glaucoma Referável (RG) vs. Não Referável (NRG) em dados desbalanceados. Métrica: F1-score. Arquiteturas: ResNet-50 e Swin Transformer Tiny.
  • Segmentação (OCT): Segmentação de três camadas retinianas (RNFL, GCIPL, CL). Métrica: Dice Score. Arquiteturas: U2-Net e TransUNet.

• Análise de Correlação:
  Foi calculado o coeficiente de correlação de Kendall's τ para verificar:

  1. A consistência entre as diferentes métricas generativas.
  2. A alinhamento entre o ranking das métricas generativas e o desempenho real nas tarefas downstream.

3. Contribuições Principais

1. Desmistificação da FID em Biomedicina: O trabalho demonstra empiricamente que a FID e suas variantes (incluindo aquelas baseadas em modelos fundação específicos de domínio como o RETFound) não são confiáveis para prever a utilidade de dados sintéticos em tarefas de classificação e segmentação biomédica.
2. Redundância de Métricas: As métricas de distância de características (FID, KID, CMMD, etc.) tendem a ser altamente correlacionadas entre si (Kendall's τ > 0.7 na maioria dos pares), sugerindo que elas medem essencialmente a mesma coisa (similaridade perceptual no espaço de embedding) e não capturam nuances críticas para tarefas downstream.
3. Má Alinhamento (Misalignment): Em muitos casos, especialmente com modelos baseados em difusão, a melhoria na métrica generativa (ex: FID menor) não corresponde a uma melhoria no desempenho da tarefa downstream. Em alguns cenários (StyleGAN3 na fotografia de fundo), houve até uma correlação negativa significativa, onde modelos com FID "melhor" geraram dados que pioraram o desempenho do classificador.
4. Análise de Propriedades de Características: O estudo analisou a esparsidade e entropia dos vetores de características, mostrando que diferentes extratores (Inception vs. CLIP vs. RETFound) produzem representações distintas, mas isso não se traduziu em métricas que melhoram a previsão de utilidade downstream.

4. Resultados Chave

• Falta de Correlação: Para os modelos de difusão (Medfusion e DDPM), as métricas generativas não mostraram correlação significativa (p ≥ 0.05) com o desempenho downstream (F1 ou Dice).
• Correlação Negativa: Para o StyleGAN3 na tarefa de fundus, as métricas apresentaram correlação negativa significativa (p < 0.01), indicando que otimizar para FID pode levar a modelos que geram dados menos úteis para o treinamento de classificadores.
• Ineficácia de Variantes: Variantes modernas da FID (como Clean-FID, CMMD) e o uso de extratores específicos de domínio (RETFound) não corrigiram o problema de desalinhamento.
• Visualização: Os gráficos (Figura 2) mostram que as curvas de desempenho downstream (F1/Dice) e a inversa da FID (1/FID) não seguem tendências semelhantes, confirmando a desconexão.

5. Significado e Conclusão

O artigo oferece uma "nota pragmática" crucial para a comunidade de visão computacional biomédica:

• Mudança de Paradigma: A avaliação de modelos generativos para enriquecimento de dados não deve ser baseada apenas em métricas de qualidade perceptual (como FID).
• Padrão Ouro: A única maneira confiável de avaliar se dados sintéticos são úteis é incorporá-los no treinamento de tarefas downstream e medir o desempenho real (validação cruzada).
• Futuro: A pesquisa futura deve focar em desenvolver métricas que sejam computacionalmente eficientes, mas que sejam proxies diretos da utilidade da tarefa (task-aware), ou adotar estratégias de otimização bayesiana para selecionar modelos baseadas em avaliações parciais de tarefas downstream, em vez de confiar em métricas de distância cegas.

Em suma, uma baixa FID não garante que os dados sintéticos ajudarão a treinar melhores modelos médicos, e a otimização cega para FID pode até ser prejudicial em cenários de dados limitados e desbalanceados típicos da oftalmologia.