🤖 machine learning

From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition

O artigo propõe o "From Fake to Real" (FFR), um pipeline de treinamento de duas etapas que pré-treina modelos em dados sintéticos balanceados para aprender representações de subgrupos robustas antes de realizar o ajuste fino em dados reais, prevenindo assim correlações espúrias causadas pela mistura de distribuições reais e sintéticas e melhorando significativamente a acurácia de pior grupo.

Autores originais: Maan Qraitem, Kate Saenko, Bryan A. Plummer

Publicado 2026-08-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Maan Qraitem, Kate Saenko, Bryan A. Plummer

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a reconhecer animais. Você mostra a ele milhares de fotos, mas há um problema sorrateiro: quase todas as fotos de um "Cão Grande" foram tiradas dentro de uma sala de estar aconchegante, enquanto quase todas as fotos de um "Cão Pequeno" foram tiradas ao ar livre, em um parque. O robô é inteligente, mas também é um pouco eficiente. Em vez de aprender como um cachorro realmente se parece, ele aprende um atalho: "Se eu vejo um sofá, é um Cão Grande. Se eu vejo grama, é um Cão Pequeno". No mundo da ciência da computação, isso é chamado de "correlação espúria". O robô aprendeu a depender do cenário em vez do sujeito. Isso é um grande problema porque, quando o robô encontra um Cão Grande ao ar livre, ele fica confuso e falha. Os cientistas estão tentando consertar isso para que a IA possa ver o mundo claramente, não apenas os padrões nos quais foi enganada.

Para corrigir isso, pesquisadores tentaram um truque inteligente: eles usam "IA generativa" (como um artista digital) para criar novas fotos falsas para equilibrar as contas. Se não houver fotos suficientes de Cães Grandes ao ar livre, o computador as desenha. A ideia era que, ao misturar essas novas fotos falsas com as reais, o robô finalmente aprenderia a ignorar o cenário. Mas, pelo que se apurou, essa abordagem de misturar e combinar tinha uma falha oculta. As novas fotos parecem ligeiramente diferentes das fotos reais — talvez os cachorros falsos tenham uma textura estranha ou a iluminação seja apenas um pouco diferente. Assim, o robô aprende um novo atalho, ainda mais sorrateiro: "Se a foto parece uma foto real, é um Cão Pequeno. Se parece um desenho falso, é um Cão Grande". Ele não está olhando para o cachorro de forma alguma; ele está olhando para o fato de a imagem ser real ou sintética.

Os autores deste artigo, Maan Qraitem, Kate Saenko e Bryan A. Plummer, perceberam que tentar ensinar o robô com fotos reais e falsas ao mesmo tempo era o problema. Eles propuseram um novo método de treinamento de duas etapas chamado "From Fake to Real" (FFR). Pense nisso como ensinar um aluno para uma prova de matemática. Primeiro, você dá a ele uma pilha de problemas de prática que são perfeitamente equilibrados e fáceis de entender, para que ele aprenda os conceitos fundamentais sem confusão. Esta é a etapa "Fake" (Falsa): o robô treina apenas nas imagens geradas por computador, que são perfeitamente equilibradas. Ele aprende o que um cachorro parece sem as distrações bagunçadas do cenário. Uma vez que o robô tem uma base sólida, você passa para a segunda etapa: a etapa "Real". Agora, você mostra a ele as fotos reais e bagunçadas do mundo real. Como o robô já sabe o que procurar desde a primeira etapa, ele não é enganado pelo cenário ou pelo fato de as imagens serem reais. Ele apenas aplica o que aprendeu.

Os pesquisadores testaram essa ideia em três conjuntos de dados diferentes, incluindo fotos de rostos e animais, com níveis de viés que variam de moderado a extremamente severo (até 99,9% de um grupo em um cenário específico). Eles descobriram que o método de duas etapas era um divisor de águas. Enquanto os métodos anteriores, que misturavam dados reais e falsos, tinham dificuldades conforme o viés piorava, a abordagem "From Fake to Real" permanecia forte. Na verdade, ela melhorou a precisão do robô nos casos mais difíceis (o "pior grupo") em até 20% em comparação com os melhores métodos existentes. Quando observaram de perto no que o robô estava realmente prestando atenção, viram que os métodos antigos ainda eram distraídos pelo cenário ou pela "falsidade" das imagens, mas o novo método focava exatamente no cachorro ou no rosto da pessoa.

O artigo também realizou simulações para provar por que o método antigo não funcionava. Eles mostraram que, contanto que você misture dados reais e sintéticos, o robô quase sempre encontrará uma maneira de usar a diferença entre eles como um fator de distinção. Ao separar o treinamento em duas etapas distintas, eles efetivamente bloquearam o robô de sequer ver a "diferença" entre o real e o falso como uma pista. Os autores observam que este método funciona bem mesmo quando combinado com outras técnicas, mas também apontam uma limitação: ele depende de o artista de computador ser capaz de desenhar um conjunto de imagens falsas perfeitamente equilibradas. Se o artista errar o equilíbrio na primeira etapa, todo o sistema sofre. No entanto, por enquanto, esta estratégia de "Falso depois Real" oferece uma maneira surpreendentemente simples e eficaz de impedir que a IA aprenda as lições erradas, garantindo que, quando ela olha para um cachorro, ela veja um cachorro, não o quarto onde ele está sentado.

Resumo Técnico: From Fake to Real (FFR)

Definição do Problema
Modelos de reconhecimento visual são propensos a aprender correlações espúrias quando os conjuntos de treinamento são enviesados, onde uma condição específica $B$ (ex: "Ambiente Interno") é sobrerrepresentada dentro de uma classe específica $Y$ (ex: "Cães Grandes"). Embora dados sintéticos gerados por modelos generativos de larga escala (ex: modelos de difusão) ofereçam uma via promissora para mitigar isso ao aumentar subgrupos sub-representados, as abordagens existentes introduzem uma nova fonte de viés.

Métodos anteriores, como o Additive Synthetic Balancing (ASB) e o Uniform Synthetic Balancing (USB), misturam dados reais e sintéticos durante o treinamento. Os autores argumentam que isso cria uma variável de confusão $G$ (Fonte de Dados: Real vs. Sintético). Como os dados sintéticos e reais frequentemente possuem diferenças de distribuição (ex: artefatos generativos), modelos treinados em dados mistos podem aprender a prever $Y$ com base no par $(B, G)$ em vez das características semânticas verdadeiras. Por exemplo, um modelo pode aprender que "Mulheres Sintéticas" sorriem enquanto "Mulheres Reais" não sorriem, simplesmente porque o processo de geração sintética criou essa correlação. O artigo fornece uma prova teórica (Teorema 1) demonstrando que, em configurações padrão de correlação espúria, qualquer aumento de um conjunto de dados enviesado com dados sintéticos resulta inevitavelmente em um viés em direção ao par $(B, G)$ .

Metodologia: From Fake to Real (FFR)
Para abordar o viés em relação à fonte de dados $(B, G)$ , os autores propõem o From Fake to Real (FFR), um pipeline de treinamento de dois estágios que separa o aprendizado das distribuições de dados sintéticos e reais.

Estágio 1: Pré-treinamento em Dados Sintéticos Balanceados
O modelo é pré-treinado exclusivamente em um conjunto de dados sintéticos balanceados ( $D_{syn}$ ) onde o rótulo alvo $Y$ é estatisticamente independente do grupo de viés $B$ ( $P_{D_{syn}}(Y|B) = P_{D_{syn}}(Y)$ ). Isso é alcançado amostrando um número igual de imagens sintéticas para cada subgrupo de viés usando um modelo generativo (ex: Stable Diffusion). O objetivo é aprender representações robustas e não enviesadas em todos os subgrupos sem exposição às diferenças estatísticas entre dados reais e sintéticos.
Estágio 2: Ajuste Fino (Fine-tuning) em Dados Reais
O modelo inicializado a partir do Estágio 1 é ajustado em o conjunto de dados reais enviesado ( $D$ ). Para evitar que o modelo reaprenda o viés presente nos dados reais, este estágio utiliza a Minimização do Risco Empírico (ERM) padrão ou métodos comuns de mitigação de viés baseados em perda (ex: GroupDRO, Resampling, Deep Feature Reweighting). Crucialmente, como o modelo foi pré-treinado em dados balanceados, ele começa com uma representação que é menos suscetível às correlações espúrias nos dados reais.

Ao separar as fontes de dados em estágios de treinamento distintos, o FFR impede que o modelo observe a distribuição conjunta de $(B, G)$ , evitando assim o aprendizado de sinais espúrios relacionados ao fato de uma imagem ser real ou sintética.

Principais Contribuições

Pipeline Inovador: Introdução do FFR, um framework de treinamento de dois estágios simples que utiliza dados sintéticos para mitigação de viés sem expor o modelo à lacuna de distribuição entre dados reais e sintéticos.
Análise Teórica: Uma prova formal mostrando que misturar dados reais e sintéticos em uma única fase de treinamento inevitavelmente introduz viés em direção à fonte de dados $(B, G)$ , tornando abordagens anteriores de treinamento misto subótimas.
Avaliação Abrangente: Análise sistemática em três conjuntos de dados (CelebA-HQ, UTK-Face, SpuCo Animals) e cinco razões de viés (variando de 90% a 99,9%), totalizando mais de 5.000 experimentos.
Integração: Demonstração de que o FFR é compatível com e aprimora métodos existentes de mitigação de viés sem dados sintéticos (ex: GroupDRO, DFR).

Resultados Experimentais
Os autores avaliam o FFR contra baselines incluindo nenhum dado sintético, USB e ASB, utilizando Worst Accuracy (WA) e Balanced Accuracy (BA) como métricas.

Ganhos de Desempenho: O FFR melhora a acurácia do pior grupo (worst-group accuracy) em relação aos métodos de estado da arte em até 20% nos conjuntos de dados avaliados. Por exemplo, no conjunto de dados UTK-Face com uma razão de viés de 95%, o FFR supera o USB e o ASB em mais de 10%.
Robustez: Ao contrário de métodos anteriores cujo desempenho degrada significativamente conforme o rigor do viés aumenta (particularmente no CelebA-HQ e UTK-Face), o FFR mantém um desempenho estável em todas as razões de viés.
Aprendizado de Características: A análise qualitativa usando mapas de saliência RISE mostra que modelos treinados com FFR focam em características semânticas relevantes (ex: o rosto do cão) em vez de características de fundo espúrias ou artefatos generativos (ex: dedos extras em imagens sintéticas). Em contraste, modelos ASB e USB frequentemente dependem desses artefatos.
Análise de Embedding: Projeções t-SNE revelam que o FFR projeta os embeddings de dados reais e sintéticos em um único cluster denso, indicando que o modelo aprende características centrais compartilhadas. Inversamente, ASB e USB projetam dados reais e sintéticos em clusters separados, confirmando que eles dependem de características específicas da fonte.

Significância e Limitações
O artigo afirma que o FFR resolve efetivamente a questão do viés introduzido pelas diferenças de distribuição entre dados reais e sintéticos, um problema negligenciado por estratégias anteriores de aumento sintético. Ao desacoplar o treinamento dessas duas fontes de dados, o FFR permite que os dados sintéticos sirvam como uma fonte de representações não enviesadas que melhoram o desempenho nos dados reais.

Os autores reconhecem limitações em relação à qualidade dos modelos generativos utilizados. Se o próprio modelo generativo for enviesado ou falhar em seguir os comandos fielmente (ex: dificuldade com composicionalidade), a distribuição de pré-treinamento pode permanecer desbalanceada, o que prejudica significativamente o desempenho do FFR (como mostrado nos estudos de ablação). Além disso, o método depende da capacidade do modelo generativo de produzir um conjunto de dados sintéticos balanceado; se o modelo não puder gerar subgrupos específicos com precisão, os benefícios do primeiro estágio são diminuídos. Os autores sugerem que trabalhos futuros focados no treinamento de modelos generativos mais justos e precisos mitigariam ainda mais esses problemas.

Resumo Técnico: From Fake to Real (FFR)

Mais como este