Synthetic Designed Experiments for Diagnosing Vision Model Failure

1. Declaração do Problema

Os pipelines atuais para geração de dados sintéticos em visão computacional operam sob um paradigma de malha aberta. Eles geralmente dependem de heurísticas (por exemplo, randomização de domínio aleatória, prompts de texto ou pontuações de dificuldade) para gerar grandes volumes de imagens, tratando dados sintéticos como um substituto barato para dados reais.

Principais Questões Identificadas:

• Ineficiência: Quando um modelo já lida com 95% de uma distribuição visual, dados gerados aleatoriamente fornecem zero sinal de aprendizado, desperdiçando recursos computacionais.
• Falta de Diagnóstico: Os métodos existentes não diagnosticam por que um modelo falha ou quais fatores específicos da cena (por exemplo, iluminação, oclusão, ponto de vista) impulsionam essas falhas.
• Uso Indevido de Controlabilidade: Geradores sintéticos (motores 3D, modelos de difusão) possuem parâmetros únicos e controláveis para fatores da cena, mas essa propriedade é subutilizada para auditoria direcionada do modelo.

2. Metodologia: Experimentos Projetados Sintéticos para Suficiência Representacional (SDRS)

Os autores propõem o SDRS, um framework que aplica a teoria estatística de Planejamento de Experimentos (DoE) à geração de dados sintéticos. Ele trata o modelo de visão a jusante como um "sistema de caixa preta" e o gerador sintético como um "aparelho experimental".

O framework opera em quatro fases distintas:

Fase 1: Experimento Projetado

Em vez de amostragem aleatória, o SDRS utiliza designs fatoriais fracionários para gerar um conjunto pequeno e estruturado de imagens sintéticas.

• Para $k$ fatores, um design de Resolução IV requer apenas $2^{k-p}$ imagens (por exemplo, 8 imagens para 5 fatores) em vez do espaço combinatório completo ($2^k$).
• Isso garante uma sondagem eficiente da sensibilidade do modelo a fatores específicos, preservando a capacidade de estimar efeitos principais.

Fase 2: Auditoria Representacional via ANOVA

As imagens de sondagem geradas são passadas pelo modelo a jusante ($f_w$).

• Métrica: A perda da tarefa ($\ell$) é computada para cada imagem.
• Análise: Uma ANOVA de um fator é realizada sobre as perdas agrupadas para cada fator.
• Saída: Uma estatística F ($F_j$) é calculada para cada fator para determinar se a variância no desempenho do modelo depende significativamente desse fator específico. A correção de Holm–Bonferroni é aplicada para controlar comparações múltiplas.
• Distinção: Diferentemente da sondagem linear (que mede a extraibilidade de características), isso mede a dependência no nível de previsão, que é mais relevante para o diagnóstico de falhas.

Fase 3: Diagnóstico de Lacunas

Os resultados da auditoria são cruzados com a estrutura da tarefa para classificar as falhas em dois tipos acionáveis:

• Lacunas Tipo I (Falhas de Cobertura): O modelo falha significativamente em níveis sub-representados ou não vistos de um fator (por exemplo, orientações ausentes).
• Lacunas Tipo II (Atalhos Espúrios): O modelo depende fortemente de um fator de incômodo (por exemplo, complexidade de fundo) que correlaciona com o alvo, mas não é semanticamente relevante.
• Regra de Decisão: Se um fator mostra uma queda de cobertura, é Tipo I. Se mostra dependência significativa de incômodo sem queda de cobertura, é Tipo II.

Fase 4: Prescrição Direcionada

Com base no diagnóstico, dados sintéticos específicos são gerados para abordar as lacunas:

• Para Tipo I: Gerar amostras diversas cobrindo os níveis deficientes do fator.
• Para Tipo II: Gerar pares contrafactuais $(x_a, x_b)$ onde apenas o fator de incômodo muda, e aplicar uma penalidade de invariância à representação para forçar o modelo a ignorar esse fator.
• Objetivo: A perda total combina a perda da tarefa em dados reais e Tipo I, mais a perda de invariância nos contrafactuais Tipo II.

3. Principais Contribuições

1. Ferramenta de Diagnóstico Princípia: Introduz uma auditoria baseada em ANOVA que decompõe a falha do modelo em contribuições por fator, transformando o gerador sintético em um instrumento de avaliação estruturado.
2. Framework Unificador: Demonstra que abordagens existentes (Randomização de Domínio, Aumento Contrafactual, Aprendizado Ativo) são casos especiais, muitas vezes subótimos, do framework SDRS.
3. Identificação de "Transferência de Sensibilidade": Os autores identificam um problema aberto crítico onde suprimir um fator de incômodo via penalidades de invariância pode inadvertidamente amplificar a sensibilidade a outros fatores de incômodo (realocação representacional).

4. Resultados Experimentais

O framework foi validado em três experimentos:

Experimento 1: Diagnóstico Controlado (dSprites)

• Configuração: Classificação de formas com vieses plantados (atalho: forma correlacionada com posição; lacuna de cobertura: orientações ausentes).
• Resultado: A auditoria identificou corretamente o atalho de posição (Tipo II) e a lacuna de orientação (Tipo I).
• Desempenho: Dados direcionados melhoraram a precisão em dados de retenção de 49,9% para 79,0% (+29,1 pontos).
• Observação: Remover o atalho reduziu a estatística F para posição de 2,1 para 1,0 (não significativo).

Experimento 2: Segmentação Densa (Cenas Procedurais)

• Configuração: Cenas RGB de 128x128 com fatores como iluminação, complexidade de fundo e oclusão.
• Resultado: A auditoria detectou um atalho dominante na complexidade de fundo (Tipo II) e uma lacuna de cobertura de oclusão (Tipo I).
• Desempenho: O mIoU melhorou de 0,948 para 0,998.
• Insight: Embora a amostragem aleatória também tenha alcançado alto mIoU neste benchmark saturado, o SDRS forneceu o insight de diagnóstico (identificando por que o modelo falhou), o que é crucial para benchmarks mais difíceis.

Experimento 3: Detecção de Enredamento do Gerador

• Configuração: Comparação entre um gerador perfeito e um enredado (onde "estilo" muda implicitamente o tamanho do objeto).
• Resultado: A auditoria ANOVA detectou o vazamento: a estatística F para "estilo" aumentou em +4,7, enquanto "tamanho" diminuiu em -7,9, identificando com sucesso a falha do gerador sem rótulos de verdade fundamental.

5. Significado e Discussão

• Mudança de Paradigma: O SDRS argumenta que pipelines de dados sintéticos devem ser projetados como experimentos estruturados em vez de processos de amostragem aleatória.
• Diagnóstico sobre Métricas Agregadas: O valor principal não é apenas o ganho final de precisão, mas a decomposição dos erros. Ele diz aos praticantes exatamente o que corrigir (por exemplo, "adicionar mais amostras de oclusão" vs. "remover viés de fundo").
• Transferência de Sensibilidade: Uma descoberta importante é que penalidades de invariância podem causar transferência de sensibilidade, onde suprimir uma dependência amplifica outra. Isso sugere que futuras perdas de correção precisam ser mais holísticas para evitar essa compensação.
• Trabalho Futuro: O artigo destaca a necessidade de melhores perdas de correção e validação em geradores baseados em difusão, que possuem separação de fatores mais fraca do que motores 3D procedurais.

Em conclusão, o SDRS fornece um método rigoroso e fundamentado estatisticamente para auditar modelos de visão, diagnosticar falhas representacionais específicas e prescrever dados sintéticos direcionados para fechar essas lacunas de forma eficiente.