SADGE: Structure and Appearance Domain Gap Estimation of Synthetic and Real Data

Resumo Técnico: SADGE – Estimativa de Lacuna de Domínio nas Áreas de Estrutura e Aparência

Declaração do Problema
A geração de dados sintéticos é uma estratégia crítica para escalar sistemas de visão computacional, particularmente quando anotações do mundo real são caras ou indisponíveis para casos de borda. No entanto, um gargalo fundamental permanece: prever se um conjunto de dados sintético específico transferirá com sucesso para o desempenho no mundo real antes de incorrer no custo do treinamento de modelos a jusante. As práticas atuais de avaliação dependem fortemente de tentativa e erro, onde profissionais geram conjuntos de dados, treinam modelos e medem o desempenho no mundo real para validar pipelines de renderização ou estratégias de randomização de domínio.

Métricas existentes para avaliar a qualidade de dados sintéticos focam principalmente na Semelhança de Aparência (por exemplo, PSNR, FID, CLIP, LPIPS) para medir o alinhamento semântico ou em nível de pixel entre imagens reais e sintéticas. Embora algumas abordagens considerem a Semelhança Geométrica (alinhamento estrutural), não há evidências estabelecidas sobre qual métrica de similaridade melhor prevê o desempenho de tarefas a jusante em diversos conjuntos de dados sintéticos. Além disso, não está claro se a aparência ou a geometria isoladamente são suficientes, ou se sua interação é o fator governante para a utilidade de dados sintéticos.

Metodologia: SADGE
Os autores propõem o SADGE (Estimador de Lacuna de Domínio de Estrutura e Aparência), uma métrica zero-shot e livre de treinamento projetada para estimar a utilidade de conjuntos de dados de imagens sintéticas para tarefas de reconhecimento visual a jusante. O SADGE opera modelando conjuntamente dois sinais complementares:

1. Semelhança de Aparência ($A$): Computada usando codificadores visuais pré-treinados (por exemplo, DINOv3, CLIP, SigLIP, SAM) para medir o alinhamento semântico e textural de alto nível. A pontuação é definida como a similaridade de cosseno entre incorporações de imagem normalizadas.
2. Consistência Geométrica ($G$): Computada usando correspondentes sensíveis à geometria (por exemplo, MASt3R, LoFTR, SuperPoint+LightGlue) para medir a fidelidade estrutural. Isso envolve estimar correspondências densas ou semi-densas entre imagens reais e sintéticas e contar o número de inliers geometricamente válidos (verificados via geometria epipolar ou consistência 3D).

Mecanismo de Fusão
O SADGE não simplesmente média essas pontuações. Em vez disso, ele as funde usando um modelo de interação bilinear restrito:
$$\text{SADGE} = a\hat{G} + b\hat{A} + c\hat{G}\hat{A}$$
Onde $\hat{A}$ e $\hat{G}$ são pontuações de aparência e geometria normalizadas por escore-z, respectivamente. Os coeficientes $a, b, c \geq 0$ são aprendidos para maximizar a correlação com o desempenho a jusante. Esta formulação impõe monotonicidade (melhorar qualquer pontuação não deve diminuir o total) e complementaridade (o termo de interação $c\hat{G}\hat{A}$ garante que a pontuação seja mais alta quando tanto a aparência quanto a geometria são fortes). O modelo assume que dados sintéticos são mais úteis quando são visualmente realistas e estruturalmente fiéis.

Protocolo Experimental
A avaliação abrange cinco famílias de benchmarks públicos de sintético para real e 15 variantes em nível de conjunto de dados, totalizando aproximadamente 79.000 pares de imagens. Os benchmarks cobrem diversos domínios e tarefas:

• DIMO: Objetos metálicos industriais (estimativa de pose 6D).
• Virtual KITTI 2: Cenas de direção (segmentação semântica).
• TUD-L / BOP: Objetos sem textura (estimativa de pose 6D).
• RarePlanes: Imagens aéreas (detecção de objetos).
• ASD (Conjunto de Dados Sintético Agrícola): Segmentação de culturas/ervas daninhas.

Os autores comparam o SADGE contra uma ampla gama de baselines, incluindo métricas puras de aparência (FID, LPIPS, PSNR, CLIP, variantes DINO) e métricas puras de geometria (SSIM, LoFTR, SuperPoint+LightGlue).

Resultados Chave

• Correlação Superior: O SADGE alcança a associação mais forte com o desempenho de transferência a jusante entre todas as métricas testadas. Ele atinge uma correlação de Pearson de $r = 0,879$ e uma correlação de posto de Spearman de $\rho = 0,768$ entre as 15 variantes de conjunto de dados.
• Comparação com Baselines: O SADGE supera significativamente a baseline mais forte apenas de geometria (MASt3R, $r = 0,677$) e a baseline mais forte apenas de aparência (LPIPS, $r = 0,649$).
• Robustez: Em avaliações de "leave-one-dataset-out", o SADGE consistentemente ocupa o primeiro lugar. A queda de desempenho é mais significativa quando o conjunto de dados DIMO (que enfatiza variação estrutural) é excluído, sugerindo que a geometria é um preditor crítico em cenários estruturalmente exigentes, enquanto a aparência domina em cenários com alta variação de iluminação ou textura.
• Configuração Ótima: A configuração de melhor desempenho funde DINOv3 (aparência) com MASt3R (geometria).
• Sensibilidade: Os coeficientes de fusão são robustos; a alta correlação é mantida em um amplo platô de valores de coeficientes, indicando que o resultado não é um artefato de overfitting a um espaço de parâmetros estreito.

Significância e Alegações
O artigo alega que a utilidade de dados sintéticos não é governada por um único fator (aparência ou geometria), mas pela sua interação não linear. O SADGE fornece um método principled e livre de treinamento para classificar conjuntos de dados sintéticos candidatos, permitindo que profissionais:

• Comparem configurações de renderização, cronogramas de randomização de domínio e pipelines generativos antes de treinamentos caros.
• Identifiquem quais variantes sintéticas têm maior probabilidade de transferir bem para tarefas do mundo real.
• Evitem o ciclo de "tentativa e erro" de treinar modelos apenas para avaliar a qualidade do conjunto de dados.

Os autores enfatizam que o SADGE é uma métrica de classificação proxy, não um substituto para validação final no domínio real, particularmente em aplicações críticas para segurança. O estudo é limitado pela disponibilidade de benchmarks públicos com protocolos de avaliação a jusante comparáveis, mas a análise de sensibilidade sugere que o modelo de interação da métrica generaliza além dos conjuntos de dados específicos testados.