Resumo Técnico: MAPS – Um Conjunto de Dados Sintético para Sondar Modelos de Visão em um Espaço de Cena 3D Controlado

Declaração do Problema

Modelos de visão modernos alcançam alta precisão agregada em benchmarks padrão como ImageNet, mas essas métricas obscurecem as propriedades específicas da cena que impulsionam as previsões do modelo. Imagens naturais entrelaçam inerentemente a identidade do objeto com variáveis de confusão, como iluminação, ponto de vista, fundo e escala. Consequentemente, os modelos frequentemente exploram correlações espúrias ou "atalhos" (por exemplo, confiar na textura em vez da forma ou no contexto do fundo em vez de características do objeto) para alcançar alto desempenho, em vez de aprender representações robustas e invariantes.

Benchmarks de robustez existentes oferecem soluções parciais, mas sofrem de limitações significativas:

• Conjuntos de dados de imagens naturais (por exemplo, ImageNet-E, ObjectNet) geralmente manipulam apenas atributos de imagem 2D ou condições discretas, falhando em desentrelaçar a estrutura subjacente da cena 3D.
• Conjuntos de dados sintéticos 3D (por exemplo, CLEVR, 3DIdent) frequentemente dependem de formas geométricas simples, cobrem poucas classes de objetos ou carecem de alinhamento com a ampla diversidade semântica do ImageNet.
• Falta de Controle: Há uma ausência de um framework escalável que permita a variação independente e contínua de múltiplos fatores de cena 3D em uma ampla gama de categorias de objetos do mundo real para quantificar sistematicamente a sensibilidade do modelo.

Metodologia

O Conjunto de Dados MAPS

Os autores introduzem o MAPS (Manifolds of Artificial Parametric Scenes - Manifoldes de Cenas Paramétricas Artificiais), um benchmark 3D escalável, controlável e alinhado ao ImageNet.

• Curadoria de Malhas: O conjunto de dados compreende 2.618 malhas 3D fotorealistas curadas manualmente, abrangendo 560 classes do ImageNet. As malhas foram obtidas do Sketchfab, filtradas por fotorealismo e validadas para redistribuição legal (CC-BY/CC0).
• Validação de Reconhecibilidade: Para garantir que as malhas sejam reconhecíveis por modelos de visão padrão, os autores empregaram o CMA-ES (Estratégia de Evolução com Adaptação da Matriz de Covariância). Este algoritmo de otimização sem gradiente buscou no espaço de parâmetros de cena de 9 dimensões encontrar pelo menos uma configuração onde um modelo de referência (AlexNet, ResNet-50 ou ViT-B/16) classificasse corretamente a malha. Todas as 2.618 malhas foram confirmadas como reconhecíveis sob parâmetros adequados.
• Diversidade Semântica: A análise da estrutura WordNet revela que o MAPS cobre clusters semânticos diversos (por exemplo, ferramentas, veículos, animais), mas exibe um viés em direção a objetos prototípicos e feitos pelo homem, em detrimento de sinsetes de animais de granularidade fina (por exemplo, raças específicas de cães), refletindo a disponibilidade de ativos 3D de alta qualidade.

Pipeline de Renderização

O MAPS fornece um pipeline de renderização aberto baseado no Blender que permite geração de imagens sob demanda. Diferentemente de conjuntos de dados pré-renderizados, o MAPS expõe o próprio espaço paramétrico da cena, permitindo que os usuários projetem protocolos de amostragem personalizados. O pipeline controla nove fatores de cena independentes agrupados em três famílias:

1. Câmera: Azimute, Elevação, Distância, Rolo.
2. Iluminação: Azimute, Elevação, Potência.
3. Fundo: Matiz, Saturação.

Protocolo de Avaliação

Para avaliar a sensibilidade do modelo, os autores selecionaram 100 classes representativas do ImageNet do MAPS. Para cada malha nessas classes, renderizaram 5.000 imagens usando Amostragem Hipercúbica Latina (LHS) para garantir ampla cobertura do espaço de parâmetros 9D com menos amostras do que a amostragem em grade uniforme.

Análise de Sensibilidade:
Para cada par modelo-malha, os autores ajustaram modelos de regressão linear e polinomial para prever a margem de decisão do modelo (a diferença entre o logit da classe correta e o logit máximo das classes concorrentes) com base nos parâmetros da cena.

• Regressão Linear: Captura efeitos de primeira ordem.
• Regressão Polinomial: Captura efeitos não lineares (termos quadráticos e interações em pares).
• Métrica: A magnitude dos coeficientes de regressão serve como medida de sensibilidade a fatores específicos da cena.

Principais Resultados

1. Eixos de Falha Universais

Em todos os 20 modelos avaliados (abrangendo CNNs como ResNet, VGG e Transformers como ViT, Swin), a distância da câmera e a elevação da câmera emergiram como os principais impulsionadores de falha de reconhecimento.

• O aumento da distância da câmera reduziu consistentemente a margem de decisão, empurrando os modelos para classificação incorreta.
• Elevações extremas da câmera (ângulos muito baixos ou muito altos) degradaram o desempenho desproporcionalmente em comparação com vistas frontais.
• Esse padrão de falha é consistente entre arquiteturas, independentemente de sua precisão geral no ImageNet, sugerindo um viés compartilhado na forma como esses modelos lidam com profundidade espacial e ponto de vista.

2. Perfis de Sensibilidade Revelam Nuances Arquiteturais

Embora a precisão agregada frequentemente agrupe modelos de forma vaga (por exemplo, "CNNs" versus "Transformers"), os perfis de sensibilidade revelados pelo MAPS oferecem uma distinção mais granular:

• Agrupamento: CNNs modernas (por exemplo, ConvNeXt) e modelos baseados em Transformers agrupam-se em seus perfis de sensibilidade, formando um grupo distinto de arquiteturas mais antigas (por exemplo, AlexNet, VGG).
• Escolhas de Design Importam: A divergência entre modelos antigos e novos sugere que escolhas de design arquitetônico de granularidade fina (por exemplo, caules de patchificação, kernels profundos grandes, LayerNorm no ConvNeXt) são determinantes mais fortes dos perfis de sensibilidade do que a ampla distinção entre CNN e Transformer.
• Diferenças Ocultas: Modelos com precisão top-1 no ImageNet semelhante (por exemplo, ResNet-18 e GoogLeNet) exibiram sensibilidades marcadamente diferentes à saturação do fundo e à potência da luz, diferenças invisíveis para métricas padrão de precisão.

3. Representações Internas

O estudo também visualizou representações internas, encontrando que camadas intermediárias em várias arquiteturas recuperam a topologia toroidal do manifold de parâmetros da cena (especificamente ao varrer a matiz do fundo e o azimute da câmera), indicando que a estrutura geométrica do espaço de entrada é refletida no espaço latente do modelo.

Significado e Alegações

O artigo posiciona o MAPS como um quadro de referência programável e escalável para sondar modelos de visão. Seu significado principal reside em:

• Desentrelaçar Causalidade: Ao fornecer parâmetros gerativos de verdade fundamental, o MAPS permite que pesquisadores atribuam o comportamento do modelo diretamente a fatores específicos da cena, em vez de correlações descontroladas em imagens naturais.
• Além da Precisão: Demonstra que métricas de resumo como precisão obscurecem diferenças estruturadas no comportamento do modelo. Dois modelos podem ter precisão idêntica, mas depender de pistas visuais fundamentalmente diferentes (por exemplo, um confiando na textura, outro na forma) para alcançar essa precisão.
• Interpretabilidade Mecanística: O conjunto de dados suporta tanto análise comportamental (perfis de sensibilidade) quanto pesquisa mecanística (sondagem da geometria das representações internas ao longo de trajetórias controladas).
• Utilidade Futura: Os autores observam que o pipeline de renderização aberto apoia trabalhos futuros, como o uso de renderização diferenciável para descoberta de modos de falha baseada em gradiente ou a comparação de espaços representacionais em sistemas de visão artificial e biológica.

Os autores mantêm uma postura modesta, reconhecendo que o MAPS é projetado para análise de sensibilidade controlada, em vez de medir robustez absoluta em implantação. Eles também notam limitações atuais, como a falta de controle sobre objetos contextuais, oclusões ou variações de textura, e o viés inerente em direção a categorias prototípicas devido à disponibilidade de ativos 3D.