MindSet: Vision. A toolbox for testing DNNs on key psychological experiments

O artigo apresenta o toolbox *MindSet: Vision*, uma coleção de conjuntos de dados e scripts que permitem testar redes neurais profundas em 30 achados psicológicos através de estímulos manipulados sistematicamente, oferecendo também métodos e código para regenerar os dados e avaliar modelos de visão computacional.

O essencial

Imagine que você tem um grupo de estudantes muito inteligentes (as Redes Neurais Profundas, ou DNNs) que foram treinados para reconhecer objetos em fotos. Eles são ótimos em identificar um gato ou um carro em uma foto normal. Os cientistas dizem: "Eles são tão bons quanto nós, humanos! Eles veem o mundo como nós."

Mas e se eu dissesse que esses estudantes estão apenas "chutando" de um jeito diferente? E se eles não estão realmente "vendo" a forma do objeto, mas apenas memorizando texturas ou padrões de fundo?

É exatamente para descobrir a verdade sobre isso que os autores criaram o MindSet: Vision.

O Que é o MindSet: Vision?

Pense no MindSet como uma caixa de ferramentas de "truques de mágica" e ilusões de ótica projetada especificamente para testar se esses computadores estão realmente pensando como humanos ou apenas enganando os testes.

Até agora, a maioria dos testes para essas redes neurais era como fazer uma prova de múltipla escolha com fotos normais. Se o computador acertasse, dizíamos que ele era inteligente. O problema? O computador poderia estar usando "atalhos" que nós humanos não usamos.

O MindSet muda o jogo. Em vez de fotos normais, ele usa 30 experimentos psicológicos clássicos. São como testes de "verdade ou consequência" para a visão do computador.

Como Funciona? (As Analogias)

Para entender o que o MindSet faz, vamos usar algumas analogias do dia a dia:

1. O Teste do "Cego de Nascença" (Linhas e Contornos):

   • A Situação: Imagine que você mostra a uma criança um desenho de um cachorro feito apenas com linhas pretas no fundo branco. A criança reconhece imediatamente.
   • O Teste: Agora, mostre o mesmo desenho para um computador treinado apenas em fotos coloridas. O computador geralmente fica confuso e diz: "Não sei o que é isso!".
   • O Que o MindSet Faz: Ele tem um conjunto de desenhos (linhas, pontos, silhuetas) para ver se o computador consegue "ver" a forma, mesmo sem cor ou textura. A maioria dos computadores falha aqui, mostrando que eles dependem demais de texturas, não de formas.

2. A Ilusão de Ótica (O Truque do Espelho):

   • A Situação: Você já viu a ilusão onde duas linhas do mesmo tamanho parecem ter tamanhos diferentes por causa de setas nas pontas (Ilusão de Müller-Lyer)? Ou dois círculos iguais que parecem diferentes por causa dos vizinhos (Ilusão de Ebbinghaus)?
   • O Teste: Humanos caem nessas ilusões porque nosso cérebro tenta interpretar o mundo em 3D e contexto.
   • O Que o MindSet Faz: Ele pergunta: "O computador também cai no truque?". Se o computador mede a linha e diz "elas são iguais", ele não tem a mesma "intuição" visual que nós. Se ele diz "uma é maior", ele está começando a pensar como nós. Os resultados mostram que a maioria dos computadores não cai nessas ilusões da mesma forma que nós.

3. O Jogo do "Oculto" (Completar o Desenho):

   • A Situação: Imagine um cachorro atrás de um muro. Você só vê a cabeça e a cauda, mas seu cérebro "completa" o corpo invisível. Isso se chama "completamento amodal".
   • O Teste: O MindSet mostra imagens onde objetos estão parcialmente escondidos ou com "bites" (mordidas) tirados.
   • O Que o MindSet Faz: Ele verifica se o computador entende que o objeto ainda está inteiro atrás do obstáculo. A maioria dos computadores vê apenas o que está visível, sem "imaginar" o resto.

O Que Eles Descobriram?

Os pesquisadores pegaram 15 dos computadores mais inteligentes do mundo (os que ganham prêmios em outros testes) e os colocaram para jogar com o MindSet.

A Grande Revelação:
A maioria desses computadores falhou miseravelmente na maioria dos testes psicológicos.

• Eles não entendem bem a relação entre as partes de um objeto.
• Eles não sofrem com as ilusões de ótica da mesma forma que nós.
• Eles têm dificuldade em reconhecer formas quando a textura muda ou quando a imagem é apenas um contorno.

Isso significa que, embora esses computadores sejam ótimos em classificar fotos do Instagram, eles não veem o mundo como nós. Eles são "gênios da textura", mas "cegos para a forma e o contexto".

Por Que Isso é Importante?

Imagine que você está construindo um carro autônomo. Se o carro "vê" o mundo apenas como nós vemos (reconhecendo formas, entendendo profundidade e ilusões), ele será mais seguro. Se ele apenas memoriza texturas, ele pode confundir um gato com um tapete se a textura for parecida.

O MindSet: Vision é como um laboratório de testes de realidade. Ele nos diz: "Ei, seus computadores ainda não estão prontos. Eles precisam aprender a ver como nós, não apenas a processar pixels."

Resumo em Uma Frase

O MindSet é uma caixa de ferramentas cheia de ilusões e truques visuais que expõe que, embora nossos computadores sejam inteligentes, eles ainda não "veem" o mundo com a mesma intuição e criatividade que os olhos humanos. É um lembrete de que, para criar uma inteligência artificial verdadeiramente humana, precisamos ensiná-la a ver além da superfície.

Resumo técnico

1. O Problema

O artigo identifica uma lacuna crítica na avaliação de Redes Neurais Profundas (DNNs) como modelos de visão humana. A maioria dos benchmarks atuais (como o Brain-Score) é observacional, baseando-se em respostas comportamentais ou neurais a imagens naturalistas não manipuladas.

• Limitação Principal: Esses benchmarks permitem que modelos façam previsões corretas utilizando mecanismos qualitativamente diferentes dos humanos (por exemplo, classificar objetos por textura em vez de forma), desde que haja confusão entre os sinais nas imagens.
• Falta de Testes Severos: A literatura psicológica contém décadas de experimentos manipulando variáveis independentes para testar hipóteses específicas sobre a percepção visual. No entanto, esses experimentos raramente são usados para testar DNNs de forma "severa" (ou seja, testes projetados para falhar se o modelo não for verdadeiramente alinhado com a biologia). O resultado é que modelos podem parecer alinhados com o cérebro humano em métricas gerais, mas falham em fenômenos psicológicos fundamentais.

2. Metodologia

Os autores desenvolveram o MindSet: Vision, uma ferramenta de software (toolbox) projetada para preencher essa lacuna.

• Conjunto de Dados: A toolbox contém 30 conjuntos de dados de imagens derivados de experimentos psicológicos bem replicados, cobrindo visão de baixo nível (ex: Lei de Weber, agrupamento Gestalt), visão de médio nível (ex: ilusões visuais, completamento amodal) e reconhecimento de objetos (ex: invariância a transformações, raciocínio relacional).
• Geração Parametrizável: Diferente de conjuntos de dados estáticos, o MindSet fornece scripts para regenerar os dados. Os usuários podem ajustar parâmetros como tamanho da imagem, cor de fundo, espessura de traços e número de amostras, permitindo testes sistemáticos e variados.
• Métodos de Avaliação: A toolbox suporta três abordagens principais para testar os modelos:
  1. Análise de Julgamento de Similaridade: Compara padrões de ativação (cosine similarity) entre pares de imagens para ver se o modelo percebe similaridades como os humanos (ex: completamento amodal).
  2. Classificação Fora da Distribuição (Out-of-Distribution): Testa modelos pré-treinados (ex: no ImageNet) em imagens modificadas (ex: desenhos de linhas, silhuetas) que humanos reconhecem facilmente, mas que representam uma mudança de distribuição para a rede.
  3. Método de Decodificador (Decoder Method): Um pequeno decodificador linear é treinado em camadas congeladas de uma DNN para prever propriedades específicas (ex: tamanho de um círculo na ilusão de Ebbinghaus). O decodificador é então testado em condições ilusórias para ver se a rede codifica a propriedade de forma distorcida, como um humano.

3. Contribuições Principais

• Toolbox Abrangente: Disponibilização de 30 conjuntos de dados e scripts para regenerá-los, cobrindo uma ampla gama de fenômenos visuais psicológicos.
• Infraestrutura de Código: Scripts abertos (MIT License) para gerar dados, configurar experimentos e executar os três métodos de teste mencionados acima.
• Avaliação Sistemática: A capacidade de submeter modelos a testes severos que visam especificamente falhas conhecidas em modelos de visão, indo além da simples precisão de classificação.
• Ponte entre Disciplinas: Facilita a integração entre a pesquisa psicológica experimental e a modelagem computacional, trazendo experimentos que manipulam variáveis independentes para o centro do desenvolvimento de DNNs.

4. Resultados

Os autores testaram 15 DNNs de ponta (incluindo ResNets, ConvNeXts, ViTs e FocalNets) em 9 experimentos do toolkit. Os resultados revelaram discrepâncias significativas entre os modelos e a percepção humana:

• Sucessos Limitados: Alguns modelos mostraram padrões humanos em tarefas como completamento amodal e sensibilidade a propriedades não acidentais (NAPs), mas os efeitos eram frequentemente fracos, inconsistentes entre camadas ou de magnitude irrealista.
• Falhas Críticas:
  • Ilusões Visuais: A maioria das redes falhou em replicar a ilusão de Müller-Lyer e mostrou evidências mistas ou nulas para a ilusão de Ebbinghaus.
  • Raciocínio Relacional: As redes não demonstraram a sensibilidade humana a mudanças relacionais entre partes de objetos (diferenciando-as de mudanças coordenadas).
  • Reconhecimento de Forma: Em tarefas de classificação fora da distribuição (ex: desenhos pontilhados, silhuetas, formas texturizadas), o desempenho das DNNs foi muito inferior ao humano (que supera 90% de acurácia), sugerindo que as redes dependem excessivamente de textura e falham em extrair a forma global.
  • Invariância: As redes tiveram dificuldade em manter a invariância a transformações 2D e de ponto de vista sem treinamento específico nessas transformações.

5. Significado e Conclusão

O artigo conclui que, embora as DNNs sejam excelentes engenharias para reconhecimento de objetos, elas não são modelos robustos da visão biológica quando submetidas a testes psicológicos rigorosos.

• Importância dos Falhas: As falhas dos modelos não invalidam o uso de DNNs, mas fornecem insights cruciais sobre o que falta para criar inteligência artificial mais alinhada com a biologia.
• Mudança de Paradigma: O trabalho defende que a comunidade deve abandonar a dependência exclusiva de benchmarks observacionais e adotar testes severos baseados em experimentos psicológicos para validar modelos.
• Futuro: O MindSet: Vision serve como uma fundação para futuras investigações que visam entender e corrigir as deficiências dos modelos atuais, movendo-se em direção a uma visão computacional que realmente capture os princípios da percepção humana.

Em resumo, o MindSet: Vision é uma ferramenta essencial para transformar a avaliação de DNNs de uma busca por métricas de desempenho bruto para uma investigação científica profunda sobre a natureza da representação visual em máquinas versus humanos.