Resumo Técnico: FalseResMem – Uma Rede Neural para Predizer Falsas Memórias em Tarefas de Reconhecimento Visual

Declaração do Problema

A pesquisa de memória visual tradicionalmente dependeu da Teoria de Detecção de Sinais (SDT) para caracterizar o desempenho de reconhecimento, separando a força da memória (acertos/hits) dos critérios de decisão (alarmes falsos/false alarms). Nesse arcabouço, a Taxa de Alarme Falso (FAR) — a classificação incorreta de imagens inéditas como familiares — é frequentemente tratada como um erro global, ao nível do participante, ou como ruído decorrente de um critério de resposta liberal ou baixa sensibilidade. No entanto, evidências recentes sugerem que as falsas memórias não são meramente erros aleatórios, mas fenômenos consistentes e específicos de cada imagem. Certas imagens consistentemente provocam mais alarmes falsos entre diferentes observadores (ex: o "Efeito Mandela"), independentemente dos traços de memória gerais do observador.

Modelos atuais de aprendizado profundo, como o ResMem, predizem com sucesso a memorabilidade da imagem (Taxa de Acerto) ao extrair características visuais intrínsecas. Contudo, nenhum modelo existente visa explicitamente a predição de alarmes falsos ao nível da imagem. Tratar a FAR como mero ruído obscurece as propriedades visuais sistemáticas que impulsionam o falso reconhecimento. O desafio é desenvolver um modelo capaz de predizer a probabilidade de uma imagem inédita ser falsamente reconhecida como familiar baseando-se apenas em suas características visuais, indo além de resumos de nível de participante para uma modelagem de erro específica da imagem.

Metodologia

Conjunto de Dados

O modelo foi treinado exclusivamente no conjunto de dados MemCat (Goetschalckx & Wagemans, 2019), uma coleção de grande escala com 10.000 imagens naturais em cinco categorias semânticas: animais, comida, paisagens, esportes e veículos.

• Verdade Fundamental (Ground Truth): As pontuações de FAR foram derivadas de uma tarefa de reconhecimento contínua envolvendo uma média de 99 participantes por imagem. Um alarme falso era registrado quando um participante identificava incorretamente uma imagem inédita como uma repetição.
• Justificativa: O MemCat foi selecionado em detrimento do conjunto LaMem devido à sua superior consistência inter-observador de FAR ($\rho = 0,78$ vs. $0,67$) e maior qualidade de dados (ex: ausência de duplicatas). Tentativas de ajuste fino (fine-tuning) no LaMem não melhoraram o desempenho.

Arquitetura do Modelo: FalseResMem

O FalseResMem é uma arquitetura híbrida de aprendizado profundo projetada para predizer uma pontuação única de FAR (0–1) para qualquer imagem de entrada. Ele adapta a arquitetura do ResMem, mas é treinado especificamente para a predição de erro. O modelo consiste em dois fluxos paralelos de extração de características:

1. Fluxo ResNet-50: Utiliza as camadas 0–8 (da conv1 até o pooling médio adaptativo) de uma ResNet-50 pré-treinada no ImageNet-1K. Este ramo extrai características globais de 2.048 dimensões. Testes extensivos mostraram que a ResNet-50 com pré-treinamento ImageNet superou outras variantes (ResNet-18, 34, 101, 152) e o treinamento do zero.
2. Fluxo Inspirado em AlexNet: Uma pilha de cinco camadas convolucionais treinada do zero (inicializada com pesos aleatórios). Este fluxo processa as imagens através de uma sequência de camadas convolucionais (kernels de 11x11, 5x5, 3x3), ativações ReLU, max-pooling e Normalização de Resposta Local (LRN), gerando um vetor de características de 9.216 dimensões. Hipotetiza-se que este ramo capture características específicas relacionadas ao alarme falso, distintas da memorabilidade geral.

Fusão e Cabeça (Head):
As características de 2.048 dimensões da ResNet e as características de 9.216 dimensões da AlexNet são concatenadas em um vetor de 11.264 dimensões. Este é alimentado em uma cabeça de sete camadas totalmente conectadas:

• Camadas 1–6: Camadas densas com dimensões 4096, 4096, 2048, 1024, 512 e 256, cada uma seguida por ativação ReLU e dropout ($p=0,5$) após as camadas 1, 3 e 4.
• Camada 7: Uma camada densa final (256 $\to$ 1) com uma ativação sigmoid para fornecer a probabilidade prevista de FAR.

Treinamento e Avaliação

• Otimização: O modelo foi treinado usando Gradiente Descendente Estocástico (SGD) com momentum (0,9) e perda de Erro Quadrático Médio (MSE).
• Ajuste de Hiperparâmetros: Foram realizadas 30 tentativas usando Optuna para otimizar a taxa de aprendizado ($10^{-5}$ a $10^{-2}$) e o tamanho do lote (8–128). A melhor configuração utilizou uma taxa de aprendizado de 0,009381 e um tamanho de lote de 32.
• Validação: O desempenho foi avaliado por meio de validação cruzada de 10 dobras (10-fold cross-validation). O teto para o desempenho do modelo foi estabelecido calculando a consistência inter-observador de metade dividida (split-half) das pontuações de FAR humanas ($\rho = 0,60 \pm 0,29$).
• Interpretabilidade: A importância das características foi analisada via Ablation-CAM (para lidar com problemas de desaparecimento de gradiente em camadas mais profundas) e sensibilidade de oclusão (oculadores deslizantes de 32x32) para identificar regiões espaciais críticas para predições de alto FAR.

Resultados Principais

Desempenho Preditivo

O FalseResMem alcançou um desempenho robusto no conjunto de teste MemCat:

• Validação Cruzada: Média da correlação de postos de Spearman ($\rho$) de 0,48 $\pm$ 0,13.
• Melhor Caso: O modelo de melhor desempenho alcançou uma correlação de teste de $\rho = 0,60$ (MSE = 0,002), atingindo efetivamente o teto da consistência inter-observador humana.
• Generalização: O modelo generalizou-se com sucesso para nove conjuntos de dados independentes, incluindo cenas (FIGRIM, LaMem), rostos, símbolos convencionais e arte, com correlações estatisticamente significativas ($\rho$ variando de 0,06 a 0,28).

Desempenho por Categoria

O desempenho variou entre as categorias semânticas:

• Maior Precisão: Imagens de Animais ($\rho = 0,673$) e Paisagens ($\rho = 0,605$) mostraram o maior alinhamento com os dados humanos.
• Menor Precisão: Imagens de Comida apresentaram o maior desvio em relação à verdade fundamental ($\rho = 0,477$), um achado consistente com a falha de generalização do modelo para o conjunto de dados FoodFolio.
• Limites de Generalização: Embora o modelo tenha se generalizado para rostos e símbolos convencionais, ele falhou em predizer o FAR para símbolos "projetados" (criados para serem memoráveis/esquecíveis) e mostrou correlação fraca para imagens de arte.

Achados de Interpretabilidade

• Imagens de Alto FAR: Associadas a padrões visualmente simples, de alto contraste e estruturalmente neutros (ex: cachoeiras, listras de zebra). O Ablation-CAM e a análise de oclusão revelaram que o modelo depende de ativações localizadas de baixa intensidade nessas regiões.
• Imagens de Baixo FAR: Associadas a cenas complexas, semanticamente surpreendentes ou incongruentes. Estas elicitaram ativações difusas em toda a imagem, sugerindo que o modelo as rejeita como inéditas com base na complexidade global.
• Contribuição de Características: O fluxo AlexNet foi crucial para capturar as características locais específicas que impulsionam os alarmes falsos, enquanto o fluxo ResNet forneceu o contexto global.

Principais Contribuições

1. Primeiro Preditor de FAR ao Nível da Imagem: O FalseResMem é a primeira rede neural explicitamente desenhada e treinada para predizer taxas de alarme falso ao nível da imagem, mudando o foco de tratar a FAR como ruído para modelá-la como um sinal sistemático impulsionado pela imagem.
2. Arquitetura Híbrida: A introdução de uma arquitetura de fluxo duplo combinando uma ResNet-50 pré-treinada no ImageNet com uma pilha tipo AlexNet re-treinada para capturar tanto as características globais quanto as específicas que impulsionam o falso reconhecimento.
3. Ferramenta Prática: Os autores lançaram o FalseResMem como um pacote PyPI de código aberto (falseresmem), fornecendo a pesquisadores de psicologia, neurociência e visão computacional uma ferramenta acessível para estimar a FAR sem necessidade de conhecimentos em programação.
4. Validação Empírica: O estudo fornece evidências empíricas de que uma parte substancial da variabilidade do falso reconhecimento é previsível a partir de características visuais, atingindo o teto teórico da consistência humana.

Significância e Alegações

O artigo afirma que o FalseResMem oferece uma mudança de paradigma na modelagem da memória visual ao reenquadrar os alarmes falsos não como erros aleatórios ou traços do participante, mas como propriedades previsíveis das imagens. Ao alcançar um desempenho que iguala a consistência inter-observador humana, o modelo demonstra que características visuais intrínsecas (como limites de contraste e uniformidade espacial) impulsionam sistematicamente a "familiaridade enganosa" associada às falsas memórias.

Os autores enfatem a utilidade desta ferramenta para:

• Design Experimental: Permitir que pesquisadores pré-selecionem estímulos para intencionalmente provocar ou eliminar falsas memórias.
• Aplicações Forenses e Clínicas: Potencialmente melhorar procedimentos de testemunho ocular ao identificar imagens propensas ao falso reconhecimento e investigar vieses de memória em populações clínicas.
• Avanço Teórico: Fornecer um arcabouço quantitativo para estudar o "Efeito Mandela" e outras falsas memórias coletivas, unindo a teoria clássica da memória ao aprendizado profundo moderno.

O artigo conclui que integrar métricas baseadas em erro, como a FAR, na modelagem da memória visual é essencial para desenvolver teorias abrangentes da memória que deem conta tanto do recall preciso quanto das distorções sistemáticas.