Resumen Técnico: FalseResMem – Una Red Neuronal para Predecir Falsas Memorias en Tareas de Reconocimiento Visual

Planteamiento del Problema

La investigación sobre la memoria visual se ha basado tradicionalmente en la Teoría de la Detección de Señales (SDT, por sus siglas en inglés) para caracterizar el rendimiento del reconocimiento, separando la fuerza de la memoria (aciertos o hits) de los criterios de decisión (falsas alarmas). En este marco, la Tasa de Falsas Alarmas (FAR)—la clasificación incorrecta de imágenes novedosas como familiares—se trata a menudo como un error global a nivel de participante o ruido derivado de un criterio de respuesta liberal o una baja sensibilidad. Sin embargo, evidencia reciente sugiere que las falsas memorias no son meros errores aleatorios, sino fenómenos consistentes y específicos de cada imagen. Ciertas imágenes provocan consistentemente mayores falsas alarmas entre diferentes observadores (por ejemplo, el "Efecto Mandela"), independientemente de los rasgos de memoria generales del observador.

Los modelos actuales de aprendizaje profundo, como ResMem, predicen con éxito la memorabilidad de las imágenes (Hit Rate) mediante la extracción de características visuales intrínsecas. No obstante, ningún modelo existente apunta explícitamente a la predicción de falsas alarmas a nivel de imagen. Tratar la FAR como mero ruido oculta las propiedades visuales sistemáticas que impulsan el falso reconocimiento. El desafío consiste en desarrollar un modelo capaz de predecir la probabilidad de que una imagen novedosa sea falsamente reconocida como familiar basándose únicamente en sus características visuales, yendo más allá de los resúmenes a nivel de participante hacia un modelado de errores específico de la imagen.

Metodología

Conjunto de Datos

El modelo fue entrenado exclusivamente con el conjunto de datos MemCat (Goetschalckx & Wagemans, 2019), una colección a gran escala de 10,000 imágenes naturales distribuidas en cinco categorías semánticas: animales, comida, paisajes, deportes y vehículos.

• Verdad de Campo (Ground Truth): Las puntuaciones de FAR se derivaron de una tarea de reconocimiento continua que involucró un promedio de 99 participantes por imagen. Se registró una falsa alarma cuando un participante identificaba incorrectamente una imagen novedosa como una repetición.
• Justificación: Se seleccionó MemCat sobre el conjunto de datos LaMem debido a su superior consistencia inter-observador de la FAR ($\rho = 0.78$ frente a $0.67$) y su mayor calidad de datos (por ejemplo, ausencia de duplicados). Los intentos de realizar un ajuste fino (fine-tuning) en LaMem no mejoraron el rendimiento.

Arquitectura del Modelo: FalseResMem

FalseResMem es una arquitectura híbrida de aprendizaje profundo diseñada para predecir una única puntuación de FAR (0–1) para cualquier imagen de entrada. Adapta la arquitectura de ResMem, pero está entrenada específicamente para la predicción de errores. El modelo consta de dos flujos paralelos de extracción de características:

1. Flujo ResNet-50: Utiliza las capas 0–8 (desde conv1 hasta el adaptive average pooling) de una ResNet-50 preentrenada en ImageNet-1K. Esta rama extrae características globales de 2,048 dimensiones. Pruebas exhaustivas demostraron que la ResNet-50 con preentrenamiento de ImageNet superó a otras variantes (ResNet-18, 34, 101, 152) y al entrenamiento desde cero.
2. Flujo inspirado en AlexNet: Una pila de cinco capas convolucionales entrenada desde cero (inicializada con pesos aleatorios). Este flujo procesa las imágenes a través de una secuencia de capas convolucionales (kernels de 11x11, 5x5, 3x3), activaciones ReLU, max-pooling y Normalización de Respuesta Local (LRN), produciendo un vector de características de 9,216 dimensiones. Se hipotetiza que esta rama captura características específicas relacionadas con las falsas alarmas que son distintas de la memorabilidad general.

Fusión y Cabezal (Head):
Las características de 2,048 dimensiones de ResNet y las 9,216 dimensiones de AlexNet se concatenan en un vector de 11,264 dimensiones. Este se introduce en un cabezal de siete capas densas totalmente conectadas:

• Capas 1–6: Capas densas con dimensiones 4096, 4096, 2048, 1024, 512 y 256, cada una seguida de una activación ReLU y dropout ($p=0.5$) después de las capas 1, 3 y 4.
• Capa 7: Una capa densa final (256 $\to$ 1) con una activación sigmoide para producir la probabilidad de FAR predicha.

Entrenamiento y Evaluación

• Optimización: El modelo fue entrenado utilizando el Descenso de Gradiente Estocástico (SGD) con momentum (0.9) y pérdida de Error Cuadrático Medio (MSE).
• Ajuste de Hiperparámetros: Se realizaron 30 ensayos utilizando Optuna para optimizar la tasa de aprendizaje ($10^{-5}$ a $10^{-2}$) y el tamaño del lote (batch size) (8–128). La mejor configuración utilizó una tasa de aprendizaje de 0.009381 y un tamaño de lote de 32.
• Validación: El rendimiento se evaluó mediante validación cruzada de 10 pliegues (10-fold cross-validation). El techo de rendimiento del modelo se estableció calculando la consistencia inter-observador de la mitad de la muestra (split-half) de las puntuaciones de FAR humanas ($\rho = 0.60 \pm 0.29$).
• Interpretabilidad: La importancia de las características se analizó mediante Ablation-CAM (para manejar problemas de desvanecimiento de gradiente en capas profundas) y sensibilidad por oclusión (oclusores deslizantes de 32x32) para identificar las regiones espaciales críticas para las predicciones de alta FAR.

Resultados Clave

Rendimiento Predictivo

FalseResMem logró un rendimiento robusto en el conjunto de prueba de MemCat:

• Validación Cruzada: Media de la correlación de rango de Spearman ($\rho$) de 0.48 $\pm$ 0.13.
• Mejor Caso: El modelo con mejor desempeño alcanzó una correlación de prueba de $\rho = 0.60$ (MSE = 0.002), alcanzando efectivamente el techo de la consistencia inter-observador humana.
• Generalización: El modelo se generalizó con éxito a nueve conjuntos de datos independientes, incluyendo escenas (FIGRIM, LaMem), rostros, símbolos convencionales y arte, con correlaciones estadísticamente significativas ($\rho$ entre 0.06 y 0.28).

Rendimiento por Categoría

El rendimiento varió según las categorías semánticas:

• Mayor Precisión: Los animales ($\rho = 0.673$) y los paisajes ($\rho = 0.605$) mostraron la mayor alineación con los datos humanos.
• Menor Precisión: Las imágenes de comida mostraron la mayor desviación respecto a la verdad de campo ($\rho = 0.477$), un hallazgo consistente con el fallo del modelo al generalizarse al conjunto de datos FoodFolio.
• Límites de Generalización: Aunque el modelo se generalizó a rostros y símbolos convencionales, falló al predecir la FAR para símbolos "diseñados" (creados para ser memorables o memorables de forma controlada) y mostró una correlación débil para imágenes de arte.

Hallazgos de Interpretabilidad

• Imágenes de Alta FAR: Asociadas con patrones visualmente simples, de alto contraste y estructuralmente neutros (ej. cascadas, rayas de cebra). Ablation-CAM y el análisis de oclusión revelaron que el modelo depende de activaciones localizadas de baja intensidad en estas regiones.
• Imágenes de Baja FAR: Asociadas con escenas complejas, semánticamente sorprendentes o incongruentes. Estas provocaron activaciones difusas de toda la imagen, lo que sugiere que el modelo las rechaza como novedosas basándose en la complejidad global.
• Contribución de Características: El flujo de AlexNet fue crítico para capturar las características locales específicas que impulsan las falsas alarmas, mientras que el flujo de ResNet proporcionó el contexto global.

Contribuciones Clave

1. Primer Predictor de FAR a Nivel de Imagen: FalseResMem es la primera red neuronal diseñada y entrenada explícitamente para predecir tasas de falsas alarmas a nivel de imagen, cambiando el enfoque de tratar la FAR como ruido a modelarla como una señal sistemática impulsada por la imagen.
2. Arquitectura Híbrida: La introducción de una arquitectura de doble flujo que combina una ResNet-50 preentrenada en ImageNet con una pila tipo AlexNet reentrenada para capturar tanto las características globales como las específicas que impulsan el falso reconocimiento.
3. Herramienta Práctica: Los autores lanzaron FalseResMem como un paquete de código abierto de PyPI (falseresmem), proporcionando a investigadores en psicología, neurociencia y visión computacional una herramienta accesible para estimar la FAR sin necesidad de experiencia en programación.
4. Validación Empírica: El estudio proporciona evidencia empírica de que una parte sustancial de la variabilidad del falso reconocimiento es predecible a partir de las características visuales, alcanzando el techo teórico de la consistencia humana.

Significado y Reivindicaciones

El artículo sostiene que FalseResMem ofrece un cambio de paradigma en el modelado de la memoria visual al replantear las falsas alarmas no como errores aleatorios o rasgos de los participantes, sino como propiedades predecibles de las imágenes. Al alcanzar un rendimiento que iguala la consistencia inter-observador humana, el modelo demuestra que las características visuales intrínsecas (como los bordes de contraste y la uniformidad espacial) impulsan sistemáticamente la "familiaridad engañosa" asociada con las falsas memorias.

Los autores enfatizan la utilidad de esta herramienta para:

• Diseño Experimental: Permitir a los investigadores preseleccionar estímulos para inducir o eliminar intencionadamente las falsas memorias.
• Aplicaciones Forenses y Clínicas: Potencialmente mejorar los procedimientos de testimonios de testigos oculares al identificar imágenes propensas al falso reconocimiento y sondear los sesgos de memoria en poblaciones clínicas.
• Avance Teórico: Proporcionar un marco cuantitativo para estudiar el "Efecto Mandela" y otras falsas memorias colectivas, cerrando la brecha entre la teoría clásica de la memoria y el aprendizaje profundo moderno.

El artículo concluye que integrar métricas basadas en errores, como la FAR, en el modelado de la memoria visual es esencial para desarrollar teorías integrales de la memoria que den cuenta tanto del recuerdo preciso como de las distorsiones sistemáticas.