🤖 machine learning

Benchmarking local Hebbian learning rules for memory storage and prototype extraction

Este artículo evalúa siete reglas de aprendizaje hebbiano en redes recurrentes, encontrando que mientras la regla aditiva original tiene la menor capacidad y el aprendizaje de covarianza ofrece robustez, las reglas bayesianas-hebbianas demuestran una capacidad de almacenamiento y un rendimiento de extracción de prototipos superiores en diversas condiciones.

Autores originales: Anders Lansner, Andreas Knoblauch, Naresh B Ravichandran, Pawel Herman

Publicado 2026-08-03

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Anders Lansner, Andreas Knoblauch, Naresh B Ravichandran, Pawel Herman

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina tu cerebro como una biblioteca enorme y bulliciosa donde los libros no solo están almacenados en estanterías, sino que están esparcidos por todas partes, esperando ser encontrados por una sola pista. Si susurras unas pocas palabras de una historia, la biblioteca debería gritar de vuelta el cuento completo. Esto es la magia de la memoria asociativa: la capacidad de recuperar un recuerdo completo a partir de una pista parcial o desordenada. Es la razón por la cual puedes oler una galleta específica e instantáneamente recordar la cocina de tu abuela, o escuchar unas pocas notas de una canción y recordar la melodía completa. Los científicos han intentado durante mucho tiempo construir modelos informáticos que imiten este truco cerebral, con la esperanza de comprender cómo funcionan nuestras mentes y crear máquinas más inteligentes. La gran pregunta con la que han estado lidiando es: ¿cuál es la mejor "regla" que el bibliotecario del cerebro debería seguir al decidir qué conexiones fortalecer? ¿Debería el bibliotecario simplemente vincular las cosas que suceden juntas, o existe una forma más sofisticada de organizar el caos para que la biblioteca nunca se vea abrumada?

En este artículo, un equipo de investigadores decidió poner a prueba siete diferentes "reglas de bibliotecario". Construyeron cerebros digitales —específicamente, redes de unidades simples que actúan como neuronas— y les pidieron que memorizaran patrones, algunos de los cuales eran versiones desordenadas o distorsionadas de una idea "perfecta" original. Piensa en esto como intentar enseñarle a un robot a reconocer un gato. Le muestras mil fotos de gatos, algunas con gafas de sol, otras boca abajo, otras borrosas. El objetivo es que el robot mire una foto nueva y extraña y diga: "¡Eso es un gato!", sin haber visto nunca esa foto exacta antes. Los investigadores simularon estos cerebros digitales utilizando siete estrategias de aprendizaje diferentes, que van desde el clásico y sencillo método de "vincular lo que ves junto" hasta estrategias más complejas, basadas en la probabilidad y la lógica.

Los resultados fueron un poco impactantes para la comunidad científica. La regla más famosa, la que lleva el nombre de Donald Hebb (a menudo resumida como "neuronas que disparan juntas, se conectan juntas"), resultó ser la peor de las que mejor funcionaba. Era como un bibliotecario que simplemente pega cada nota nueva a todas las demás notas en la pared; eventualmente, la pared está tan cubierta de papel que no puedes encontrar nada. En contraste, las reglas que utilizaron un poco de probabilidad y lógica —específicamente, las reglas "Bayesian-Hebbian"— fueron las campeonas. Estas reglas actuaban como un bibliotecario súper inteligente que no solo vincula cosas, sino que también calcula las probabilidades de que una conexión sea útil, filtrando el ruido. Estas reglas de alto rendimiento podían almacenar aproximadamente tres veces más recuerdos que la clásica regla de Hebb y eran mucho mejores ignorando el "ruido" o las distorsiones en las fotos.

Los investigadores también probaron qué tan bien podían estas reglas manejar datos desordenados donde las pistas estaban correlacionadas (como una biblioteca donde cada libro sobre "perros" también tenía accidentalmente una página sobre "gatos" pegada). Aquí, una de las otras reglas, llamada PRCOV, demostró ser una maestra en ignorar estos solapamientos confusos, llegando incluso a superar a las reglas basadas en la probabilidad en tareas específicas. Sin embargo, para el trabajo general de almacenar y recuperar recuerdos, las reglas basadas en la probabilidad fueron las claras ganadoras. El estudio no solo encontró un ganador; también mostró que la estructura de la red importa. Un cerebro "modular", organizado en grupos pequeños y estrechamente vinculados (como vecindarios en una ciudad), funcionó ligeramente mejor que una red gigante e indiferenciada.

En última instancia, este artículo sugiere que si queremos construir cerebros artificiales que sean tan buenos como los nuestros para recordar cosas, es posible que debamos dejar de usar la vieja y sencilla regla de "disparar juntos" y empezar a usar estas reglas más sofisticadas basadas en la probabilidad. Es un recordatorio de que la salsa secreta del cerebro no es solo hacer conexiones; es saber qué conexiones hacer y cómo sopesarlas. Aunque estos hallazgos provienen de simulaciones por computadora y no de un escaneo directo de un cerebro humano, ofrecen una fuerte pista de que el cerebro podría estar utilizando una estrategia mucho más inteligente y pesada en matemáticas de lo que anteriormente le habíamos atribuido.

Resumen Técnico: Evaluación Comparativa de Reglas de Aprendizaje Hebbiano Local para el Almacenamiento de Memoria y la Extracción de Prototipos

Planteamiento del Problema
La memoria asociativa (memoria de direccionamiento por contenido) es una función fundamental tanto en la informática como en la ciencia cognitiva del cerebro, que subyace a operaciones tales como la completación de patrones, la segmentación figura-fondo y la memoria a largo plazo. Si bien se han propuesto diversas arquitecturas de redes neuronales y reglas de aprendizaje para modelar estas funciones, ha faltado una comparación cuantitativa sistemática de diferentes reglas de aprendizaje hebbiano local dentro de un marco unificado. Específicamente, el artículo aborda la necesidad de evaluar estas reglas no solo para el almacenamiento de patrones estándar, sino también para la capacidad menos investigada de extracción de prototipos: la capacidad de recordar un prototipo generador a partir de instancias distorsionadas sin que el prototipo mismo haya sido almacenado explícitamente. Además, el estudio investiga cómo estas reglas escalan con el tamaño de la red y su sensibilidad a las correlaciones en los datos de entrenamiento.

Metodología
Los autores realizaron extensas simulaciones computacionales comparando siete reglas distintas de aprendizaje hebbiano local dentro de redes de Memoria Asociativa Neuronal (NAM) de una sola capa y conexiones recurrentes. El estudio utilizó dos arquitecturas de red:

Redes no modulares: Una sola capa de $N$ unidades.
Redes modulares: Compuestas por $H$ hipercolumnas, cada una con $M$ minicolumnas (unidades), siguiendo un esquema de escalamiento de "mundo pequeño" donde $H = M = \sqrt{N}$ .

Las redes operaron sobre patrones binarios moderadamente dispersos ( $\{0, 1\}$ ) con dinámica de ganador se lleva todo (WTA por $k$ -ganadores para no modulares, ganador único local para modulares). El entrenamiento se realizó de manera unidireccional (one-shot) y muestra por muestra.

Las Siete Reglas de Aprendizaje Comparadas:

WILL: Basada en Willshaw (1969), utilizando pesos binarios.
HEBB: La regla hebbiana aditiva original.
HOPF: Regla de Hopfield dispersa adaptada para unidades binarias.
COV: Aprendizaje de covarianza (Tsodyks & Feigelman, 1988), añadiendo un término a Hopfield para anular los pesos entre unidades activas de forma independiente.
PRCOV: Aprendizaje de covarianza presináptica (Minai, 1997), diseñado para mejorar la capacidad de patrones correlacionados.
BOM: Aprendizaje Óptimo Bayesiano (Knoblauch, 2011), derivado de consideraciones probabilísticas sin dependencia del ruido.
BCP: Propagación de Confianza Bayesiana (Lansner & Ekeberg, 1989), derivada de la regla de Bayes asumiendo entradas independientes.

Métricas de Evaluación
El rendimiento se cuantificó a través de cuatro bancos de pruebas principales:

Capacidad de Almacenamiento de Patrones ( $P_{90}$ ): El número máximo de patrones almacenados de modo que el 90% de los patrones de prueba distorsionados se recuperen sin errores.
Capacidad de Información de Peso ( $C$ ): La información de Shannon total almacenada (bits) dividida por el número de pesos entrenables, proporcionando una métrica independiente del tamaño.
Extracción de Prototipos: La capacidad de recuperar el prototipo generador a partir de nuevas instancias distorsionadas, donde el prototipo mismo nunca fue presentado a la red.
Resistencia a la Correlación: El declive en la capacidad de almacenamiento a medida que aumenta la correlación ( $f_p$ ) entre los componentes del patrón.

Resultos Clave

Capacidad de Almacenamiento de Patrones: Las reglas de Hebb-Bayesianas (BCP y BOMs) demostraron la mayor capacidad de almacenamiento en casi todas las condiciones, superando a otras reglas por un margen significativo. La regla HEBB mostró consistentemente la menor capacidad. HOPF, COV y PRCOV exhibieron un rendimiento intermedio. La regla WILL funcionó pobremente, particularmente en las tareas de extracción de prototipos.
Capacidad de Información de Peso: La máxima capacidad de información de peso observada para las reglas fue de aproximadamente 0.64 bits/peso, ocurriendo en una fracción de recuperación del 50%. La regla PRCOV mostró valores más bajos debido a su matriz de pesos asimétrica, mientras que la regla HEBB se mantuvo como la más baja.
Extracción de Prototipos: Esta tarea resultó ser generalmente más difícil que el almacenamiento de patrones individuales. Las reglas BCP y BOMs mantuvieron un rendimiento superior. Notablemente, aunque PRCOV podía extraer prototipos, lo hacía más rápidamente para un número bajo de prototipos, pero se estancaba antes que las reglas Bayesianas cuando se entrenaba con muchas instancias. La regla WILL falló por completo en esta tarea debido a sus restricciones de peso binario.
Sensibilidad a la Correlación: La regla PRCOV, diseñada específicamente para datos correlacionados, mostró la mayor resistencia a las correlaciones, particularmente en tareas de extracción de prototipos, superando a veces a las reglas Bayesianas en capacidad absoluta bajo alta correlación. Las reglas HEBB y WILL fueron las más sensibles a las correlaciones.
Escalamiento de la Arquitectura: Las redes modulares generalmente almacenaron más patrones que las no modulares, pero la información por peso ( $C$ ) se mantuvo comparable. El escalamiento $\sqrt{N}$ de hipercolumnas y minicolumnas fue efectivo para los tamaños simulados, pero se señaló como potencialmente limitante para escalar a tamaños corticales completos.

Significancia y Reivindicaciones
El artículo sostiene que su contribución principal es una evaluación cuantitativa rigurosa de las reglas de aprendizaje hebbiano bajo condiciones estandarizadas, revelando que la popular regla HEBB es subóptima para tareas de memoria asociativa en comparación con los enfoques Hebb-Bayesianos.

Implicaciones Neurobiológicas: Los resultados sugieren que si el cerebro utiliza mecanismos de memoria asociativa similares a los modelados, probablemente emplea reglas de aprendizaje más complejas que la simple plasticidad hebbiana aditiva, involucrando potencialmente la plasticidad intrínseca o mecanismos de inferencia bayesiana (como se ve en BCP).
Implicaciones de Ingeniería: Para los sistemas de redes neuronales artificiales, el estudio indica que las reglas Hebb-Bayesianas ofrecen una capacidad y robustez superiores. Además, el fallo de la regla binaria WILL en la extracción de prototipos sugiere que los pesos de valor real (que representan una mayor información contenida, ~5 bits) pueden ser necesarios para una generalización robusta, ofreciendo perspectivas para el diseño de hardware neuromórfico respecto a la precisión de los pesos.
Extracción de Prototipos: El estudio destaca la extracción de prototipos como una capacidad crítica pero poco estudiada de las NAM, demostrando que diferentes reglas de aprendizaje exhiben comportamientos de generalización distintos (por ejemplo, velocidad de formación del prototipo frente a estabilidad contra atractores espurios).

Los autores concluyen que, si bien las reglas Hebb-Bayesianas (BCP y BOMs) son generalmente superiores, la elección de la "mejor" regla depende de las demandas específicas de la tarea, como la necesidad de alta resistencia a la correlación (favoreciendo a PRCOV) frente a la máxima capacidad de almacenamiento (favoreciendo a BCP/BOMs). El artículo evita afirmar que estas reglas modelen definitivamente el cerebro humano, pero sugiere que proporcionan un marco más plausible y eficiente para comprender la plasticidad sináptica y diseñar una IA de tipo cerebral.

Más como este