Contextual encoding of states and indices for episodic memories make goal-directed action selection flexible, transparent, and efficient

Cuando nos enfrentamos a un nuevo problema, nuestros cerebros no se limitan simplemente a procesar números para encontrar la mejor solución. En su lugar, recurren a nuestro pasado, extrayendo recuerdos específicos de situaciones similares para guiar nuestro siguiente movimiento. Esta capacidad de recordar experiencias relevantes y explicar nuestras elecciones basándonos en ellas es una característica distintiva de la inteligencia humana. Durante décadas, los científicos han intentado construir sistemas artificiales que imiten esta flexibilidad, pero la mayoría de los métodos exitosos dependen del almacenamiento de vastas cantidades de datos en formas matemáticas complejas que son difíciles de interpretar y requieren una potencia de cálculo inmensa. Estos sistemas suelen tener dificultades cuando las reglas del juego camban o cuando aparece un nuevo objetivo, lo que les obliga a empezar a aprender desde cero. El desafío para los investigadores ha sido crear un sistema que aprenda rápidamente, se adapte instantáneamente a nuevas restricciones y pueda explicar sus decisiones en términos sencillos, todo ello mientras funciona en dispositivos pequeños y de bajo consumo energético.

Un equipo de investigadores de la Universidad Tecnológica de Graz ha desarrollado un nuevo enfoque llamado Mapa Cognitivo Episódico, o ECM (por sus siglas en inglés), que toma un camino diferente. En lugar de intentar comprimir todo el conocimiento en números abstractos, este sistema funciona como una mente humana que lleva un diario detallado de sus experiencias. El algoritmo explora un entorno realizando recorridos aleatorios, registrando cada paso que da como un recuerdo distinto. Lo que hace que este sistema sea único es cómo almacena y utiliza estos recuerdos. No solo recuerda por dónde pasó; vincula cada ubicación que visitó con el viaje específico del que formó parte. Si el sistema necesita ir del punto A al punto B, no calcula la distancia o el valor de todos los caminos posibles. En su lugar, consulta su biblioteca de viajes pasados y pregunta: "¿Cuál de mis viajes anteriores incluyó tanto donde estoy ahora como donde quiero ir?". La respuesta a esa pregunta señala directamente el mejor siguiente paso.

Los investigadores probaron esta idea en entornos simulados que imitan tareas de toma de decisiones complejas, incluyendo mapas con cientos de ubicaciones y situaciones donde las acciones tienen resultados inciertos. En estas pruebas, el algoritmo ECM demostró ser notablemente eficiente. Aprendió a navegar desde cualquier punto de partida hacia cualquier objetivo con una velocidad y precisión que rivalizaron con métodos de inteligencia artificial mucho más complicados. Crucialmente, logró esto utilizando únicamente conexiones binarias simples entre sus células de memoria y sus neuronas de toma de decisiones. Esto significa que el sistema no necesita realizar cálculos matemáticos pesados ni almacenar números de alta precisión. Puede aprender un nuevo entorno, resolver un problema de navegación y explicar su elección señalando las experiencias pasadas específicas que la sustentaron, todo ello sin necesidad de volver a aprender nada cuando el objetivo cambia.

El poder de este sistema reside en su capacidad de adaptarse instantáneamente. En muchos modelos de inteligencia artificial, cambiar un objetivo o añadir una nueva regla de seguridad requiere reentrenar todo el sistema, un proceso que puede tardar horas o días. El algoritmo ECM, sin embargo, puede ajustar su comportamiento en una fracción de segundo. Si un camino queda bloqueado o se introduce una nueva restricción de seguridad, el sistema simplemente filtra su biblioteca de memorias para ignorar aquellas que involucran el camino bloqueado o el área insegura. Luego, selecciona una nueva ruta basada en las memorias válidas restantes. Esta flexibilidad le permite manejar escenarios complejos, como navegar por una ciudad donde ciertas calles están cerradas o evitar áreas con altos riesgos, sin necesidad de detenerse a reaprender el mapa.

Para entender cómo funciona esto, imagine que el sistema construye un mapa mental no de distancias, sino de conexiones. Cuando el sistema explora una nueva área, crea un registro de cada viaje que realiza. Cada ubicación en esta área está etiquetada con los viajes específicos en los que apareció. Cuando el sistema necesita moverse hacia un objetivo, activa las memorias asociadas con dicho objetivo. Estas memorias iluminan entonces las ubicaciones que aparecieron frecuentemente junto al objetivo en viajes pasados. El sistema simplemente elige la acción que conduce a la ubicación con la conexión más fuerte con el objetivo. Este proceso es tan directo que evita la necesidad de cálculos complejos. El sistema no necesita conocer el valor de cada estado futuro posible; solo necesita saber qué experiencias pasadas vinculan el presente con el futuro deseado.

Los investigadores también exploraron cómo este sistema podría mejorar con el tiempo. Descubrieron que, al reemplazar ocasionalmente memorias antiguas y menos útiles por otras nuevas derivadas de intentos de planificación exitosos, el sistema podía refinar su mapa interno sin aumentar el tamaño de su memoria. Este proceso, conocido como automejora recursiva, permitió que el algoritmo fuera más eficiente en la búsqueda de rutas cortas a medida que ganaba experiencia. Incluso cuando el entorno era impredecible, con acciones que a veces conducían a resultados inesperados, el sistema mantuvo su capacidad para encontrar rutas fiables. Lo hizo ponderando sus memorias según la frecuencia con la que conducían al éxito, aprendiendo efectivamente una estrategia que equilibraba el riesgo y la recompensa.

Uno de los hallazgos más significativos de este trabajo es que el sistema puede explicar sus decisiones con total transparencia. Debido a que cada elección se basa en un conjunto específico de experiencias pasadas, el sistema puede mostrar exactamente qué recuerdos condujeron a una acción particular. Si un humano pregunta por qué el sistema eligió cierto camino, este puede señalar los viajes específicos en su historial que hicieron que ese camino pareciera prometedor. Esto contrasta fuertemente con muchos sistemas de inteligencia artificial modernos, que a menudo actúan como "cajas negras" donde el razonamiento detrás de una decisión está oculto dentro de capas de matemáticas complejas. El algoritmo ECM ofrece una forma de construir máquinas inteligentes que no solo son efectivas, sino también comprensibles y dignas de confianza.

Las implicaciones de esta investigación se extienden más allá de la navegación. Los principios detrás del algoritmo ECM sugieren una nueva forma de construir inteligencia artificial que sea ligera, eficiente energéticamente y capaz de operar en dispositivos pequeños como sensores o robots. Debido a que el sistema depende de conexiones binarias simples en lugar de complejos cálculos de coma flotante, podría implementarse en hardware que consuma muy poca energía. Esto lo convierte en un candidato ideal para la computación en el borde (edge computing), donde los dispositivos necesitan tomar decisiones rápidas e inteligentes sin depender de una conexión con una computadora central potente. La capacidad de adaptarse a nuevos contextos y explicar su razonamiento lo hace particularmente valioso para aplicaciones donde la seguridad y la fiabilidad son primordiales.

Los investigadores reconocen que su trabajo actual se centra en entornos donde los estados están claramente definidos y etiquetados. Planean extender este enfoque a situaciones más complejas donde el sistema deba interpretar datos sensoriales brutos, como imágenes o sonidos, para comprender su entorno. También pretenden explorar cómo el sistema maneja situaciones en las que la vista actual no proporciona información suficiente para saber exactamente dónde se encuentra. A pesar de estos desafíos futuros, los resultados actuales demuestran que un enfoque simple, basado en la memoria, puede alcanzar niveles de rendimiento que compiten con métodos mucho más sofisticados. Al inspirarse en cómo el cerebro humano utiliza las memorias episódicas, los investigadores han demostrado que, a veces, las soluciones más poderosas son aquellas que dependen de las conexiones más simples y directas entre el pasado y el presente.