Towards Zero-Shot Task Transfer with Neurosymbolic World Models

Imagina a un agente de inteligencia artificial aprendiendo a navegar por un mundo complejo, de forma muy similar a como un niño aprende a caminar. En el campo del aprendizaje automático, estos agentes suelen depender de "modelos de mundo", que son mapas mentales internos que les permiten predecir qué sucederá a continuación si realizan una acción específica. Al simular estos escenarios futuros en sus mentes, los agentes pueden planificar sus movimientos sin necesidad de probar físicamente cada posibilidad en el mundo real. Este enfoque se ha vuelto increíblemente poderoso, permitiendo que las computadoras dominen juegos y controlen robots mediante el aprendizaje a partir de datos sensoriales de alta dimensión, como secuencias de imágenes de video. Sin embargo, persiste un obstáculo significativo: estos mapas mentales suelen construirse para un trabajo único y específico. Si el objetivo cambia —por ejemplo, de alcanzar una puerta roja a alcanzar una azul— el agente a menudo tiene que reaprender toda su comprensión del mundo, porque su mapa interno está estrechamente entrelazado con la recompensa específica que perseguía durante el entrenamiento.

Investigadores de la KU Leuven en Bélgica han desarrollado un nuevo enfoque para resolver esta rigidez, creando un sistema que puede adaptarse a nuevos objetivos instantáneamente, sin necesidad de interactuar de nuevo con el entorno. Su trabajo introduce un tipo de modelo de mundo "neurosimbólico", un sistema híbrido que combina la fuerza de reconocimiento de patrones de las redes neuronales con la estructura lógica y clara del razonamiento simbólico. En lugar de aprender una representación única y enmarañada del mundo, estos modelos aprenden a separar los detalles sensoriales brutos de un entorno de los hechos de alto nivel que determinan el éxito. Esta separación permite que el agente mantenga su comprensión de cómo se mueve y cambia el mundo, mientras simplemente intercambia la regla de lo que cuenta como una "victoria". El resultado es un agente que puede aprender un entorno complejo una sola vez y luego aplicar ese conocimiento a tareas completamente nuevas, una capacidad conocida como transferencia de cero disparos (zero-shot transfer), simplemente redefiniendo el objetivo en términos de los mismos hechos subyacentes.

La innovación central radica en cómo el modelo procesa la información. Los modelos de mundo tradicionales aprenden una versión comprimida y abstracta del mundo que es difícil de interpretar para los humanos y difícil de reutilizar. En contraste, estos nuevos modelos neurosimbólicos obligan al sistema a identificar y predecir propiedades específicas y estructuradas del estado, como las coordenadas de un agente o la ubicación de un objeto. Estas propiedades actúan como un puente. El modelo utiliza su red neuronal para comprender el mundo visual desordenado y traducirlo en estos hechos simbólicos claros. Una vez que el modelo posee estos hechos, utiliza un componente lógico separado para predecir recompensas. Debido a que la predicción de la recompensa depende únicamente de estos hechos claros, los investigadores pueden simplemente reemplazar la función de recompensa con una nueva que apunte a un objetivo diferente, y el modelo comprende inmediatamente cómo planificarlo. El agente no necesita ver el nuevo objetivo ni probarlo; simplemente vuelve a ejecutar sus simulaciones mentales con la nueva regla, utilizando el mismo mapa interno de cómo funciona el mundo.

Para probar esta idea, los investigadores entrenaron sus modelos en varios entornos distintos, incluyendo una tarea de navegación basada en una cuadrícula donde un agente debe encontrar un objetivo, una versión 3D de la misma tarea con movimiento continuo, y un juego de rompecabezas llamado Sokoban donde las cajas deben ser empujadas hacia lugares específicos. En estas fases de entrenamiento, los agentes aprendieron a navegar y lograr un objetivo específico, como alcanzar una ubicación fija de meta. Los investigadores luego desafiaron a los modelos con nuevas tareas donde las reglas de movimiento del entorno permanecían exactamente iguales, pero los objetivos cambiaban. En un escenario, el objetivo podría moverse a otra habitación; en otro, el agente podría necesitar alcanzar una configuración específica de objetos en lugar de un solo punto. Los modelos fueron capaces de adaptarse a estos nuevos objetivos sin ninguna interacción adicional con el entorno real. Lograron esto a través de dos métodos: ya sea planificando nuevas rutas usando un algoritmo de búsqueda que exploraba las posibilidades en su mente, o refinando su política de toma de decisiones enteramente dentro de sus simulaciones internas.

Los resultados mostraron que este enfoque no solo funcionó, sino que lo hizo de manera más eficiente que los métodos estándar. Los modelos neurosimbólicos aprendieron las tareas de entrenamiento con menos ejemplos, lo que sugiere que la forma estructurada en que procesan la información les ayuda a comprender el entorno más rápido. Más importante aún, al enfrentarse a nuevas tareas, se adaptaron instantáneamente. Mientras que los modelos tradicionales requerirían un periodo de reentrenamiento o una gran cantidad de nuevos datos para comprender el nuevo objetivo, los agentes neurosimbólicos simplemente aplicaron su conocimiento existente del mundo al nuevo objetivo. Esto fue cierto incluso cuando los investigadores proporcionaron solo información parcial sobre los hechos simbólicos durante el entrenamiento, o cuando no proporcionaron supervisión directa para esos hechos, confiando en la estructura del propio modelo para guiar el aprendizaje.

Este trabajo demuestra un paso significativo hacia una inteligencia artificial más flexible y reutilizable. Al desacoplar la comprensión de cómo funciona el mundo de los objetivos específicos que un agente intenta alcanzar, los investigadores han creado un sistema que se comporta más como un aprendiz general que como una herramienta especializada. El agente no solo memoriza un camino hacia un destino; aprende el terreno y las reglas de movimiento, lo que le permite navegar hacia cualquier destino definido dentro de ese terreno. Si bien el sistema todavía requiere que los nuevos objetivos sean describibles utilizando el mismo conjunto de hechos de alto nivel aprendidos durante el entrenamiento, elimina la necesidad de un reentrenamiento costoso cada vez que una tarea cambia. Esto sugiere un futuro donde los sistemas inteligentes puedan desplegarse en entornos dinámicos, listos para abordar nuevos desafíos en el momento en que surjan, simplemente siendo informados de qué buscar, en lugar de tener que aprender cómo verlo todo de nuevo.