🤖 machine learning

Distributional Active Inference

Este artículo presenta una abstracción formal que integra la inferencia activa en el marco del aprendizaje por refuerzo distributivo, permitiendo un control óptimo de alta eficiencia de muestras para sistemas robóticos sin requerir el modelado explícito de la dinámica de transición.

Autores originales: Abdullah Akgül, Gulcin Baykal, Manuel Haußmann, Mustafa Mert Çelikok, Melih Kandemir

Publicado 2026-08-06

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Abdullah Akgül, Gulcin Baykal, Manuel Haußmann, Mustafa Mert Çelikok, Melih Kandemir

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a navegar en un mundo caótico e impredecible. Para hacerlo bien, el robot necesita dos superpoderes: debe ser capaz de organizar una inundación de datos sensoriales (como lo que ve y oye) en algo útil, y debe ser capaz de planificar hacia un futuro lejano para realizar movimientos inteligentes. Durante décadas, el campo del Aprendizaje por Refuerzo (RL) ha sido el método predilecto para enseñar a las máquinas cómo planificar. Piensa en el RL como un estudiante que aprende mediante ensayo y error, intentando maximizar una puntuación adivinando qué acciones conducen a las mejores recompensas. Sin embargo, este estudiante suele ser ineficiente; necesita probar cosas millones de veces para aprender, y le cuesta cuando el mundo es demasiado complejo para simularlo perfectamente en su cabeza.

Aquí entra la Inferencia Activa, una teoría inspirada en cómo funcionan los cerebros biológicos. En lugar de simplemente adivinar, el cerebro es visto como una máquina de predicción que intenta constantemente minimizar la sorpresa de lo que experimenta. Planifica imaginando diferentes futuros y eligiendo aquel que se sienta más "cierto" o menos sorprendente. Aunque esto suena poderoso, la Inferencia Activa tradicional se ha quedado estancada en un rincón: generalmente requiere que el robot construya un mapa perfecto y detallado de cómo funciona el mundo (un "modelo del mundo") antes de poder planificar. Construir estos mapas es computacionalmente costoso y, a menudo, imposible para tareas complejas. La gran pregunta que los científicos se han estado haciendo es: ¿Podemos obtener los beneficios de planificación inteligente de la Inferencia Activa sin la pesada carga de construir un mapa perfecto del mundo?

Este artículo presenta un nuevo método llamado Inferencia Activa Distribucional (DAIF) que responde con un "sí". Los investigadores proponen un atajo ingenioso. En lugar de intentar predecir exactamente qué sucederá después (como una temperatura o posición específica), el DAIF se enfoca en predecir el rango completo de posibles futuros y sus probabilidades, todo a la vez. Ellos llaman a esto aprendizaje "distribucional". Imagina que, en lugar de adivinar si lloverá mañana, aprendes el pronóstico meteorológico completo: un 20% de probabilidad de llovizna, un 50% de sol y un 30% de tormenta. Al aprender este panorama completo de posibilidades, el robot puede planificar de manera efectiva sin necesidad de conocer las leyes exactas de la física que gobiernan la lluvia.

El artículo sugiere que, al combinar el enfoque de "panorama completo" del aprendizaje distribucional con la lógica de "minimización de la sorpresa" de la Inferencia Activa, los robots pueden aprender de manera mucho más rápida y eficiente. Los autores probaron esta idea en simulaciones computacionales. En juegos simples de tipo cuadrícula (grid-world), encontraron que su nuevo método, DAIF, podía resolver problemas que otros métodos no lograban resolver, especialmente cuando los problemas se volvían más difíciles y requerían mirar más hacia adelante. En simulaciones más complejas, similares al mundo real, que involucran robots blandos y control basado en video, el DAIF superó consistentemente a los mejores métodos actuales, aprendiendo a controlar estos sistemas con menos intentos. Los resultados sugieren que este enfoque permite a los agentes manejar entornos complejos con una capacidad de cómputo limitada, de forma muy similar a como lo hace un cerebro humano, organizando la información de manera eficiente en lugar de forzar por fuerza bruta una simulación perfecta de la realidad.

Resumen Técnico: Inferencia Activa Distribucional

Planteamiento del Problema

El control óptimo en entornos robóticos complejos enfrenta dos desafíos entrelazados: la organización eficiente de la información del estado sensorial y la planificación de acciones a largo plazo. Mientras que el Aprendizaje por Refuerzo (RL) aborda la planificación, a menudo sufre de ineficiencia de muestreo porque típicamente se enfoca solo en esta última. La Inferencia Activa (AIF) own, una teoría del proceso que explica la inteligencia biológica, aborda ambos mediante un ciclo de acción-percepción que minimiza la Energía Libre Esperada (EFE). Sin embargo, las aplicaciones actuales de AIF en inteligencia artificial están mayormente restringidas a enfoques basados en modelos que requieren aprender la dinámica de transición explícita, lo cual es computacionalmente costoso y a menudo inviable para simulaciones de alta fidelidad.

El problema central que este artículo aborda es cómo integrar las ventajas de rendimiento de la Inferencia Activa en un marco que no requiera aprender un modelo de transición explícito, haciendo así que la AIF sea accesible para entornos distribucionales y libres de modelo (model-free).

Metodología

Los autores proponen un marco teórico y algorítmico de tres pasos para cerrar la brecha entre la Inferencia Activa y el RL Distribucional:

1. Formulación Rigurosa de la Inferencia Activa

Los autores re-derivan el objetivo de la AIF desde los primeros principios de la inferencia bayesiana y causal. Al aplicar el cálculo do a la configuración estándar de la inferencia variacional, demuestran que el objetivo estándar de la AIF admite una forma equivalente más simple.

Demuestran que intervenir en el estado observable $X$ con una distribución deseada $P_R(X)$ (actuando como recompensa) desconecta el observable de las variables latentes $(Y, S)$ bajo la regla del producto.
Esto conduce a un ELBO (Cota Inferior de la Evidencia) simplificado donde el objetivo consiste en un término de reconstrucción, un término de entropía de política y un término que maximiza la log-probabilidad de la distribución de estado deseada bajo la trayectoria predicha.
Crucialmente, esta formulación revela que la AAIF puede verse como una forma de codificación predictiva donde el agente optimiza un modelo del mundo para ajustarse a los resultados deseados, sin requerir necesariamente una inferencia compleja de los latentes posteriores para cada paso.

2. Aprendizaje por Refuerzo de Empuje hacia Adelante (Push-Forward Reinforcement Learning)

Para integrar la AIF sin un modelado de transición explícito, los autores introducen el RL de Empuje hacia Adelante (Push-Forward RL), un marco teórico que generaliza el RL Distribucional.

Medidas de Trayectoria: Definen la distribución de retorno no solo como una esperanza, sino como un "empuje hacia adelante" (push-forward) de la medida de trayectoria inducida por una política a través de un funcional de retorno.
Abstracción de Estado: Formalizan la relación entre las abstracciones de estado (espacios latentes) y el RL distribucional. Al definir un codificador $S$ y un decodificador $P_D$ , muestran que realizar RL distribucional en un espacio latente es equivalente a aplicar un operador de núcleo compuesto.
Módulo de Contracción: Un resultado teórico clave (Teorema 3.5) establece que el módulo de contracción del operador de Bellman distribucional en un espacio latente se escala por el producto de las constantes de Lipschitz del codificador ( $L_E$ ) y el decodificador ( $L_D$ ). Si el espacio latente proporciona una compresión eficiente (pequeña $L_E$ ) y captura la estructura relevante para la recompensa (pequeña $L_D$ ), la convergencia de los backups de Bellman se acelera.
Plantilla Algorítmica: Proponen la Iteración de Política de Empuje hacia Adelante (PPI), que minimiza el residuo de Bellman en el espacio de las medidas de codificación en lugar de los estados brutos, unificando efectivamente las visiones basada en modelo y libre de modelo.

3. Inferencia Activa Distribucional (DAIF)

Los autores instancian la teoría anterior en un algoritmo práctico llamado Inferencia Activa Distribacional (DAIF).

Mecanismo: DAIF aprende una distribución paramétrica amortizada estado-acción (un codificador) que mapea las observaciones a un espacio latente. Luego realiza el emparejamiento de cuantiles de diferencia temporal en este espacio latente.
Detalles de Implementación:
- El problema de regresión de cuantiles se enmarca como la Estimación de Máxima Verosimilitud (MLE) de una Distribución de Laplace Asimétrica (ALD).
- La incertidumbre alrededor de las estimaciones de los cuantiles se modela utilizando una distribución Gamma Inversa como prior sobre el parámetro de escala ( $\sigma_\tau$ ). Esta varianza posterior actúa como una incertidumbre epistémica implícita, induciendo exploración similar al muestreo de Thompson sin bonos de exploración explícitos.
- El algoritmo utiliza una arquitectura de actor-crítico profundo con críticos dobles, recorte mínimo (min-clipping) para los objetivos de Bellman y actualizaciones de actor retrasadas (similar a TD3), pero reemplaza los objetivos de valor estándar con los retornos distribucionales derivados del objetivo de AIF.
Distinción Clave: A diferencia de la AIF tradicional, DAIF no aprende un modelo de transición hacia adelante ( $P(X'|X, A)$ ). En su lugar, aprende la distribución de retorno directamente de las transiciones muestreadas en el espacio latente, heredando los beneficios de la abstracción de estado de la AIF mientras evita el costo de modelar la dinámica de transición.

Contribuciones Clave

Unificación Teórica: El artículo proporciona una abstracción formal que abarca el RL basado en modelos, distribucional y libre de modelo, demostrando cómo la AIF puede integrarse perfectamente en el marco distribucional.
Objetivo de AIF Simplificado: Mediante el uso de cálculo do, los autores derivan un objetivo de AIF simplificado que elimina la necesidad de una inferencia compleja de los latentes posteriores en la formulación estándar, alineándolo más estrechamente con la maquinaria de inferencia variacional utilizada en el RL moderno.
Marco de Empuje hacia Adelante (Push-Forward): La introducción del "RL de Empuje hacia Adelante" proporciona un vínculo matemático riguroso entre las abstracciones de estado y los operadores de Bellman distribucionales, mostrando cómo la compresión del espacio latente afecta las tasas de convergencia.
Algoritmo DAIF: La propuesta de DAIF, un algoritmo práctico que logra ganancias de rendimiento similares a la AIF (planificación eficiente mediante la abstracción de estado) sin la sobrecarga computacional de aprender modelos de transición explícitos.

Resultados Experimentales

Los autores evalúan DAIF en tareas de control tabular y continuo:

Experimentos Tabulares (Latent RiverSwim): En un mundo de rejilla donde la dinámica relevante para la recompensa reside en un manifold latente 1D, DAIF supera significativamente a las líneas base tanto de modelo basado (PSRL-PI) como de distribución (IQQL) a medida que aumenta el horizonte de planificación. Cuando la abstracción de estado no ofrece ventaja (RiverSwim simple), DAIF se comporta de manera comparable al RL distribucional.
Control Continuo: DAIF fue probado en tres conjuntos de referencia:
- EvoGym: Locomoción y manipulación de robots blandos.
- DeepMind Control Suite (DMC): Control continuo con morfologías variables.
- DMC Vision: Control a partir de observaciones de píxeles brutos.
Rendimiento: DAIF alcanzó consistentemente un rendimiento de vanguardia en todos los conjuntos, particularmente en entornos con dinámicas complejas o espacios de estado de alta dimensión (por ejemplo, "Catcher-v0", "Dog Run", "Quadruped Run").
Eficiencia: Aunque DAIF requiere aproximadamente un 12% más de tiempo de ejecución (wall-clock time) que los actores-críticos distribucionales estándar, esta sobrecarga es menor que la de otros métodos basados en modelos o con fuerte exploración como DSAC (26%) y DRND (37%).

Significancia y Reivindicaciones

El artículo sostiene que la Inferencia Activa es particularmente poderosa cuando el agente tiene capacidades computacionales limitadas, reflejando las condiciones de los cerebros biológicos. Al presentar la AIF como una extensión simple del RL distribucional, los autores argumentan que las ganancias de rendimiento de la AIF (organización eficiente de la información sensorial para la planificación) pueden realizarse sin el costo prohibitivo de aprender modelos hacia adelante explícitos.

El trabajo sugiere que el "problema dual" de la organización sensorial y la planificación se resuelve mejor aprendiendo una representación latente donde la distribución de retorno esté comprimida y estructurada, en lugar de modelar la dinámica completa de transición del entorno. Los autores posicionan a DAIF no como un reemplazo para todo el RL, sino como un método robusto para controlar entornos desafiantes donde la eficiencia de muestreo y las restricciones computacionales son críticas. Reconocen limitaciones, señalando que DAIF no separa explícitamente los términos de valor epistémico e instrumental (dependiendo de la incertidumbre implícita en su lugar) y que el tamaño del cuello de botella latente es actualmente dependiente de la arquitectura en lugar de ser aprendido de forma adaptativa.