🤖 AI

World models of environment, agent and joint agent-environment systems

Este artículo propone un marco que utiliza la mecánica computacional para distinguir y definir modelos predictivos canónicos para el entorno, el agente y su interacción conjunta, demostrando cómo el acoplamiento de bucle cerrado y la restricción de soporte pueden alterar fundamentalmente la estructura y la complejidad de estos modelos de mundo.

Autores originales: Manuel Baltieri, Filippo Torresan, Yivan Zhang, Alexander Boyd, Fernando E. Rosas

Publicado 2026-08-24

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Manuel Baltieri, Filippo Torresan, Yivan Zhang, Alexander Boyd, Fernando E. Rosas

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En la era moderna de la inteligencia artificial, un desafío central es enseñar a las máquinas a comprender el mundo que las rodea. Para tomar decisiones, un agente inteligente —ya sea un robot, un programa de software o un cerebro digital— necesita un "modelo de mundo". Este no es un globo físico, sino un mapa interno o un conjunto de reglas que le permite al sistema predecir qué sucederá después. Si un robot sabe que presionar un botón usualmente abre una puerta, posee un modelo simple de esa interacción. Durante décadas, los investigadores se han centrado en cómo estos modelos predicen el futuro basándose en lo que el agente hace. Se preguntan: "Si tomo esta acción, ¿qué veré?". Este enfoque ha sido increíblemente exitoso, permitiendo que las máquinas aprendan tareas complejas mediante la simulación de resultados antes de actuar. Sin embargo, esta visión tradicional asume que el modelo se construye únicamente para entender el entorno como un escenario pasivo esperando los movimientos del agente. Trata el comportamiento del propio agente como una entrada fija en lugar de una parte dinámica de la historia.

Un equipo de investigadores ha propuesto ahora una forma más matizada de observar estos modelos. Argumentan que, para entender verdaderamente cómo piensa una inteligencia artificial, debemos distinguir no solo qué predice, sino qué canal de información está modelando. En cualquier interacción entre un agente y su entorno, existen tres formas distintas de ver el flujo de causa y efecto. Primero, existe la visión del entorno, que predice qué se verá dada una acción específica. Segundo, existe la visión del propio agente, que predice qué acción tomará a continuación dado lo que ve. Tercero, existe la visión de todo el sistema trabajando en conjunto, prediciendo la secuencia real de acciones y observaciones que se desarrolla cuando ambos están trabados en un bucle. Los investigadores utilizaron un marco matemático conocido como mecánica computacional para definir los modelos más eficientes y mínimos para cada una de estas tres perspectivas. Su trabajo revela que estos modelos son estructuras fundamentalmente diferentes, no solo variaciones de lo mismo.

El hallazgo más sorprendente de esta investigación concierne a lo que sucede cuando un agente está operando realmente en un bucle cerrado con su entorno. En teoría, un agente podría imaginar cada acción posible que podría realizar, incluso aquellas que nunca elegiría ejecutar. Un modelo construido sobre esta visión "no restringida" debe dar cuenta de cada posibilidad contrafáctica. Los investigadores descubrieron que, para muchos sistemas, un modelo no restringido es increíblemente complejo, requiriendo a veces un número infinito de estados internos para rastrear todas las posibilidades. Sin embargo, cuando observaron el modelo que solo considera las acciones que el agente realmente toma —las acciones "soportadas"— la imagen cambió drásticamente. Demostraron que el modelo del comportamiento real del agente está siempre determinado por el modelo del sistema conjunto. En otras palabras, las complejas e infinitas posibilidades del entorno colapsan en una estructura mucho más simple y finita cuando se ven a través del lente de las elecciones reales del agente.

Para ilustrar esto, los investigadores construyeron un ejemplo específico que involucra un entorno binario simple y un controlador con una memoria limitada. En este escenario, el entorno tiene un estado oculto que puede ser cero o uno. Ciertas acciones reinician este estado aleatoriamente, mientras que otras mantienen el mismo. Si se intenta construir un modelo que prediga el comportamiento del entorno para cualquier secuencia posible de acciones, el modelo se vuelve infinitamente grande. Esto se debe a que un agente podría teóricamente mantener el estado fijo durante un tiempo arbitrariamente largo, creando un número infinito de estados de creencia únicos. Pero cuando los investigadores introdujeron un controlador específico que solo realiza un conjunto limitado de acciones —reiniciando el estado ocasionalmente y manteniéndolo por un número fijo y corto de pasos antes de reiniciar de nuevo— la complejidad desapareció. El modelo del entorno, restringido solo a las acciones que el controlador realmente realiza, se volvió finito y manejable. Las posibilidades "infinitas" simplemente nunca se realizaron en la interacción real.

Esta distincción es crucial para comprender lo que una IA está aprendiendo realmente. Los investigadores demostraron que el estado interno que una IA utiliza para tomar decisiones no es necesariamente un mapa de todo el mundo posible. En cambio, es a menudo un mapa de las interacciones específicas que ha experimentado. El modelo del entorno, cuando se restringe al comportamiento real del agente, es una versión simplificada del proceso conjunto completo. Los investigadores demostraron que los estados de este modelo simplificado se derivan directamente de los estados del sistema conjunto. Esto significa que la complejidad del modelo de mundo de un agente no es una propiedad inherente del entorno por sí solo, sino un resultado del acoplamiento específico entre el agente y el mundo. Si el agente está limitado en lo que puede hacer, su modelo del mundo es correspondiente y proporcionalmente limitado y más simple.

Las implicaciones de este trabajo se extienden a cómo interpretamos y confiamos en la inteligencia artificial. Si queremos saber qué cree una IA sobre su mundo, no podemos simplemente observar sus predicciones en el vacío. Debemos preguntarnos: ¿está prediciendo el entorno bajo todas las acciones posibles, o está prediciendo el entorno basándose en la política específica que está siguiendo? Los investigadores argumentan que estos son dos problemas diferentes que requieren dos modelos distintos. Una IA puede tener una representación interna muy simple del mundo porque solo experimenta una pequeña porción de la realidad. Esto no significa que la IA sea "tonta" o que el mundo sea simple; significa que el modelo de la IA está adaptado a su rol específico en el sistema. Al separar el modelo del entorno, el modelo del agente y el modelo del proceso conjunto, los investigadores proporcionan un lenguaje más claro para describir lo que estos sistemas están haciendo realmente.

Este enfoque también clarifica la diferencia entre planificación y aprendizaje. Cuando un agente aprende de los datos, a menudo está aprendiendo de un conjunto específico de interacciones, no de cada interacción posible. El marco de los investigadores nos permite ver que el modelo aprendido de estos datos es un modelo "restringido por soporte". Es válido y preciso para las situaciones que el agente enfrentará realmente, incluso si falla en describir el panorama teórico completo del entorno. Esto ayuda a explicar por qué algunos sistemas de IA funcionan bien en la práctica a pesar de tener modelos que parecen incompletos o simplificados desde un punto de vista teórico. No están tratando de modelar lo imposible; están modelando lo real.

El estudio concluye que la estructura de un modelo de mundo no es fija, sino que es moldeada por la interacción misma. La forma en que un agente y un entorno están acoplados determina la complejidad del modelo requerido para predecir su futuro. Esto desafía la idea de que existe un único y perfecto modelo del mundo que un agente debería esforzarse por aprender. En cambio, el "mejor" modelo depende de la pregunta que se esté formulando. Si la pregunta es "¿qué sucede si hago X?", la respuesta puede requerir un modelo complejo. Pero si la pregunta es "¿qué sucede después dado que estoy haciendo Y?", la respuesta puede encontrarse en una estructura mucho más simple. Al definir estos modelos con precisión, los investigadores han proporcionado una herramienta para comprender mejor la mecánica de la inteligencia, mostrando que la complejidad de la mente de una máquina es a menudo un reflejo de las limitaciones de su cuerpo y de su mundo.

Resumen Técnico: Modelos de Mundo del Entorno, el Agente y los Sistemas Conjuntos Agente-Entorno

Planteamiento del Problema

Los modelos de mundo son centrales en el aprendizaje por refuerzo (RL) basado en modelos, pero sus definiciones formales suelen variar según las variables específicas que predicen (por ejemplo, observaciones, recompensas, estados latentes). Los autores argumentan que existe una distinción más fundamental: qué canal representa un modelo de mundo. En las interacciones agente-entorno, los modelos se discuten típicamente como representaciones del entorno, pero los agentes también pueden modelarse a sí mismos, a otros agentes o al sistema acoplado. Sin distinguir el canal subyacente, es difícil aclarar qué representa realmente un estado latente aprendido (por ejemplo, una creencia sobre el entorno frente a una representación del comportamiento de la política) o comparar la complejidad y los niveles de abstracción de diferentes modelos.

El artículo aborda la necesidad de distinguir formalmente entre tres canales predictivos distintos:

El Canal del Entorno ( $O_{:} | A_{:}$ ): Predecir observaciones futuras dadas futuras acciones.
El Canal del Agente ( $A_{:} | O_{:}$ ): Predecir acciones futuras dadas observaciones futuras.
El Proceso Conjunto ( $(A, O)_{:}$ ): Predecir las trazas acopladas de acción-observación realizadas, visto como un canal de entrada nula.

Los autores destacan que estos canales inducen diferentes relaciones de equivalencia causal, lo que conduce a diferentes nociones de abstracción, complejidad del modelo y utilidad. Además, los modelos "no restringidos" estándar suelen considerar entradas contrafácticas que podrían no ocurrir nunca en una interacción de bucle cerrado específica, lo que podría conducir a espacios de estados innecesariamente complejos o infinitos en comparación con los modelos restringidos al soporte real de la interacción.

Metodología

El artículo emplea la mecánica computacional para definir modelos predictivos canónicos para los tres canales. Las herramientas centrales son las $\epsilon$ -máquinas (para procesos autónomos) y las $\epsilon$ -transductores (para procesos de entrada-salida), que proporcionan representaciones únicas, mínimas y unifilares de procesos estocásticos.

1. Modelos No Restringidos Canónicos

Los autores definen modelos canónicos basados en la relación de equivalencia sobre las historias de acción-observación ( $h_{:t}$ ):

Modelo de Entorno Canónico: Definido por la relación de equivalencia $\sim_E$ , donde dos historias son equivalentes si asignan la misma distribución de probabilidad a todas las secuencias de observaciones futuras bajo todas las posibles continuaciones de acciones futuras. Esto recupera las Representaciones de Estado Predictivo (PSRs) como $\epsilon$ -transductores.
Modelo de Agente Canónico: Definido por $\sim_M$ , donde las historias son equivalentes si predicen las mismas sec sequences de acciones futuras bajo todas las posibles continuaciones de observaciones futuras. Esto sirve como un modelo de estado predictivo canónico para el comportamiento de la política o el controlador.
Modelo Conjunto Canónico: Definido por $\sim_J$ , donde las historias son equivalentes si predicen las mismas trazas de acción-observación futuras para el proceso autónomo realizado. Esto corresponde a la $\epsilon$ -máquina del sistema acoplado.

Los autores demuestran que estos tres modelos son generalmente distintos. Los estadísticos suficientes mínimos para predecir observaciones futuras (modelo de entorno) difieren de aquellos para predecir acciones futuras (modelo de agente) o la traza conjunta (modelo conjunto). En consecuencia, los espacios de estados de estos modelos no necesariamente coinciden ni se relacionan mediante construcciones de producto simples.

2. Modelos Restringidos al Soporte Canónicos

Para abordar el problema de la complejidad contrafáctica, el artículo introduce modelos canónicos restringidos al soporte. Estos modelos son inducidos por un acoplamiento de bucle cerrado específico (por ejemplo, una política fija interactuando con un entorno).

Restricción de Soporte: La equivalencia predictiva se define solo sobre las continuaciones de entrada futuras que están soportadas por el proceso conjunto realizado.
Totalización: Para consultas no soportadas (acciones que el agente no puede tomar, o observaciones que el entorno no puede generar), el modelo emite un símbolo sumidero especial $\perp$ .
Construcción: Los autores definen un canal de entorno restringido al soporte $\tilde{O}_{:} | A_{:}$ y un canal de agente $\tilde{A}_{:} | O_{:}$ (dual). Los modelos canónicos para estos canales se construyen como $\epsilon$ -transductores con un estado sumidero de totalización.

3. Resultados Estructurales

Una contribución teórica clave es la relación entre el Modelo Conjunto y los Modelos de Entorno/Agente Restringidos al Soporte.

Factorización: Los estados causales no-sumidero del modelo de entorno restringido al soporte factorizan a través de los estados causales del modelo conjunto canónico.
Inducción: La estructura de transición del modelo de entorno restringido al soporte se induce directamente del modelo conjunto.
Dualidad: La construcción del lado del agente es el dual de la construcción del lado del entorno.

Esto implica que la complejidad del modelo restringido al soporte está acotada por la complejidad del modelo conjunto, mientras que el modelo de entorno no restringido puede ser significativamente más complejo (o infinito) si la política restringe el espacio de acciones.

Contribuciones Clave

Caracterización Basada en Canales: El artículo propone un marco sistemático para categorizar los modelos de mundo según el canal que modelan (entorno, agente o conjunto) en lugar de solo las variables que predicen. Esto clarifica el significado semántico de los estados latentes aprendidos.
Definiciones Canónicas: Proporciona definiciones formales para los modelos de agente y de conjunto canónicos utilizando $\epsilon$ -transductores y $\epsilon$ -máquinas, extendiendo el concepto de Representaciones de Estado Predictivo (PSRs) más allá del canal del entorno.
Modelos Restringidos al Soporte: Introduce y formaliza los modelos restringidos al soporte inducidos por el acoplamiento de bucle cerrado. Estos modelos distinguen entre el modelado de mundo contrafáctico y la predicción condicionada por la política, manejando las consultas no soportadas mediante un sumidero de totalización.
Teoremas Estructurales: El artículo demuestra que el modelo de entorno restringido al soporte está totalmente determinado por el modelo conjunto canónico. Específicamente, los estados no-sumidero del modelo restringido son cocientes de los estados causales conjuntos, y sus transiciones son inducidas por la dinámica conjunta.
Separación de Complejidad: A través de un ejemplo binario, los autores muestran que un modelo de entorno no restringido puede tener infinitos estados (debido a la acumulación de creencias ilimitada bajo acciones arbitrarias), mientras que el modelo restringido al soporte inducido por un acoplamiento de controlador de estado finito permanece finito.

Resultados

Distinción Teórica: Los tres modelos canónicos (entorno, agente, conjunto) poseen generalmente diferentes espacios de estados y estructuras de transición porque resuelven diferentes problemas de predicción (predecir $O$ dado $A$ , $A$ dado $O$ , o $(A,O)$ dado nada).
Teorema de Factorización: El Teorema 16 establece que el mapa de los estados causales conjuntos a los estados del entorno restringidos al soporte es sobreyectivo. Esto significa que el modelo de entorno restringido al soporte no puede ser más complejo que el modelo conjunto (más un estado sumidero).
Finito vs. Infinito: En el ejemplo proporcionado (Ejemplo 9), el modelo de entorno no restringido es infinito porque las secuencias arbitrarias de acciones de "espera" (hold) generan creencias posteriores infinitamente distintas. Sin embargo, cuando se acopla con un controlador de estado finito que limita la duración de las secuencias de "espera", el modelo de entorno resultante restringido al soporte es finito. Esto demuestra que los modelos compactos aprendidos de ejecuciones (on-policy) no necesitan representar la totalidad de la dinámica contrafáctica del entorno.

Significancia y Reclamaciones

El artículo afirma clarificar el estatus ontológico de los modelos de mundo en IA y RL. Al identificar explícitamente el canal, los investigadores pueden interpretar mejor qué codifica una representación aprendida:

Interpretabilidad: Proporciona objetivos de referencia para la interpretabilidad mecánica. Uno puede preguntar si un estado latente es un estado del canal del entorno, del canal del agente o del proceso conjunto.
Gestión de la Complejidad: Explica por qué los modelos aprendidos de políticas específicas (on-policy) pueden ser más simples que la verdadera dinámica del entorno. El marco de soporte restringido formaliza la idea de que un agente solo necesita modelar las interacciones que realmente realiza, no todas las posibilidades contrafácticas.
Marco Unificado: Unifica conceptos de representaciones de estado predictivo, destilación de políticas, controladores de estado finito y agencia embebida bajo un único marco de mecánica computacional.

Los autores mantienen un alcance modesto, centrándose en la caracterización formal de estos modelos y sus relaciones estructurales. Sugieren que trabajos futuros podrían aplicar estas definiciones para analizar modelos de IA entrenados (por ejemplo, transformadores) para identificar tipos específicos de creencias (ambientales vs. autorreferenciales) utilizando presentaciones de estado mixto, pero el presente artículo establece la base teórica para tal análisis.