💬 NLP

A Behavioural and Representational Evaluation of Goal-Directedness in Language Model Agents

Este artículo propone un marco que combina las pruebas de comportamiento con el análisis de interpretabilidad para evaluar la orientación a objetivos en agentes de modelos de lenguaje, demostrando mediante un estudio de caso en un mundo de cuadrícula que, si bien los agentes exhiben un rendimiento robusto, sus representaciones internas de mapas espaciales y planes de acción experimentan una reorganización no lineal durante el razonamiento, lo que resalta la necesidad de un examen introspectivo más allá de la mera observación conductual.

Autores originales: Raghu Arghal, Fade Chen, Niall Dalton, Evgenii Kortukov, Calum McNamara, Angelos Nalmpantis, Moksh Nirvaan, Gabriele Sarti, Mario Giulianelli

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Raghu Arghal, Fade Chen, Niall Dalton, Evgenii Kortukov, Calum McNamara, Angelos Nalmpantis, Moksh Nirvaan, Gabriele Sarti, Mario Giulianelli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un amigo robot muy inteligente al que le encanta resolver laberintos. Le dices: "¡Encuentra la bandera verde!" y empieza a moverse. Pero aquí está la gran pregunta: ¿Realmente el robot sabe dónde está la bandera y planea llegar allí, o solo está adivinando y teniendo suerte?

Este artículo es como una historia de detectives donde los autores intentan averiguar exactamente cómo piensa este robot (un agente de Modelo de Lenguaje Extenso) mientras resuelve un laberinto. No se limitaron a observar lo que hacía el robot; también espiaron dentro de su "cerebro" para ver qué estaba pensando.

Aquí está el desglose de su investigación usando analogías sencicas:

1. La configuración: El robot en el laberinto

Los investigadores colocaron a un robot (llamado GPT-OSS-20B) en un mundo de cuadrícula digital, como un tablero de ajedrez gigante.

El Objetivo: El robot tiene que caminar desde un punto de partida hasta una meta.
Los Obstáculos: Hay paredes a través de las cuales no puede caminar.
La Prueba: Hicieron los laberintos más difíciles haciéndolos más grandes o llenándolos con más paredes.

2. Parte Uno: Observando los pies del robot (Evaluación Conductual)

Primero, los investigadores simplemente observaron al robot moverse. Compararon la trayectoria del robot con la "trayectoria perfecta" que calcularía un matemático humano.

El Hallazgo: El robot era bastante bueno. Cuando el laberinto era fácil, caminaba directo hacia la meta. Cuando el laberinto se volvía más difícil (más grande o con más paredes), cometía más errores, pero no se rendía ni deambulaba aleatoriamente. Seguía pareciendo que intentaba alcanzar la meta.
La Prueba del "Espejo": Tomaron un laberinto y lo voltearon como una imagen de espejo o lo rotaron. El robot seguía resolviéndolo igual de bien. Esto demostró que el robot no estaba simplemente memorizando patrones específicos; de hecho, comprendía el concepto del laberinto.
La Prueba de la "Distracción": Pusieron una "Llave" brillante en el laberinto.
- Escenario A: La Llave era necesaria para abrir una puerta cerrada para llegar a la meta. El robot comprendió esto perfectamente.
- Escenario B: La Llave era inútil (no había puerta). ¡El robot aun así se distrajo con ella! A menudo caminaba hacia la llave aunque no la necesitaba. Esto sugiere que el robot tiene un "hábito" de pensar que las llaves son importantes, incluso cuando no lo son.

3. Parte Dos: Escribiendo dentro del cerebro (Evaluación Representacional)

Observar los pies no es suficiente. El robot podría estar caminando hacia la meta por accidente. Así que los investigadores usaron una herramienta especial llamada "sonda" para leer los pensamientos internos del robot (sus señales cerebrales digitales) sin pedirle que hable.

Observaron dos momentos diferentes:

Antes de que el robot empiece a pensar: ¿Qué ve cuando mira el mapa por primera vez?
Después de que el robot piensa: ¿Qué ve justo antes de decidir moverse?

El "Mapa Cognitivo" (La Imagen Mental)
Descubrieron que el robot construye un mapa mental aproximado y difuso de la habitación.

Sabe aproximadamente dónde está y dónde está la meta.
No es una foto de alta definición y perfecta; es más bien un boceto. Sabe que la meta está "por allá en algún lugar", pero podría estar ligeramente desviado en las coordenadas exactas.
Descubrimiento Crucial: Cuando el robot comienza a "razonar" (pensar intensamente), este mapa difuso se vuelve más borroso. El robot deja de enfocarse en todo el mapa y comienza a enfocarse intensamente en el siguiente paso. Es como un conductor que deja de mirar toda la autopista y se enfoca totalmente en el auto que tiene justo enfrente antes de dar un giro.

El "Plan" (La Lista de Tareas)
También comprobaron si el robot mantenía un plan para los siguientes pasos en su cabeza.

Antes de pensar: El cerebro del robot sostenía un plan a largo plazo (una idea general de todo el camino).
Después de pensar: El plan a largo plazo se desvaneció, y el cerebro se volvió muy claro sobre el movimiento inmediato siguiente.
La Conclusión: El robot no solo reacciona; de hecho, mantiene un plan. Pero el acto de "pensar" cambia su cerebro de un "lector de mapas" a un "ejecutor paso a paso".

4. La Gran Conclusión

Los autores concluyen que para entender verdaderamente si un robot tiene una "dirección hacia un objetivo" (tiene un propósito), no puedes solo observar lo que hace. Tienes que mirar también dentro de su cerebro.

La Buena Noticia: El robot sí tiene un objetivo. Construye mapas mentales y planea pasos para alcanzar ese objetivo.
La Mala Noticia: Su mapa mental es un poco difuso, y a veces se distrae con cosas que parecen metas (como una llave) incluso cuando no lo son.
La Lección: Si queremos confiar en los agentes de IA en el futuro, necesitamos verificar tanto sus acciones como sus pensamientos internos para asegurarnos de que realmente están tratando de hacer lo que queremos, y no solo fingiendo o confundiéndose con las distracciones.

En resumen: El robot no es solo un caminante sin mente. Tiene un mapa, tiene un plan y sabe hacia dónde va, pero su mapa es un poco borroso y a veces se desvía por objetos brillantes.

Resumen Técnico: Una Evaluación Conductual y Representacional de la Orientación a Objetivos en Agentes de Modelos de Lenguaje

Declaración del Problema

Comprender los objetivos de un agente es esencial para explicar y predecir su comportamiento, sin embargo, no existe una metodología establecida para atribuir objetivos de manera fiable a sistemas agénticos, particularmente a los agentes de Modelos de Lenguaje Extensos (LLM). Las evaluaciones puramente conductuales enfrentan limitaciones fundamentales: un fallo constante puede reflejar restricciones de capacidad en lugar de una falta de orientación a objetivos (goal-directedness); asimismo, un comportamiento alineado puede emerger de objetivos internos desalineados (convergencia instrumental). Por el contrario, los análisis puramente internos sin fundamentación conductual pueden no capturar cómo los agentes interactúan realmente con su entorno. Este artículo aborda la necesidad de un marco holístico que integre la evaluación conductual con análisis de interpretabilidad de las representaciones internas para caracterizar cómo los agentes representan y persiguen objetivos.

Metodología

Los autores proponen un marco de "caja blanca" que combina la evaluación conductual con el sondeo de activaciones (activation probing), probado en un agente GPT-OSS-20B que navega en un mundo de cuadrícula 2D totalmente observable (entorno MiniGrid).

1. Configuración Experimental

Entorno: El agente opera en cuadrículas de $n \times n$ ( $n \in \{7, 9, 11, 13, 15\}$ ) con densidades de obstáculos variables ( $d \in [0, 1]$ ). La tarea consiste en navegar desde una posición inicial hasta un estado objetivo.
Observabilidad: El entorno es totalmente observable para eliminar confusiones relacionadas con la memoria, la actualización de creencias bajo incertidumbre y los compromisos entre exploración y explotación.
Representación de Entrada: Las cuadrículas se convierten en representaciones basadas en texto donde cada celda corresponde a un único token para mitigar problemas de tokenización.
Línea Base: Se deriva una política óptima ( $\pi^*$ ) utilizando la búsqueda A* con distancia Manhattan.

2. Evaluación Conductual

Los autores evalúan la política del agente ( $\pi_\theta$ ) frente a la política óptima a través de varias dimensiones:

Dificultad de la Tarea: Las métricas incluyen precisión por acción, entropía de la política y la Divergencia de Jensen-Shannon (JSD) respecto a la política óptima.
Transformaciones de Iso-dificultad: Para probar la robustez ante propiedades incidentales de la cuadrícula, los autores aplican transformaciones que preservan la dificultad de la tarea (tamaño de cuadrícula, densidad de obstáculos, longitud del camino óptimo) pero alteran la configuración: reflexión, rotación, intercambio de inicio/objetivo y transposición.
Estructuras de Objetivos Complejos:
- Objetivos Instrumentales: Tareas que requieren subobjetivos intermedios (por ejemplo, recoger una llave para abrir una puerta).
- Objetivos Implícitos: Tareas que contienen objetos con apariencia de objetivo que son funcionalmente irrelevantes (por ejemplo, una llave sin puerta).

3. Evaluación Representacional (Sondeo)

Los autores extraen activaciones del flujo residual de capas intermedias (7, 15, 23) en puntos específicos: pre-razonamiento (antes de que el modelo genere tokens de razonamiento) y post-razonamiento (después del razonamiento, antes de la selección de la acción).

Mapas Cognitivos: Se entrenan sondas lineales y MLP para decodificar tipos de celdas (pared, abierto, agente, objetivo) a partir de las activaciones, reconstruyendo el "creencia" interna del agente sobre el estado de la cuadrícula.
Decodificación de Planes: Se entrena un decodificador Transformer para predecir secuencias de acciones de múltiples pasos ( $T=10$ ) a partir de un conjunto fijo de activaciones mediante un enfoque de decodificación de un solo paso (one-shot) para asegurar que la estructura del plan esté codificada en el modelo base y no en la sonda.
Intervención: Se realizaron experimentos preliminares de parcheo de activaciones (activation patching) para probar los vínculos causales entre las representaciones y las acciones.

Resultados Clave

Hallazgos Conductuales

Sensibilidad a la Dificultad: La precisión por acción disminuye monótonamente con el tamaño de la cuadrícula y la densidad de obstáculos, mientras que la entropía y la JSD aumentan. El rendimiento es robusto únicamente en cuadrículas de gran tamaño respecto a la distancia al objetivo.
Robustez a las Transformaciones: El rendimiento del agente no muestra una diferencia estadísticamente significativa a través de las transformaciones de iso-dificultad (reflexión, rotación, etc.), lo que indica que el comportamiento es impulsado por información relevante para la tarea y no por sesgos de configuración de la cuadrícula.
Estructuras de Objetivos:
- El agente gestiona con éxito los objetivos instrumentales (100% de éxito en KeyDoorEnv).
- El agente es susceptible a los objetivos implícitos: En KeyNoDoorEnv (donde la llave es inútil), el agente recoge la llave en el 17% de las trayectorias, y el 75% de las acciones no óptimas se mueven hacia la llave. En 2PathKeyEnv, el agente muestra un sesgo hacia el camino que contiene una llave vestigial, reduciendo ligeramente las tasas de éxito general.

Hallazgos Representacionales

Mapas Cognitivos: El agente codifica de forma no lineal un mapa espacial grueso. Las sondas MLP logran un ~70% de precisión en la decodificación de identidades de celdas, con alta recuperación para las posiciones de agente y objetivo (83–99%), pero menor precisión debido al "desenfoque" (asignación de etiquetas a celdas vecinas). La información de las paredes es menos detallada.
Reorganización del Razonamiento:
- Pre-razonamiento: Las activaciones preservan pistas espaciales más amplias y planes de largo horizonte.
- Post-razonamiento: Las activaciones cambian el enfoque hacia la selección de la acción inmediata. La precisión del mapa cognitivo disminuye significativamente (de ~75% a ~60%) tras el razonamiento, sugiriendo una reorganización de las representaciones alejándose de la estructura espacial decodificable hacia una codificación específica de la acción.
Decodificación de Planes:
- La decodificación de un solo paso revela que las activaciones de pre-razonamiento contienen una estructura de trayectoria de largo horizonte recuperable (mejor para prefijos $N \ge 5$ ).
- Las activaciones de post-razonamiento son superiores para la selección de la acción inmediata (mejor para $N=1$ ).
- Un decodificador de 2 capas es el que mejor funciona en general, lo que sugiere que la información de acción inmediata es accesible para lecturas de baja capacidad, mientras que la estructura de múltiples pasos requiere más capacidad.
Consistencia: Una fracción sustancial de las acciones subóptimas en la cuadrícula real son óptimas respecto al mapa cognitivo decodificado (Tasa de recuperación: 37.4%–88.4%). Esto sugiere que muchos fallos provienen de modelos de mundo internos (imperfectos) en lugar de una falta de orientación a objetivos.
Límites de la Intervención: El parcheo de activación de una sola capa no logró alterar las acciones. Solo el parcheo simultáneo en todas las capas cambió con éxito la acción predicha por el modelo, lo que indica que la información de estado relevante para la tarea está distribuida en lugar de localizada.

Contribuciones

Marco de Trabajo: Propone un marco unificado que combina la evaluación conductual y el sondeo de representaciones para evaluar la orientación a objetivos.
Diseño Experimental: Introduce perturbaciones controladas del entorno (transformaciones de iso-dificultad) y estructuras de múltiples objetivos para medir el sesgo y la robustez.
Información sobre Mecanismos: Demuestra que los agentes de LLM codifican mapas cognitivos y planes de múltiples pasos, y que el razonamiento reorganiza estas representaciones de pistas espaciales/de largo horizonte hacia la selección de la acción inmediata.
Análisis de Coherencia: Muestra que las desviaciones conductuales de la optimalidad a menudo se alinean con las creencias internas (imperfectas) del agente, lo que requiere un examen introspectivo más allá de las métricas de rendimiento superficiales.

Significado y Afirmaciones

El artículo argumenta que se requiere un examen introspectivo más allá de las evaluaciones conductuales para caracterizar completamente la orientación a objetivos. Los autores afirman que:

La orientación a objetivos es una propiedad rica que surge de la interacción entre creencias, planificación y selección de acciones.
Las métricas puramente conductuales pueden verse confundidas por limitaciones de capacidad o por objetivos internos desalineados que producen un comportamiento alineado de forma instrumental.
El "sesgo" observado hacia objetos con apariencia de objetivo pero irrelevantes (llaves) puede reflejar un conflicto entre el prompt de la tarea explícita y las asociaciones semánticas adquiridas durante el pre-entrenamiento (por ejemplo, las llaves implican progreso), las cuales no se suprimen de manera consistente.
El marco proporciona una base para desarrollar enfoques rigurosos de atribución de objetivos, lo cual es un requisito previo para las afirmaciones de seguridad respecto a los sistemas de IA autónomos.

Los autores mantienen la modestia, señalando que su configuración controlada abstrae la complejidad del mundo real y que establecer vínculos causales mediante el parcheo de activaciones sigue siendo un desafío abierto. No pretenden haber resuelto el problema de la alineación, sino haber proporcionado un paso metodológico hacia la comprensión de la mecánica interna de la persecución de objetivos en los agentes de LLM.