🤖 AI

Context Assembly as the Controlled Variable: A Control-Theoretic View of Harness Policies for Frozen LLM Agents

Este artículo propone un marco de teoría de control para agentes de LLM congelados que trata el ensamblaje del contexto como la variable controlada, utilizando una política externa en línea para optimizar dinámicamente los componentes del prompt mientras proporciona garantías formales de estabilidad y calibración de incertidumbre.

Autores originales: Debjyoti Paul

Publicado 2026-07-29

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Debjyoti Paul

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El arte del prompt perfecto: Una historia de la teoría de control

Imagina que estás tratando de enseñarle a un robot brillante, pero increíblemente obstinado, cómo resolver un misterio. Este robot es una IA, y está "congelado", lo que significa que su cerebro está tallado en piedra; no puedes recablear sus neuronas ni enseñarle nuevos hechos. Sabe mucho, pero no sabe cómo usar ese conocimiento para tu rompecabezas específico a menos que le des las instrucciones adecuadas. En el mundo de la Inteligencia Artificial, esta configuración se llama "agente". Durante mucho tiempo, los investigadores han intentado descubrir cómo hacer que estos agentes sean fiables, tratándolos como máquinas que necesitan ser dirigidas. Utilizan ideas de la "teoría de control", que es básicamente la ciencia de mantener las cosas estables y en el camino correcto, como un sistema de control de crucero en un coche que ajusta constantemente el acelerador para mantener la velocidad constante, o cómo un termostato ajusta el calor para mantener una habitación confortable.

La gran pregunta que este artículo aborda es: ¿Qué deberíamos estar dirigiendo exactamente? La mayoría de la gente ha estado intentando controlar qué hace el robot a continuación (como qué herramienta tomar) o con quién habla. Pero este artículo sugiere que la verdadera magia ocurre incluso antes de que el robot empiece a moverse. Se trata de controlar el "contexto": las instrucciones específicas, los ejemplos que le muestras y la cantidad de información de trasfondo que le suministras. Piensa en ello como un chef que no puede cambiar el libro de recetas (la IA congelada), pero puede cambiar los ingredientes, la iluminación en la cocina y las notas sobre el mostrador para obtener el plato perfecto. Los autores quieren saber si podemos construir un sistema inteligente que determine automáticamente la mejor manera de configurar estas instrucciones sobre la marcha, y si ese sistema es lo suficientemente estable como para ser confiable.

La gran idea del artículo: Dirigir la configuración, no al robot

Este artículo, escrito por Debjyoti Paul en julio de 2026, propone una nueva forma de ver a los agentes de IA. En lugar de intentar controlar las acciones del robot directamente, los autores sugieren controlar el ensamblaje del contexto (context assembly). En lenguaje sencillo, esto significa controlar la "configuración" del prompt: qué plantilla usar, qué pocos ejemplos mostrarle a la IA, cuánta información recuperar de una base de datos y cuántas veces la IA debe revisar su propio trabajo.

Los autores imaginan un sistema de dos partes. La primera parte es el agente de IA "congelado": el robot que realmente realiza el trabajo. La segunda parte es un "arnés" o controlador situado fuera del robot. Este controlador es un aprendiz inteligente (usando métodos como un "contextual bandit" o una política "REINFORCE") que experimenta constantemente con diferentes configuraciones para ver cuál obtiene mejores resultados. Es como un director de escena que no puede cambiar las líneas del actor (porque el actor está congelado), pero puede cambiar la iluminación, la utilería y las notas del guion para ayudar al actor a actuar mejor.

Lo que encontraron: Un baño de realidad

Los autores no solo soñaron con esta idea; la probaron para ver si realmente funciona y si es estable. Realizaron experimentos con una configuración específica donde el controlador tenía que elegir entre 729 configuraciones posibles (una combinación de diferentes estilos de prompt, herramientas, políticas de memoria y pasos de verificación). Realizaron estas pruebas durante 60 episodios (intentos) por ejecución, sumando un total de 240 episodios a través de diferentes semillas.

Aquí está la verdad honesta sobre lo que encontraron:

1. La prueba de estabilidad (¿Está mejorando?)
Los autores querían ver si el controlador estaba aprendiendo a mejorar con el tiempo, un concepto que llaman "estabilidad". En un mundo perfecto, el rendimiento del controlador debería subir o mantenerse igual a medida que aprende. Sin embargo, sus datos mostraron algo diferente. Durante los 60 episodios que probaron, el rendimiento en realidad tendió ligeramente a la baja o se mantuvo plano en la mayoría de las ejecuciones. Tres de las cuatro ejecuciones de prueba mostraron una pendiente ligeramente negativa.

Los autores explican que esto no es necesariamente un fallo de su idea, sino una limitación del tamaño de la prueba. Argumentan que, con 729 opciones posibles para elegir, 60 episodios simplemente no es tiempo suficiente para que el controlador aprenda los rudimentos. Es como intentar aprender un enorme catálogo de 729 idiomas diferentes en solo unos pocos días; no has tenido tiempo suficiente para practicar lo necesario para ser bueno. Señalan que incluso con 300 episodios (cinco veces más que su prueba de estabilidad), su artículo complementario encontró que el sistema aún no podía superar a una línea base estática y preestablecida. La conclusión es que el sistema se encuentra actualmente en un régimen de "submuestreo": es un tamaño de muestra demasiado pequeño para demostrar la teoría a largo plazo, a pesar de que la teoría en sí misma tiene sentido.

2. La prueba de confianza (¿Sabe cuándo está adivinando?)
Lo segundo que comprobaron fue la "calibración de la incertidumbre". Esto pregunta: ¿Sabe el controlador cuándo tiene confianza y cuándo no está seguro? En un escenario del mundo real, si la IA no está segura, debería pedir la intervención de un humano.

Los resultados aquí fueron bastante sorprendentes y un poco caóticos. La puntuación de "confianza" del controlador (basada en la probabilidad que le asignaba a su elección) era extremadamente baja —alrededor de 0.0014— mientras que la tasa de éxito real de las tareas era mucho mayor, alrededor del 0.64 (64%) y 0.58 (58%). Esta es una brecha enorme, de aproximadamente dos órdenes de magnitud.

Los autores explican que esto no es un error en el aprendizaje, sino un problema matemático. Debido a que hay 729 opciones, la probabilidad de elegir cualquiera de ellas es naturalmente diminuta (aproximadamente 1/729, o 0.0014). Por lo tanto, el controlador parece "inseguro" todo el tiempo, incluso cuando elige la respuesta correcta. Esto significa que si intentaras usar este número de confianza bruto para decidir cuándo pedir ayuda a un humano, no funcionaría: llamarías a un humano para cada tarea, incluso para las fáciles. El artículo sugiere que, para solucionar esto, sería necesario recalibrar la señal de confianza (quizás observando la brecha entre las dos mejores opciones en lugar de la probabilidad bruta), pero admiten que aún no han probado esa solución.

La conclusión final

Este artículo no pretende haber resuelto el problema del control de la IA. En cambio, ofrece una mirada muy específica y honesta a una nueva forma de pensar: controlar el contexto en lugar de la acción. Argumenta que, si bien esta es una idea prometedora y distinta, los experimentos actuales muestran que estamos chocando contra un muro porque el espacio de posibilidades (729 configuraciones) es demasiado grande para la cantidad de datos que podemos recolectar de forma realista en un día.

Los autores son cuidadosos de no llamar a esto un gran avance. Expresan explícitamente que sus resultados de estabilidad están "dominados por el ruido" y que sus señales de confianza son actualmente "poco informativas" sin arreglos adicionales. Básicamente, están diciendo: "Aquí hay una nueva palanca que tirar, pero en este momento, no hemos practicado suficientes swings para saber si funciona perfectamente, y nuestra forma actual de medir la confianza está rota". Es un llamado a la necesidad de más datos y mejores métodos de calibración, en lugar de una declaración de victoria.

Resumen Técnico: El Ensamblaje de Contexto como la Variable Controlada

Planteamiento del Problema

Si bien la aplicación de la teoría de control a los agentes de Modelos de Lenguaje Extensos (LLM) es un campo establecido a mediados de 2026, la literatura existente se centra principalmente en el control de acciones discretas específicas o en el enrutamiento del sistema. Trabajos previos han tratado la selección de herramientas (Anónimo [2026]), la selección de acciones en universos discretos masivos (Majumdar [2026]) o el enrutamiento de mensajes entre agentes (Nogueira y Skogestad [2026]) como las variables controladas.

Este artículo sostiene que estos enfoques pasan por alto una variable controlada distinta y prácticamente crítica: el ensamblaje de contexto (context assembly). Esto se refiere a la configuración dinámica de la plantilla de prompt, las demostraciones de few-shot, el volumen de contexto recuperado y el número de pasadas de planificación o verificación. A diferencia de los flujos de acciones puras o los catálogos de herramientas, el ensamblaje de contexto es el conjunto específico de parámetros que un ingeniero de harness edita manualmente hoy en día. El artículo postula que esta variable es lo suficientemente pequeña como para ser enumerable, pero lo suficientemente compleja como para requerir aprendizaje en línea, y puede ser optimizada por un controlador ligero (bandido contextual o REINFORCE) situado fuera de un LLM congelado.

Metodología

Descomposición Formal

El sistema se descompone en dos políticas distintas:

Política Interna ( $\pi_\theta$ ): Un modelo LLM congelado que genera acciones $a_t$ dado un estado $s_t$ y una configuración de contexto $C_t$ . Los pesos del modelo $\theta$ nunca se actualizan.
Política Externa ( $\pi_\phi$ ): Un controlador aprendible que selecciona la configuración de contexto $C_t$ $C_{t}$ de un espacio fijo y enumerable $\mathcal{C}$ $C$ basado en la tarea $x_t$ $x_{t}$ y el historial de interacción $h_t$ $h_{t}$ .
- En la instanciación del artículo, $|\mathcal{C}| = 729$ , factorizado a través de estilo de prompt, política de herramientas/recuperación, política de memoria, política de planificación, política de verificación y presupuesto de pasos.
- La política externa está parametrizada ya sea como una función de valor lineal (para un bandido contextual) o como una política softmax (para REINFORCE).

Objetivo de Optimización

La política externa se optimiza para maximizar una función de recompensa multiobjetivo mientras se mantiene $\theta$ fijo:
$\max_\phi \mathbb{E} [R_{task} + \lambda_v R_{verify} + \lambda_p R_{policy} - \lambda_c C_{tokens} - \lambda_\ell C_{latency} - \lambda_h P_{unsupported}]$
Este objetivo equilibra el éxito de la tarea, la calidad de la verificación y la adherencia a la política frente a los costos de uso de tokens, latencia y operaciones no soportadas.

Análisis de Estabilidad y Calibración

El artículo evalúa el controlador utilizando dos lentes específicos de la teoría de control:

Estabilidad Empírica: Adoptando la definición de Zhang et al. [2026], la estabilidad se define como la recompensa esperada no decreciente sobre una ventana deslizante a medida que se acumulan los episodios. Esta es una afirmación más débil y medible que la estabilidad asintótica de Lyapunov, adecuada para el aprendizaje en línea donde el "estado" es un conjunto de pesos aprendidos.
Calibración de Incertidumbre: El artículo analiza si la confianza del controlador (definida como la probabilidad softmax de la acción seleccionada) se correlaciona con el éxito real de la tarea. Esto es crítico para escenarios de escalada humana, donde una baja confianza debería predecir el fallo.

Resultados Clave

1. Estabilidad Empírica

Los autores realizaron un experimento instrumentado utilizando 240 episodios con controladores de tipo bandido y REINFORCE en un dominio de uso de herramientas (Ollama qwen2.5:7b).

Hallazgo: Los resultados empíricos no confirmaron la proposición teórica de recompensa no decreciente dentro del presupuesto de 60 episodios por semilla.
Análisis: Los ajustes lineales de la recompensa contra el índice del episodio mostraron tendencias ligeramente negativas o planas para tres de cuatro ejecuciones. Los autores atribuyen esto no a un fallo de la lógica, sino al régimen de submuestreo. Con un espacio de acción de 729 configuraciones, 60 episodios son insuficientes para que las estimaciones corrientes se concentren (un régimen identificado como $\Omega(M)$ en Majumdar [2026]). Los resultados caracterizan la dificultad de aprender en este espacio con presupuestos experimentales prácticos de un solo día, en lugar de probar la convergencia asintótica.

2. Calibración de la Incertidumbre

El análisis de calibración reveló una desconexión significativa entre la confianza del controlador y su desempeño real.

Hallazgo: El Error de Calibración Esperado (ECE) fue de 0.607, una descalibración considerable.
Mecanismo: La confianza media del controlador fue aproximadamente 0.0014 (aproximadamente $1/729$ ), mientras que la tasa de éxito realizada estuvo entre 0.58 y 0.64.
Implicación: Debido a que el espacio de acción es grande y las puntuaciones están distribuidas casi equitativamente, la probabilidad softmax bruta está acotada cerca de $1/M$ . Esto hace que la probabilidad bruta sea una señal poco informativa para la escalada humana; esencialmente, cada episodio parece tener "baja confianza" independientemente del éxito. El artículo establece explícitamente que la probabilidad bruta de selección de acción no puede usarse como una señal de confianza sin recalibración (por ejemplo, mediante el escalado de temperatura o definiciones de margen de valor).

Significancia y Reivindicaciones

El artículo realiza una reivindicación modesta y específica: identifica el ensamblaje de contexto como una variable controlada distinta que ha sido menos explorada en comparación con la selección de herramientas o el enrutamiento de agentes.

Contribución: Proporciona una descomposición formal de la arquitectura de "modelo congelado + harness aprendible" y somete a este control variable específico a los mismos controles de la teoría de control (estabilidad y comprobaciones de calibración) aplicados a otros artículos de agentes de control.
Honestidad en el Reporte: El artículo enfatiza que sus resultados empíricos son "informativos en lugar de halagadores". Explica explícitamente que los presupuestos de episodios prácticos son insuficientes para lograr la estabilidad asintótica o la calibración requeridas para el despliegue en su forma actual.
Punto de Diseño: En lugar de reclamar un problema resuelto, el artículo señala el problema de la calibración como un punto de diseño abierto genuino. Sugiere que para que este enfoque sea viable, las señales de confianza deben redefinirse (por ejemplo, vía márgenes de valor) en lugar de depender de las probabilidades softmax brutas sobre espacios discretos grandes.

En resumen, el artículo no pretende haber resuelto la estabilidad de los harnesses de LLM. En cambio, demuestra rigurosamente el cuello de botella de la complejidad de muestreo inherente al aprendizaje del ensamblaje de contexto sobre un espacio discreto grande y destaca el fallo de calibración de las métricas de confianza ingenuas, proporcionando una línea base realista para trabajos futuros en este nicho específico.