🤖 AI

Context Assembly as the Controlled Variable: A Control-Theoretic View of Harness Policies for Frozen LLM Agents

Este artigo propõe uma estrutura de teoria de controle para agentes de LLM congelados que trata a montagem de contexto como a variável controlada, utilizando uma política externa on-line para otimizar dinamicamente os componentes do prompt, ao mesmo tempo em que fornece garantias formais de estabilidade e calibração de incerteza.

Autores originais: Debjyoti Paul

Publicado 2026-07-29

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Debjyoti Paul

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Arte do Prompt Perfeito: Uma História de Teoria de Controle

Imagine que você está tentando ensinar um robô brilhante, mas incrivelmente teimoso, a resolver um mistério. Este robô é uma IA, e ele está "congelado", o que significa que seu cérebro está definido em pedra; você não pode reconfigurar seus neurônios ou ensinar novos fatos. Ele sabe muito, mas não sabe como usar esse conhecimento para o seu quebra-cabeça específico, a menos que você lhe dê as instruções certas. No mundo da Inteligência Artificial, essa configuração é chamada de "agente". Por muito tempo, pesquisadores têm tentado descobrir como tornar esses agentes confiáveis, tratando-os como máquinas que precisam ser guiadas. Eles usam ideias da "teoria de controle", que é basicamente a ciência de manter as coisas estáveis e no caminho certo — como um sistema de controle de cruzeiro em um carro que ajusta constantemente o acelerador para manter a velocidade constante, ou como um termostato que ajusta o calor para manter um quarto confortável.

A grande questão que este artigo aborda é: O que exatamente devemos guiar? A maioria das pessoas tem tentado controlar o que o robô faz a seguir (como qual ferramenta pegar) ou com quem ele fala. Mas este artigo sugere que a verdadeira magia acontece antes mesmo de o robô começar a se mover. Trata-se de controlar o "contexto" — as instruções específicas, os exemplos que você mostra a ele e a quantidade de informações de fundo que você o alimenta. Pense nisso como um chef que não pode mudar o livro de receitas (a IA congelada), mas pode mudar os ingredientes, a iluminação na cozinha e as notas sobre o balcão para obter o prato perfeito. Os autores querem saber se podemos construir um sistema inteligente que descubra automaticamente a melhor maneira de configurar essas instruções sobre a marcha, e se esse sistema é estável o suficiente para ser confiável.

A Grande Ideia do Artigo: Guiando a Configuração, Não o Robô

Este artigo, escrito por Debjyoti Paul em julho de 2026, propõe uma nova maneira de olhar para os agentes de IA. Em vez de tentar controlar as ações do robô diretamente, os autores sugerem controlar a montagem do contexto. Em termos simples, isso significa controlar a "configuração" do prompt: qual modelo usar, quais poucos exemplos mostrar à IA, quanta informação recuperar de um banco de dados e quantas vezes a IA deve verificar o próprio trabalho.

Os autores imaginam um sistema de duas partes. A primeira parte é o agente de IA "congelado" — o robô que realmente realiza o trabalho. A segunda parte é um "harness" ou um controlador situado fora do robô. Este controlador é um aprendiz inteligente (usando métodos como um "bandit contextual" ou uma política "REINFORCE") que experimenta constantemente diferentes configurações para ver qual delas obtém os melhores resultados. É como um diretor de palco que não pode mudar as falas do ator (porque o ator está congelado), mas pode mudar a iluminação, os adereços e as notas do roteiro para ajudar o ator a performar melhor.

O Que Eles Descobriram: Um Choque de Realidade

Os autores não apenas sonharam com essa ideia; eles a testaram para ver se realmente funciona e se é estável. Eles realizaram experimentos com uma configuração específica onde o controlador tinha que escolher entre 729 configurações possíveis diferentes (uma combinação de diferentes estilos de prompt, ferramentas, políticas de memória e etapas de verificação). Eles realizaram esses testes por 60 episódios (tentativas) por execução, totalizando 240 episódios através de diferentes sementes (seeds).

Aqui está a verdade honesta sobre o que encontraram:

1. O Teste de Estabilidade (Está melhorando?)
Os autores queriam ver se o controlador estava aprendendo a melhorar ao longo do tempo, um conceito que chamam de "estabilidade". Em um mundo perfeito, o desempenho do controlador deveria subir ou permanecer o mesmo conforme ele aprende. No entanto, seus dados mostraram algo diferente. Ao longo dos 60 episódios que testaram, o desempenho na verdade tendeu ligeiramente para baixo ou permaneceu estável na maioria das execuções. Três de quatro execuções de teste mostraram uma inclinação negativa mínima.

Os autores explicam que isso não é necessariamente uma falha de sua ideia, mas uma limitação do tamanho do teste. Eles argumentam que, com 729 opções possíveis para escolher, 60 episódios simplesmente não é tempo suficiente para o controlador aprender o ofício. É como tentar aprender uma biblioteca massiva de 729 línguas diferentes em apenas alguns dias; você não teve tempo suficiente para praticar o suficiente para ficar bom. Eles observam que, mesmo com 300 episódios (cinco vezes mais do que seu teste de estabilidade), seu artigo complementar descobriu que o sistema ainda não conseguia superar uma linha de base estática e pré-definida. A conclusão é que o sistema está atualmente em um regime de "subamostragem" — é um tamanho de amostra pequeno demais para provar a teoria de longo prazo, embora a própria teoria faça sentido.

2. O Teste de Confiança (Ele sabe quando está apenas adivinhando?)
A segunda coisa que verificaram foi a "calibração de incerteza". Isso pergunta: O controlador sabe quando está confiante e quando está inseguro? Em um cenário do mundo real, se a IA estiver insegura, ela deve pedir a intervenção de um humano.

Os resultados aqui foram bastante surpreendentes e um pouco confusos. A pontuação de "confiança" do controlador (baseada na probabilidade que ele atribuía à sua escolha) era extremamente baixa — cerca de 0,0014 — enquanto a taxa de sucesso real das tarefas era muito maior, cerca de 0,64 (64%) e 0,58 (58%). Isso é um enorme abismo, aproximadamente duas ordens de magnitude.

Os autores explicam que isso não é um erro no aprendizado; é um problema matemático. Como existem 729 opções, a probabilidade de escolher qualquer uma delas é naturalmente minúscula (cerca de 1/729, ou 0,0014). Portanto, o controlador parece "inseguro" o tempo todo, mesmo quando escolhe a resposta certa. Isso significa que, se você tentasse usar esse número de confiança bruto para decidir quando chamar um humano para ajudar, não funcionaria — você chamaria um humano para cada tarefa, mesmo as fáceis. O artigo sugere que, para corrigir isso, seria necessário recalibrar o sinal de confiança (talvez olhando para a diferença entre as duas principais escolhas em vez da probabilidade bruta), mas eles admitem que ainda não testaram essa correção.

A Conclusão Final

Este artigo não afirma ter resolvido o problema do controle de IA. Em vez disso, oferece um olhar muito específico e honesto sobre uma nova forma de pensar: controlar o contexto em vez da ação. Argumenta que, embora esta seja uma ideia promissora e distinta, os experimentos atuais mostram que estamos batendo em um muro porque o espaço de possibilidades (729 configurações) é grande demais para a quantidade de dados que podemos coletar realisticamente em um dia.

Os autores são cuidadosos para não chamar isso de um avanço. Eles afirmam explicitamente que seus resultados de estabilidade são "dominados por ruído" e que seus sinais de confiança são atualmente "não informativos" sem correções extras. Eles estão essencialmente dizendo: "Aqui está uma nova alavanca para puxar, mas no momento, não temos suficientes movimentos de prática para saber se funciona perfeitamente, e nossa forma atual de medir a confiança está quebrada." É um chamado para mais dados e melhores métodos de calibração, em vez de uma declaração de vitória.

Resumo Técnico: Montagem de Contexto como a Variável Controlada

Declaração do Problema

Embora a aplicação da teoria de controle a agentes de Grandes Modelos de Linguagem (LLMs) seja um campo estabelecido até meados de 2026, a literatura existente foca primordialmente no controle de ações discretas específicas ou no roteamento de sistemas. Trabalhos anteriores trataram a seleção de ferramentas (Anônimo [2026]), a seleção de ação em universos discretos massivos (Majumdar [2026]), ou o roteamento de mensagens entre agentes (Nogueira e Skogestad [2026]) como as variáveis controladas.

Este artigo argumenta que essas abordagens negligenciam uma variável controlada distinta e praticamente crítica: a montagem de contexto (context assembly). Isso se refere à configuração dinâmica do template de prompt, demonstrações de few-shot, volume de contexto recuperado e o número de passagens de planejamento ou verificação. Diferente de fluxos de ações brutos ou catálogos de ferramentas, a montagem de contexto é o conjunto específico de parâmetros que um engenheiro de harness edita manualmente hoje. O artigo postula que esta variável é pequena o suficiente para ser enumerável, porém complexa o suficiente para exigir aprendizado online, podendo ser otimizada por um controlador leve (bandido contextual ou REINFORCE) situado fora de um LLM congelado.

Metodologia

Decomposição Formal

O sistema é decomposto em duas políticas distintas:

Política Interna ( $\pi_\theta$ ): Um modelo LLM congelado que gera ações $a_t$ dado um estado $s_t$ e uma configuração de contexto $C_t$ . Os pesos do modelo $\theta$ nunca são atualizados.
Política Externa ( $\pi_\phi$ ): Um controlador aprendível que seleciona a configuração de contexto $C_t$ $C_{t}$ de um espaço fixo e enumerável $\mathcal{C}$ $C$ com base na tarefa $x_t$ $x_{t}$ e no histórico de interação $h_t$ $h_{t}$ .
- Na instanciação do artigo, $|\mathcal{C}| = 729$ , fatorado entre estilo de prompt, política de ferramenta/recuperação, política de memória, política de planejamento, política de verificação e orçamento de etapas (step budget).
- A política externa é parametrizada como uma função de valor linear (para um bandido contextual) ou uma política softmax (para REINFORCE).

Objetivo de Otimização

A política externa é otimizada para maximizar uma função de recompensa multiobjetivo enquanto mantém $\theta$ fixo:
$\max_\phi \mathbb{E} [R_{task} + \lambda_v R_{verify} + \lambda_p R_{policy} - \lambda_c C_{tokens} - \lambda_\ell C_{latency} - \lambda_h P_{unsupported}]$
Este objetivo equilibra o sucesso da tarefa, a qualidade da verificação e a adesão à política contra os custos de uso de tokens, latência e operações não suportadas.

Análise de Estabilidade e Calibração

O artigo avalia o controlador utilizando duas lentes específicas da teoria de controle:

Estabilidade Empírica: Adotando a definição de Zhang et al. [2026], a estabilidade é definida como a recompensa esperada não decrescente sobre uma janela deslizante conforme os episódios se acumulam. Esta é uma afirmação mais fraca e mensurável do que a estabilidade assintótica de Lyapunov, adequada para aprendizado online onde o "estado" é um conjunto de pesos aprendidos.
Calibração de Incerteza: O artigo analisa se a confiança do controlador (definida como a probabilidade softmax da ação selecionada) correlaciona-se com o sucesso da tarefa realizado. Isso é crítico para cenários de escalonamento humano, onde a baixa confiança deve predizer a falha.

Principais Resultados

1. Estabilidade Empírica

Os autores conduziram um experimento instrumentado usando 240 episódios através de controladores de bandit e REINFORCE em um domínio de uso de ferramentas (Ollama qwen2.5:7b).

Descoberta: Os resultados empíricos não confirmaram a proposição teórica de recompensa não decrescente dentro do orçamento de 60 episódios por semente (seed).
Análise: Ajustes lineares da recompensa contra o índice do episódio mostraram tendências ligeiramente negativas ou planas para três de quatro execuções. Os autores atribuem isso não a uma falha na lógica, mas ao regime subamostrado. Com um espaço de ação de 729 configurações, 60 episódios são insuficientes para que as estimativas correntes se concentrem (um regime identificado como $\Omega(M)$ em Majumdar [2026]). Os resultados caracterizam a dificuldade de aprender neste espaço com orçamentos experimentais práticos de um único dia, em vez de provar a convergência assintótica.

2. Calibração de Incerteza

A análise de calibração revelou um descompasso significativo entre a confiança do controlador e seu desempenho real.

Descoberta: O Erro de Calibração Esperado (ECE) foi de 0,607, uma má calibração acentuada.
Mecanismo: A confiança média do controlador foi de aproximadamente 0,0014 (cerca de $1/729$ ), enquanto a taxa de sucesso realizada ficou entre 0,58 e 0,64.
Implicação: Como o espaço de ação é grande e os escores estão distribuídos quase equitativamente, a probabilidade softmax bruta é limitada próximo a $1/M$ . Isso torna a probabilidade bruta um sinal pouco informativo para escalonamento humano; essencialmente, cada episódio parece ter "baixa confiança", independentemente do sucesso. O artigo afirma explicitamente que a probabilidade bruta de seleção de ação não pode ser usada como um sinal de confiança sem recalibração (ex: escalonamento de temperatura ou definições de margem de valor).

Significância e Alegações

O artigo faz uma alegação modesta e específica: ele identifica a montagem de contexto como uma variável controlada distinta que foi menos explorada em comparação com a seleção de ferramentas ou o roteamento de agentes.

Contribuição: Fornece uma decomposição formal da arquitetura "modelo congelado + harness aprendível" e submete esta variável controlada específica às mesmas verificações empíricas (estabilidade e calibração) aplicadas a outros artigos de agentes de controle.
Honestidade no Relato: O artigo enfatiza que seus resultados empíricos são "informativos em vez de lisonjeiros". Ele relata explicitamente que os orçamentos práticos de episódios são insuficientes para alcançar a estabilidade assintótica ou a calibração necessárias para implantação em sua forma atual.
Ponto de Design: Em vez de alegar um problema resolvido, o artigo sinaliza o problema de calibração como um ponto de design aberto genuíno. Sugere que, para este método ser viável, os sinais de confiança devem ser redefinidos (ex: via margens de valor) em vez de depender de probabilidades softmax brutas sobre grandes espaços discretos.

Em resumo, o artigo não alega ter resolvido a estabilidade dos harnesses de LLM. Em vez disso, demonstra rigorosamente o gargalo de complexidade de amostragem inerente ao aprendizado de montagem de contexto sobre um grande espaço discreto e destaca a falha de calibração de métricas de confiança ingênuas, fornecendo uma linha de base realista para trabalhos futuros neste nicho específico.