🤖 AI

Context Assembly as the Controlled Variable: A Control-Theoretic View of Harness Policies for Frozen LLM Agents

Questo articolo propone un framework di teoria del controllo per agenti LLM congelati che tratta l'assemblaggio del contesto come la variabile controllata, utilizzando una policy esterna online per ottimizzare dinamicamente i componenti del prompt fornendo al contempo garanzie formali di stabilità e calibrazione dell'incertezza.

Autori originali: Debjyoti Paul

Pubblicato 2026-07-29

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Debjyoti Paul

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Arte del Prompt Perfetto: Una Storia di Teoria del Controllo

Immaginate di cercare di insegnare a un robot brillante, ma incredibilmente testardo, come risolvere un mistero. Questo robot è un'IA, ed è "congelato", il che significa che il suo cervello è scolpito nella pietra; non potete ricablare i suoi neuroni o insegnargli nuovi fatti. Sa molto, ma non sa come usare quella conoscenza per il vostro specifico enigma a meno che non gli si diano le istruzioni giuste. Nel mondo dell'Intelligenza Artificiale, questa configurazione viene chiamata "agente". Per molto tempo, i ricercatori hanno cercato di capire come rendere questi agenti affidabili, trattandoli come macchine che devono essere guidate. Utilizzano idee derivanti dalla "teoria del controllo", che è fondamentalmente la scienza del mantenere le cose stabili e in carreggiata — come il sistema del cruise control in un'auto che regola costantemente l'acceleratore per mantenere la velocità costante, o come un termostato regola il calore per mantenere una stanza confortevole.

La grande domanda che questo articolo affronta è: Cosa dovremmo esattamente guidare? La maggior parte delle persone ha cercato di controllare cosa il robot fa dopo (come quale strumento raccogliere) o con chi parla. Ma questo articolo suggerisce che la vera magia avviene prima ancora che il robot inizi a muoversi. Si tratta di controllare il "contesto" — le istruzioni specifiche, gli esempi che gli mostrate e la quantità di informazioni di base che gli fornite. Pensate a uno chef che non può cambiare il libro delle ricette (l'IA congelata), ma può cambiare gli ingredienti, l'illuminazione in cucina e gli appunti sul bancone per ottenere il piatto perfetto. Gli autori vogliono sapere se possiamo costruire un sistema intelligente che individui automaticamente il modo migliore per impostare queste istruzioni al volo, e se tale sistema sia abbastanza stabile da poter essere considerato affidabile.

La Grande Idea dell'Articolo: Guidare l'Impostazione, Non il Robot

Questo articolo, scritto da Debjyoti Paul nel luglio 2026, propone un nuovo modo di guardare agli agenti IA. Invece di cercare di controllare direttamente le azioni del robot, gli autori suggeriscono di controllare l'assemblaggio del contesto (context assembly). In parole povere, questo significa controllare la "configurazione" del prompt: quale modello utilizzare, quali pochi esempi mostrare all'IA, quanta informazione recuperare da un database e quante volte l'IA debba controllare il proprio lavoro.

Gli autori immaginano un sistema in due parti. La prima parte è l'agente IA "congelato" — il robot che effettua realmente il lavoro. La seconda parte è un "impalcatura" (harness) o un controllore situato all'esterno del robot. Questo controllore è un apprenditore intelligente (utilizzando metodi come un "contextual bandit" o una politica "REINFORCE") che sperimenta costantemente diverse configurazioni per vedere quale ottiene i risultati migliori. È come un direttore di scena che non può cambiare le battute dell'attore (perché l'attore è congelato), ma può cambiare l'illuminazione, gli oggetti di scena e le note di regia per aiutare l'attore a recitare meglio.

Cosa Hanno Trovato: Un Controllo di Realtà

Gli autori non si sono limitati a sognare questa idea; l'hanno testata per vedere se funziona davvero e se è stabile. Hanno eseguito esperimenti con una configurazione specifica in cui il controllore doveva scegliere tra 729 possibili configurazioni (una combinazione di diversi stili di prompt, strumenti, politiche di memoria e passaggi di verifica). Hanno eseguito questi test per 60 episodi (prove) per ogni esecuzione, per un totale di 240 episodi attraverso diversi seed.

Ecco la verità onesta su ciò che hanno trovato:

1. Il Test di Stabilità (Sta migliorando?)
Gli autori volevano vedere se il controllore stava imparando a migliorare nel tempo, un concetto che chiamano "stabilità". In un mondo perfetto, le prestazioni del controllore dovrebbero salire o rimanere costanti mentre impara. Tuttavia, i loro dati hanno mostrato qualcosa di diverso. Durante i 60 episodi testati, le prestazioni sono in realtà diminuite leggermente o sono rimaste piatte per la maggior parte delle esecuzioni. Tre episodi su quattro hanno mostrato una pendenza negativa minima.

Gli autori spiegano che questo non è necessariamente un fallimento della loro idea, ma un limite della dimensione del test. Sostengono che con 729 opzioni possibili tra cui scegliere, 60 episodi non sono semplicemente sufficienti affinché il controllore impari le basi. È come cercare di imparare una biblioteca enorme di 729 lingue diverse in pochi giorni; non avete avuto abbastanza tempo per esercitarvi a sufficienza per diventare bravi. Notano che anche con 300 episodi (cinque volte più del loro test di stabilità), il loro articolo complementare ha rilevato che il sistema non riusciva ancora a battere un baseline statico e preimpostato. La conclusione è che il sistema si trova attualmente in un regime di "sotto-campionamento" — è un campione troppo piccolo per provare la teoria a lungo termine, anche se la teoria stessa ha senso.

2. Il Test di Fiducia (Sa quando sta tirando a indovinare?)
La seconda cosa che hanno controllato è la "calibrazione dell'incertezza". Questo si chiede: il controllore sa quando è fiducioso e quando è incerto? In uno scenario reale, se l'IA è incerta, dovrebbe chiedere l'intervento di un essere umano.

I risultati qui sono stati piuttosto sorprendenti e un po' disordinati. Il punteggio di "fiducia" del controllore (basato su quanto probabile pensasse fosse la sua scelta) era estremamente basso — circa 0,0014 — mentre il tasso di successo effettivo dei compiti era molto più alto, circa lo 0,64 (64%) e lo 0,58 (58%). Questo è un divario enorme, circa due ordini di grandezza.

Gli autori spiegano che questo non è un errore nell'apprendimento, ma un problema matematico. Poiché ci sono 729 opzioni, la probabilità di sceglierne una singola è naturalmente minuscola (circa 1/729, ovvero 0,0014). Quindi, il controllore appare "poco fiducioso" tutto il tempo, anche quando sceglie la risposta corretta. Ciò significa che se provaste a usare questo numero di fiducia grezzo per decidere quando chiamare un umano per aiuto, non funzionerebbe — chiamereste un umano per ogni singolo compito, anche per quelli facili. Il paper suggerisce che per risolvere questo problema, sarebbe necessario ricalibrare il segnale di fiducia (forse guardando il divario tra le prime due scelte invece della probabilità grezza), ma ammettono di non aver ancora testato questa soluzione.

Conclusione

Questo articolo non sostiene di aver risolto il problema del controllo dell'IA. Invece, offre una visione molto specifica e onesta di un nuovo modo di pensare: controllare il contesto piuttosto che l'azione. Sostiene che, sebbene questa sia un'idea promettente e distinta, gli esperimenti attuali mostrano che stiamo sbattendo contro un muro perché lo spazio delle possibilità (729 configurazioni) è troppo vasto per la quantità di dati che possiamo realisticamente raccogliere in un giorno.

Gli autori sono cauti nel non definire questo un progresso rivoluzionario. Dichiarano esplicitamente che i loro risultati di stabilità sono "dominati dal rumore" e che i loro segnali di fiducia sono attualmente "non informativi" senza ulteriori correzioni. Stanno essenzialmente dicendo: "Ecco una nuova leva da tirare, ma al momento non abbiamo fatto abbastanza tentativi per sapere se funzioni perfettamente, e il nostro attuale modo di misurare la fiducia è rotto". È un invito a raccogliere più dati e a sviluppare migliori metodi di calibrazione, piuttosto che una dichiarazione di vittoria.

Sintesi Tecnica: L'assemblaggio del contesto come variabile di controllo

Definizione del Problema

Sebbene l'applicazione della teoria del controllo agli agenti basati su Large Language Model (LLM) sia un campo consolidato alla metà del 2026, la letteratura esistente si concentra principalmente sul controllo di specifiche azioni discrete o sul routing di sistema. Opere precedenti hanno trattato la selezione degli strumenti (Anonymous [2026]), la selezione delle azioni in universi discreti massivi (Majumdar [2026]) o il routing dei messaggi inter-agente (Nogueira e Skogestad [2026]) come le variabili di controllo.

Questo articolo sostiene che tali approcci trascurano una variabile di controllo distinta e praticamente critica: l'assemblaggio del contesto (context assembly). Questo si riferisce alla configurazione dinamica del template del prompt, delle dimostrazioni few-shot, del volume di contesto recuperato e del numero di passaggi di pianificazione o verifica. A differenza dei flussi di azioni grezzi o dei cataloghi di strumenti, l'assemblaggio del contesto è l'insieme specifico di parametri che un ingegnere di harness modifica manualmente oggi. L'articolo postula che questa variabile sia abbastanza piccola da essere enumerabile ma sufficientemente complessa da richiedere l'apprendimento online, e che possa essere ottimizzata da un controllore leggero (contextual bandit o REINFORCE) situato all'esterno di un LLM congelato.

Metodologia

Decomposizione Formale

Il sistema è decomposto in due policy distinte:

Policy Interna ( $\pi_\theta$ ): Un modello LLM congelato che genera azioni $a_t$ dato uno stato $s_t$ e una configurazione del contesto $C_t$ . I pesi del modello $\theta$ non vengono mai aggiornati.
Policy Esterna ( $\pi_\phi$ ): Un controllore apprendibile che seleziona la configurazione del contesto $C_t$ $C_{t}$ da uno spazio fisso ed enumerabile $\mathcal{C}$ $C$ basandosi sul compito $x_t$ $x_{t}$ e sulla cronologia delle interazioni $h_t$ $h_{t}$ .
- Nell'istanza dell'articolo, $|\mathcal{C}| = 729$ , fattorizzato tra stile del prompt, politica di strumenti/recupero, politica di memoria, politica di pianificazione, politica di verifica e budget di step.
- La policy esterna è parametrizzata come una funzione di valore lineare (per un contextual bandit) o una policy softmax (per REINFORCE).

Obiettivo di Ottimizzazione

La policy esterna è ottimizzata per massimizzare una funzione di ricompensa multi-obiettivo mantenendo $\theta$ fisso:
$\max_\phi \mathbb{E} [R_{task} + \lambda_v R_{verify} + \lambda_p R_{policy} - \lambda_c C_{tokens} - \lambda_\ell C_{latency} - \lambda_h P_{unsupported}]$
Questo obiettivo bilancia il successo del compito, la qualità della verifica e l'aderenza alla policy rispetto ai costi di utilizzo dei token, latenza e operazioni non supportate.

Analisi della Stabilità e della Calibrazione

L'articolo valuta il controllore utilizzando due specifiche lenti della teoria del controllo:

Stabilità Empirica: Adottando la definizione di Zhang et al. [2026], la stabilità è definita come la ricompensa attesa non decrescente su una finestra mobile man mano che gli episodi si accumulano. Questa è un'affermazione più debole e misurabile rispetto alla stabilità asintotica di Lyapunov, adatta all'apprendimento online dove lo "stato" è un insieme di pesi appresi.
Calibrazione dell'Incertezza: L'articolo analizza se la confidenza del controllore (definita come la probabilità softmax della selezione dell'azione) correla con il successo del compito realizzato. Ciò è critico per gli scenari di escalation umana, dove una bassa confidenza dovrebbe predire il fallimento.

Risultati Chiave

1. Stabilità Empirica

Gli autori hanno condotto un esperimento strumentale utilizzando 240 episodi con controllori bandit e REINFORCE in un dominio di uso di strumenti (Ollama qwen2.5:7b).

Risultato: I risultati empirici non hanno confermato la proposizione teorica di una ricompensa non decrescente entro il budget di 60 episodi per seed.
Analisi: I fit lineari della ricompensa rispetto all'indice dell'episodio hanno mostrato tendenze leggermente negative o piatte in tre casi su quattro. Gli autori attribuiscono ciò non a un fallimento della logica, ma al regime sotto-campionato. Con uno spazio di azione di 729 configurazioni, 60 episodi sono insufficienti affinché le stime correnti si concentrino (un regime identificato come $\Omega(M)$ in Majumdar [2026]). I risultati caratterizzano la difficoltà di apprendere in questo spazio con budget sperimentali pratici di un singolo giorno, piuttosto che provare la convergenza asintotica.

2. Calibrazione dell'Incertezza

L'analisi della calibrazione ha rivelato un significativo disconnessione tra la confidenza del controllore e le sue prestazioni reali.

Risultato: L'Errore di Calibrazione Attesa (ECE) era 0.607, una miscalibrazione elevata.
Meccanismo: La confidenza media del controllore era di circa 0.0014 (circa $1/729$ ), mentre il tasso di successo realizzato era compreso tra 0,58 e 0,64.
Implicazione: Poiché lo spazio delle azioni è ampio e i punteggi sono distribuiti quasi equamente, la probabilità softmax grezza è limitata vicino a $1/M$ . Ciò rende il segnale della probabilità grezza non informativo per l'escalation umana; essenzialmente ogni episodio appare come "bassa confidenza" indipendentemente dal successo. L'articolo afferma esplicitamente che la probabilità grezza di selezione dell'azione non può essere utilizzata come segnale di confidenza senza ricalibrazione (ad esempio, tramite temperature scaling o definizioni di margine del valore).

Significato e Rivendicazioni

L'articolo presenta una rivendicazione modesta e specifica: identifica l'assemblaggio del contesto come una variabile di controllo distinta che è stata meno esplorata rispetto alla selezione degli strumenti o al routing degli agenti.

Contributo: Fornisce una decomposizione formale dell'architettura "modello congelato + harness apprendibile" e sottopone questa specifica variabile di controllo agli stessi esami empirici (test di stabilità e calibrazione) applicati ad altri articoli di controllo degli agenti.
Onestà nella Rendicontazione: L'articolo sottolinea che i suoi risultati empirici sono "informativi piuttosto che lusinghieri". Riporta esplicitamente che i budget di episodi pratici sono insufficienti per raggiungere la stabilità asintotica o la calibrazione richieste per la distribuzione nella loro forma attuale.
Punto di Design: Invece di rivendicare un problema risolto, l'articolo segnala il problema della calibrazione come un vero punto di design aperto. Suggerisce che, affinché questo approccio sia vitale, i segnali di confidenza debbano essere ridefiniti (ad esempio, tramite margini di valore) piuttosto che affidarsi alle probabilità softmax grezze su grandi spazi discreti.

In sintesi, l'articolo non rivendica di aver risolto la stabilità degli harness degli LLM. Al contrario, dimostra rigorosamente il collo di bottiglia della complessità campionaria inerente all'apprendimento dell'assemblaggio del contesto su un grande spazio discreto e evidenzia il fallimento della calibrazione dei metrici di confidenza ingenui, fornendo una linea di base realistica per il lavoro futuro in questa specifica nicchia.