Repair the Amplifier, Not the Symptom: Stable World-Model Correction for Agent Rollouts

Sintesi Tecnica: Riparare l'Amplificatore, non il Sintomo

Formulazione del Problema
Man mano che la pianificazione degli agenti evolve dalle brevi catene di strumenti a workflow persistenti che coinvolgono migliaia di passi, i fallimenti avvengono sempre più all'interno di grandi grafi di pianificazione piuttosto che in isolati predizioni. Ripianificare l'intero grafo dopo ogni errore è computazionalmente proibitivo ed inefficiente; consuma budget di contesto eccessivi, espone i Large Language Models (LLM) a sintomi irrilevanti e rischia di degradare le prestazioni di recupero del lungo contesto.

Il problema centrale affrontato è la Correzione del Modello del Mondo (World-Model Correction): identificare un sottografo minimo e connesso all'interno di un grafo di pianificazione fallito la cui riparazione stabilizzi il sistema rimanente. La sfida consiste nel distinguere tra i sintomi visibili (nodi con alto errore immediato) e gli "amplificatori" sottostanti (sottografi che ri-amplificano gli errori nei rollout successivi). Gli approcci di ingegneria che si limitano a scansionare nodi con alto errore o ad espandere i vicinati locali spesso falliscono perché riparano i sintomi lasciando attivo il percorso di amplificazione causale, portando alla ricorrenza dell'errore.

Metodologia: WM-SAR
Il paper propone WM-SAR (World-Model Subgraph Amplification Repair), un correttore che lavora a ritroso dall'amplificazione dell'errore piuttosto che in avanti dai sintomi visibili. Il metodo opera in due fasi:

1. Selezione della Regione basata sul Grafo (Fase 1):

   • Base Teorica: L'approccio si fonda sull'osservazione che la crescita dell'errore nel rollout è controllata dal raggio spettrale ($\rho(B)$) di un operatore accoppiato nodo-arco. Se $\rho(B) > 1$, gli errori si amplificano; se $\rho(B) \le 1$, decadono. L'obiettivo è trovare un sottografo $R$ tale che la sua rimozione minimizzi il raggio spettrale residuo $\rho(B_{G_f \setminus R})$.
   • Scoring: WM-SAR calcola un punteggio di Campo di Amplificazione dell'Errore del Grafo (GEAF) per ogni nodo, definito come il prodotto dell'entità dell'errore osservato e del raggio spettrale locale del vicinato del nodo. Calcola inoltre un fattore di accoppiamento ($\kappa_v$) per misurare le interazioni super-additive tra i canali nodo e arco.
   • Crescita Greedy: Partendo da semi ad alto punteggio, l'algoritmo espande greedyamente la regione di riparazione aggiungendo nodi di confine che massimizzano il rilascio spettrale marginale ($\Delta\rho_{rel}$), ovvero la riduzione del raggio spettrale residuo. Questo processo continua finché non viene raggiunto un vincolo di budget o non è più possibile ottenere ulteriore rilascio.
   • Pruning (Potatura): I nodi ridondanti che non contribuiscono al rilascio spettrale vengono rimossi per garantire che la regione sia compatta.

2. Riparazione basata su LLM (Fase 2):

   • Una volta identificato il sottografo ottimale $R^*$, solo questa regione connessa viene serializzata e passata a un LLM. L'LLM ha il compito di identificare la causa radice e produrre una decisione di riparazione strutturata. Ciò contrasta con gli approcci a grafo completo che serializzano l'intero trace fallito, sprecando token in sintomi a valle irrilevanti.

Contributi Chiave

• Formulazione del Problema: Inquadra la correzione del modello del mondo come un problema di ottimizzazione vincolata: trovare la più piccola regione connessa che stabilizzi il modello del mondo residuo, piuttosto che semplicemente ripianificare l'intero grafo o riparare l'errore più grande.
• Baseline di Ingegneria: Implementa e valuta una forte famiglia di correttori di ingegneria (inclusi Top-K, finestre scorrevoli, vicinati k-hop e scansioni a cascata) per stabilire una baseline rigorosa.
• Algoritmo WM-SAR: Introduce un approccio spettrale-grafico che utilizza GEAF e l'accoppiamento nodo-arco per identificare il sottografo "amplificatore". Fornisce una prova teorica che il raggio spettrale residuo controlla il regret della pianificazione.
• Evidenza Empirica: Dimostra che WM-SAR raggiunge una stabilizzazione quasi pari a quella del grafo completo utilizzando solo una frazione dei token richiesti dalla riparazione LLM a grafo completo o dalle scansioni di ampi vicinati.

Risultati
Gli esperimenti sono stati condotti su un testbed sintetico eterogeneo di alberi di chiamata che imita i workflow planner-executor-validator, nonché su topologie ispirate a SWE-bench, WebArena e AgentBench.

• Stabilità vs. Patching dei Sintomi: I correttori di ingegneria (es. Greedy-Point, basati su finestra) riducono con successo l'errore immediato ma spesso falliscono nel appiattire la curva di errore a lungo termine perché lasciano attivo il canale di amplificazione. WM-SAR, mirando al raggio spetrale residuo, appiattisce la curva di errore, prevenendo la ricrescita dell'errore.
• Efficienza dei Token: WM-SAR raggiunge un recupero della causa radice comparabile o superiore alla riparazione LLM a grafo completo utilizzando significativamente meno token (ad esempio, ~855 token rispetto a ~2157+ token per i prompt a grafo completo negli esperimenti con GPT-4o-mini).
• Sensibilità al Budget: Sotto budget di riparazione ristretti, WM-SAR raggiunge un alto rilascio spettrale con dimensioni della regione ridotte (es. ~8 nodi), mentre i metodi di ingegneria richiedono regioni molto più ampie (spesso avvicinandosi alla copertura dell'intero grafo) per ottenere una stabilità simile.
• Robustezza tra i Modelli: Il vantaggio di performance di WM-SAR si mantiene attraverso diversi livelli di LLM (GPT-4o, GPT-4o-mini, Gemini-2.5-Flash), indicando che il beneficio deriva da una migliore selezione del contesto piuttosto che da peculiarità specifiche del modello.
• Limitazioni: Il metodo dipende da segnali di errore per nodo osservabili. In scenari di attribuzione black-box (come il benchmark "Who&When") dove si conosce solo la risposta finale, le prestazioni di WM-SAR degradano poiché il punteggio GEAF non può essere calcolato, tornando a un comportamento simile alla semplice selezione del nodo sink.

Significatività e Rivendicazioni
Il paper sostiene che il principale modo di fallimento delle attuali strategie di riparazione degli agenti è il disallineamento tra il target di riparazione (sintomi visibili) e l'obiettivo di stabilità (amplificazione residua). Spostando l'attenzione sulla "riparazione dell'amplificatore", WM-SAR consente agli agenti di mantenere modelli del mondo stabili su lunghi orizzonti senza incorrere nei costi proibitivi della ripianificazione dell'intero grafo.

Gli autori affermano che questo approccio offre un'alternativa fondata alla scansione euristica, fornendo un target di riparazione più "pulito" per gli LLM che preserva il ponte causale omettendo al contempo il rumore a valle distraente. Il lavoro suggerisce che i futuri sistemi di agenti dovrebbero dare priorità all'identificazione e alla riparazione degli operatori strutturali che propagano l'errore, piuttosto che limitarsi a reagire ai fallimenti più visibili.