Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness

Sintesi Tecnica: Valutazione a Isolamento di Layer di Agenti LLM in Produzione

Definizione del Problema
Gli attuali paradigmi di valutazione per gli agenti basati su Large Language Model (LLM) si affidano pesantemente a metriche di successo del task end-to-end. Sebbene questi numeri aggregati indichino se un agente ha subito una regressione, essi non riescono a diagnosticare dove si è verificato il fallimento all'interno dell'architettura complessa dell'agente (ad esempio, risoluzione dell'intento, pianificazione, validazione della sicurezza o memoria). Identificare il sottosistema specifico che si è rotto richiede di rieseguire episodi stocastici e live dell'agente e di procedere per bisezione dei cambiamenti, un processo lento, rumoroso e costoso. Inoltre, le metriche aggregate spesso "mascherano" le regressioni localizzate; un fallimento significativo in un singolo componente può essere diluito dal successo del resto del sistema, rendendo il calo nel tasso di successo complessivo indistinguibile dalla normale varianza.

Metodologia
Gli autori propongono la Valutazione a Isolamento di Layer (Layer-Isolated Evaluation), un framework di testing deterministico e senza LLM progettato per un agente di produzione per l'ordinazione di prodotti alimentari e bevande. La metodologia prevede tre componenti principali:

1. Decomposizione Architetturale: L'agente viene scomposto in una tassonomia fissa di 23 layer architetturali (ad esempio, pre-risoluzione dell'ontologia, segnali di intento, routing, decomposizione, escalation, sicurezza, memoria e difesa trasversale).
2. Slices di Asserzione in Pure Mode: Ogni layer viene esercitato da una dedicata "slice di asserzione" che opera in una modalità "pure" deterministica e senza LLM. Invece di invocare un modello generativo, queste slice verificano i contratti su output deterministici (ad esempio, ID canonici da un risolutore di ontologia, decisioni di escalation basate su regole, riscritture di dizionari o ricalcoli dei prezzi lato server).
   • La suite completa consiste in 238 casi baseline (225 casi "pure" + 13 casi end-to-end legacy).
   • Il tempo di esecuzione è di circa 2,39 secondi (≈10 ms per caso), consentendo di eseguirlo su ogni Pull Request (PR) in Continuous Integration (CI).
3. Baseline di Onestà della Copertura (Coverage-Honesty Baseline): Il sistema impiega una "baseline bloccata per slice". Fondamentalmente, applica un criterio di onestà della copertura: se un layer ha zero casi di test, il suo tasso di successo viene riportato come null (non coperto) anziché 100%. Ciò evita che un punteggio aggregato "verde" possa nascondere componenti non testati.

Validazione e Risultati
Gli autori hanno validato il metodo attraverso una regressione controllata per iniezione, degradando un layer non di sicurezza alla volta tra sette layer distinti e misurando l'impatto sia sul tasso di successo aggregato che sui singoli tassi delle slice.

• Fenomeno del Mascheramento: Lo studio ha confermato che le metriche aggregate mascherano i fallimenti locali. Quando un singolo layer è stato degradato, il tasso di successo aggregato è sceso solo marginalmente (tra -1,7 e -5,9 punti percentuali), un cambiamento troppo piccolo per essere distinto dal rumore dei dashboard.
• Localizzazione: Al contrario, la specifica slice corrispondente al guasto iniettato è "crollata", scendendo tra il -25 e il -91 per cento.
• Accuratezza della Localizzazione del Guasto: La slice del layer iniettato è stata la peggiore tra tutte le slice in 5 casi su 7 ed è risultata tra le prime 3 peggiori slice in tutti i 7 casi (rank medio di 1,29 su 19). L'impatto "off-diagonal" (danno causato ad altre slice) è stato quasi piatto, tranne che per i layer fondamentali (come la risoluzione dell'ontologia) dove un calo in un layer fondamentale ha causato il fallimento delle slice a valle, segnalando correttamente un problema fondamentale.
• Replicazione Cross-Tenant: I risultati di localizzazione sono stati replicati su un secondo tenant strutturalmente diverso (Starbucks SG). Tutte le sette slice corrispondenti sono crollate sotto le rispettive iniezioni, confermando che il metodo non è un artefatto di un singolo catalogo.

Contributi Chiave
Il paper rivendica i seguenti contributi specifici:

1. Un Harness Deterministico: Un harness per layer, sub-secondario, senza LLM e completamente decomposto per un agente in produzione, che blocca la CI contro una baseline stabilita.
2. Criterio di Onestà della Copertura: Una regola di adeguatezza del test che rifiuta di valutare un layer non esercitato come superato, garantendo che le metriche aggregate "verdi" non possano riciclare rischi non testati.
3. Validazione Empirica del Mascheramento: Una dimostrazione di iniezione di regressione che prova come i gate basati su slice possano localizzare regressioni che le metriche aggregate ignorano completamente.
4. Operazionalizzazione della Teoria: Il lavoro fornisce un'istanza concreta e utilizzabile del modello di processo "evaluation-driven agent operations" prescritto da Xia et al. (2024), che precedentemente mancava di una piena implementazione.

Significatività e Rivendicazioni
Gli autori posizionano questo lavoro non come un'invenzione di valutazione a livello di componente, ma come una istanza concreta e deterministica di framework teorici esistenti. Affermano esplicitamente che:

• Il metodo è un rilevatore di drift (drift detector), non un oracolo di correttezza. Una slice verde certifica che il layer non è cambiato rispetto al contratto di baseline, non che il contratto stesso sia "corretto".
• L'approccio integra, piuttosto che sostituire, il testing stocastico end-to-end; mentre la "pure mode" blocca il nucleo deterministico dell'agente, il testing di mutazione stocastica dell'intero workflow (ad esempio, Bhardwaj, 2026) rimane necessario per i comportamenti generativi.
• Il valore primario è il segnale durante lo sviluppo: trasforma il processo lento e rumoroso di ricerca dei sottosistemi guasti in un gate CI veloce, deterministico e azionabile.

Il paper conclude che, sebbene lo studio di iniezione sia limitato ai guasti scelti dagli autori (N=7) e a un singolo dominio (ordinazione F&B), la capacità dimostrata di isolare i guasti che le metriche aggregate nascondono offre un meccanismo robusto per mantenere la stabilità dell'agente durante le iterazioni rapide.