Riepilogo Tecnico: Trace2Policy

Definizione del Problema

I compiti decisionali aziendali in domini come l'audit, la conformità e la revisione dei contratti si affidano al giudizio esperto che è spesso tacito, sistematico e profondamente intrecciato con i comportamenti specifici dei sistemi software. Gli approcci di automazione esistenti affrontano tre lacune primarie:

1. Acquisizione della Conoscenza: Gli attuali agenti GUI (es. CogAgent, SeeAct) imparano come operare le interfacce (cliccare, compilare campi), ma non riescono a estrarre la logica decisionale o gli euristiche sottostanti. Il process mining scopre i flussi di attività, ma non il "perché" dietro decisioni specifiche.
2. Raffinamento della Conoscenza: I metodi di estrazione "one-shot" (distillazione LLM, apprendimento few-shot o interviste agli esperti) catturano solo procedure superficiali. Essi non riescono a scoprire la "conoscenza profonda" — come le convenzioni di codifica del sistema, la semantica implicita delle azioni e le discrepanze tra reclami e azioni — portando a plateau di prestazione (spesso intorno al 70%) e, in alcuni casi, a uno "spostamento dell'autorità" dove modelli forti degradano quando costretti a seguire regole non raffinate.
3. Evoluzione della Conoscenza: La maggior parte dei sistemi di agenti rimane statica dopo il deployment. Sebbene esistano sondaggi di agenti auto-evolutivi, pochi meccanismi utilizzano la verità fondamentale (ground truth) naturale fornita dai flussi di lavoro di revisione umana esistenti per consentire un adattamento continuo e a basso costo alle mutevoli condizioni di business.

Metodologia: Framework Trace2Policy

Gli autori propongono Trace2Policy, un framework end-to-end che trasforma le tracce grezze del comportamento esperto in agenti decisionali auto-evolutivi. La pipeline consiste in cinque fasi:

Fase 0–1: Cattura e Strutturazione del Comportamento

• Agente Osservatore: Cattura passivamente il comportamento multimodale dell'esperto (focus della finestra, clic del mouse con screenshot, input da tastiera, eventi del browser) e li segmenta in traiettorie a livello di task utilizzando ancoraggi di business (es. numeri di lettera di vettura).
• Strutturazione VLM: Un Modello Vision-Language converte le traiettorie grezze in record decisionali strutturati, estraendo i sistemi consultati, le osservazioni chiave, le catene di ragionamento e le prove.

Fase 2: Distillazione Automatica della Policy

Un LLM distilla una policy iniziale (chiamata Skills) dai record strutturati. Questa policy è un documento di regole esterno, leggibile dall'uomo (Markdown), organizzato in tre livelli:

• Livello Workflow: Ordine delle query e parametri per i sistemi.
• Livello Decisionale: Routing dei percorsi e condizioni di giudizio.
• Livello Platform: Schemi API, codifiche dei campi e procedure di login.

Fase 3: EISR (Raffinamento Iterativo delle Skill guidato dagli Errori)

L'innovazione principale è l'EISR, un ciclo strutturato di diagnosi e patching che tratta il documento delle regole come l'obiettivo di ottimizzazione, non i pesi del modello.

1. Esecuzione e Confronto: La policy viene eseguita su un set di validazione e gli errori vengono identificati rispetto alla ground truth.
2. Diagnosi Strutturata: Gli errori vengono raggruppati per causa radice in tre tipi: MISSING (nessuna regola copre il caso), WRONG (la regola prescrive l'azione errata) o CONFLICT (regole contraddittorie).
3. Raffinamento Mirato: Un LLM propone patch per ogni cluster.
4. Gate di Regressione: Le patch vengono accettate solo se superano un test di regressione, garantendo che i casi precedentemente corretti non vengano compromessi.

• Auto-EISR: Una variante guidata da LLM in cui un agente "Executor" genera errori e gli agenti "Diagnose/Refine" propongono correzioni, automatizzando il processo a una frazione del costo umano.

Fase 4: Deployment in Produzione ed Evoluzione Automatica

La policy raffinata viene distribuita. Gli auditor umani continuano a revisionare i casi, fornendo una ground truth naturale a costo marginale zero. Quando si accumulano errori simili (≥5 casi), viene attivato un round incrementale di EISR per aggiornare le regole, creando un volano di miglioramento continuo.

Contributi Chiave

1. Trace2Pipeline: Una pipeline validata dalle tracce grezze agli agenti distribuiti, dimostrata in un deployment di produzione di 22 giorni presso un importante operatore logistico (3.349 casi di audit).
2. Algoritmo EISR: Un metodo di raffinamento delle regole che utilizza gli LLM come ottimizzatori con accettazione soggetta a gate di regressione. Esso riesce a scoprire le "regole trappola" — conoscenza profonda invisibile ai metodi one-shot, come:
   • Ambiguità dello Stato di Codifica: Distinguere tra i codici di responsabilità correnti e originali nelle visualizzazioni di sistema.
   • Prefissi di Azione Impliciti: Riconoscere segnali non documentati (es. prefissi "C:") nei commenti testuali.
   • Mismatch dei Reclami: Differenziare tra l'esecuzione di un'azione e l'accettazione di un reclamo specifico.
3. Osservazioni sulla Forma di Esecuzione: Il paper identifica che la qualità delle regole è un leva di prestazione più dominante rispetto alla capacità del modello.
   • Guadagno di Compilazione: Le stesse regole raffinate tramite EISR, quando compilate in Python deterministico, superano le stesse regole utilizzate come prompt LLM del 9,8 punti percentuali (79,6% vs 69,8%) in produzione.
   • Fallimento del Fallback LLM: Su task con base-rate sbilanciata, riabilitare un fallback LLM (un pattern di design comune) degrada monotonicamente l'accuratezza perché il prior dell'LLM non corrisponde alla distribuzione calibrata e sbilanciata della cascata di regole.
4. Spostamento dell'Autorità: Regole non raffinate possono attivamente danneggiare gli LLM forti (riducendo l'accuratezza di 7–9pp) costringendoli a seguire euristiche errate, mentre le regole raffinate tramite EISR colmano questo divario.
5. Efficienza dei Costi: Auto-EISR raggiunge una prestazione di raffinamento comparabile agli esperti umani a $5–$10 per ciclo rispetto a circa 70 ore di esperti.

Risultati

• Prestazioni in Produzione: La pipeline compilata e raffinata tramite EISR ha raggiunto il 79,6% di accuratezza sul benchmark di training e il 77,3% su un set tenuto fuori (held-out), superando la baseline storica puramente LLM (72,7%) e le baseline zero-shot (43,8%).
• Consistenza Cross-Modello: Attraverso cinque diversi LLM, la varianza di prestazione attribuibile alla versione della regola (v1 vs v8) ha superato la varianza attribuibile alla scelta del modello.
• Trasferimento Cross-Domain: Il ciclo di raffinamento (Fase 3) è stato testato su benchmark pubblici (LegalBench hearsay, BPIC 2012) senza re-ingegnerizzazione. Sul compito LegalBench hearsay, il raffinamento EISR ha elevato l'accuratezza da ~84% a 92,2%, recuperando da un "overshoot" iniziale nel Round 1.
• Rapporto Costi-Benefici: Auto-EISR ha ridotto il costo del raffinamento delle regole di circa 100 volte rispetto al raffinamento con intervento umano, mantenendo un'accuratezza d'azione comparabile.

Significato e Rivendicazioni

Il paper posiziona Trace2Policy come un contributo Use-Inspired, affrontando una specifica necessità operativa nella conformità aziendale. La sua importanza risiede nel:

• Spostamento dell'Obiettivo di Ottimizzazione: Passare dall'ottimizzazione dei parametri del modello o dei prompt all'ottimizzazione di documenti di regole esterni, auditabili e versionati.
• Estrazione di Conoscenza Profonda: Dimostrare che un'analisi iterativa degli errori è necessaria per far emergere le convenzioni specifiche del sistema che i metodi one-shot mancano.
• Osservazione del Bundle-Forma: Evidenziare che in ambienti di conformità sensibili con base-rate sbilanciata, la combinazione di regole raffinate + compilazione deterministica produce risultati superiori rispetto al prompting LLM o ai fallback ibridi LLM. Gli autori notano esplicitamente che questa è un'osservazione specifica per questo regime e non una rivendicazione universale per tutti i compiti decisionali.
• Auto-Evoluzione Scalabile: Fornire un meccanismo affinché gli agenti evolvano continuamente utilizzando il ciclo di feedback naturale dei flussi di lavoro umani esistenti, eliminando la necessità di etichettatura esplicita dei reward costosa.

Gli autori rimangono modesti, riconoscendo limitazioni come lo studio primario su un singolo dominio, dimensioni campionarie tenute fuori modeste e il potenziale di "ancoraggio dell'auditor" (dove i revisori umani potrebbero essere influenzati dalla raccomandazione iniziale dell'agente). Chiedono ricerche future per isolare la componente "solo-forma" del guadagno di compilazione e per condurre validazioni più ampie su più domini.