Sintesi Tecnica: I Sistemi Aziendali Hanno Bisogno di Modelli del Mondo Appresi?

Enunciato del Problema

I sistemi aziendali differiscono fondamentalmente dagli ambienti tradizionali (ad esempio, robotica o videogiochi) perché le loro dinamiche di transizione non sono fisse, ma sono definite da artefatti di configurazione specifici per il tenant (regole di business, flussi di lavoro, politiche di approvazione) che variano tra le distribuzioni e si evolvono nel tempo. In tali contesti, la stessa azione $a_t$ applicata a uno stato $s_t$ può produrre esiti diversi $s_{t+1}$ a seconda della configurazione dell'istanza attiva $c$.

Il documento affronta una domanda critica nella letteratura sui modelli del mondo: Quando le regole che governano l'ambiente sono leggibili e accessibili al momento dell'inferenza, un agente ha ancora bisogno di apprenderle internamente?

Gli approcci esistenti si basano su modelli del mondo appresi che internalizzano le dinamiche dai dati storici di transizione. Tuttavia, gli autori sostengono che i modelli addestrati esclusivamente su transizioni storiche diventano fragili in presenza di cambiamenti di distribuzione (modifiche alla configurazione o alla logica del tenant). Se le regole sono esplicitamente disponibili nella configurazione del sistema, affidarsi a una rappresentazione interna statica può introdurre errori di approssimazione non necessari e ridurre la robustezza.

Metodologia

1. Formalizzazione: Modelli di Transizione Contestuali

Gli autori formalizzano le dinamiche aziendali come un modello di transizione contestuale:
$$s_{t+1} \sim P(s_{t+1} | s_t, a_t, c)$$
dove $c$ è la configurazione esplicita e leggibile della specifica istanza. A differenza dei modelli del mondo standard, dove $c$ è fissa e sconosciuta, nell'ambito aziendale $c$ è mutabile e ispezionabile. Il documento distingue tre livelli di complessità di transizione:

• Livello 1 (Deterministico dello Schema): Effetti determinati dai valori predefiniti e dai vincoli del dizionario dei dati.
• Livello 2 (Componibile per Regole): Effetti determinati da catene di regole di business (cascate).
• Livello 3 (Inferito dall'Esecuzione): Effetti dipendenti da comportamenti interni al motore (ad esempio, ordine di esecuzione, condizioni di gara) non completamente esposti negli artefatti statici.

2. Benchmark: CascadeBench

Per valutare gli agenti in condizioni controllate di configurazione e cambiamenti di distribuzione, gli autori introducono CascadeBench.

• Costruzione: Basato su schemi sintetici (per prevenire la memorizzazione delle strutture delle tabelle reali) generati da un catalogo di 1.596 pattern di regole di business in 6 settori industriali.
• Verità di Base: I dati sono raccolti eseguendo azioni su istanze ServiceNow live (non simulate), catturando i reali log di audit ($sys\_audit$) per registrare le differenze di stato e i percorsi di cascata.
• Valutazione: I modelli devono prevedere le modifiche di stato a livello di campo ($s_{t+1}$) dato uno stato corrente ($s_t$) e un'azione ($a_t$). Il benchmark isola il ragionamento dalla memorizzazione parametrica fornendo il contesto (schemi, regole) o trattenendolo.

3. Approccio Proposto: Agenti di Scoperta Aziendale

Il documento propone Agenti di Scoperta Aziendale, che non tentano di internalizzare le dinamiche durante l'addestramento. Invece, essi:

1. Recuperano: Al momento dell'inferenza, interrogano la configurazione dell'istanza live $c$ (ad esempio, regole di business, stati attuali dei record, definizioni SLA) per recuperare la logica di transizione rilevante.
2. Ragionano: Utilizzano un modello linguistico congelato per ragionare sul sottoinsieme recuperato $\tilde{c}$ al fine di prevedere il prossimo stato.
3. Iterano: Per le simulazioni multi-step, l'agente interroga nuovamente il sistema ad ogni passo per ancorare le previsioni allo stato corrente, mitigando l'accumulo di errori.

4. Baseline Comparative

Lo studio confronta tre approcci:

• Baseline Promptata: LLM congelati che prevedono transizioni da un contesto statico (con o senza regole di business fornite).
• Modello del Mondo Aziendale Appreso: Modelli fine-tuned (tramite LoRA) su tuple storiche $(s_t, a_t, s_{t+1})$ per internalizzare le dinamiche.
• Agente di Scoperta: L'approccio basato sul recupero descritto sopra.

Risultati Chiave

1. Internalizzazione vs. Recupero

• Prestazioni In-Distribution: I modelli del mondo fine-tuned funzionano eccezionalmente bene su dati estratti dalla stessa distribuzione del loro set di addestramento (ad esempio, 91,6% di IoU per Gemma-4-31B in-distribution).
• Degrado Out-of-Distribution: In caso di cambiamento di distribuzione (schemi sintetici e configurazioni inedite), i modelli fine-tuned degradano significativamente, scendendo a livelli di prestazioni comparabili alle baseline promptate (~40% di IoU).
• Robustezza della Scoperta: Gli agenti di scoperta, che recuperano le regole al momento dell'esecuzione, mantengono prestazioni robuste attraverso i cambiamenti. Superano costantemente le baseline promptate e eguagliano le prestazioni dei modelli "Oracle" (a cui vengono fornite tutte le regole nel prompt) sulle transizioni di Livello 1 e Livello 2.

2. Impatto delle Regole di Business

• Dipendenza dalle Regole: Rimuovere le regole di business dal prompt causa un collasso uniforme delle prestazioni in tutte le classi di modelli (da ~40% di IoU a ~10% di IoU). Ciò conferma che le dinamiche aziendali sono guidate dalle regole, non dalla conoscenza pre-addestrata.
• Recupero vs. Memorizzazione: Per i modelli all'avanguardia, il recupero al momento dell'esecuzione recupera una grande frazione del segnale "Oracle" (raggiungendo IoU tra la metà degli anni '20 e la parte bassa degli anni '30 senza addestramento sull'istanza target), mentre la sola internalizzazione non riesce a generalizzare.

3. Previsione Multi-Step

• Accumulo di Errori: Nelle simulazioni multi-step (orizzonti $k=1$ a $5$), le prestazioni degradano per tutti i metodi all'aumentare della profondità.
• Vantaggio dell'Ancoraggio: Gli agenti di scoperta superano costantemente le baseline promptate a tutti gli orizzonti. La capacità di interrogare nuovamente l'istanza live ad ogni passo rinnova la visione del modello sulla configurazione, riducendo l'accumulo di errori rispetto all'affidamento esclusivo sugli stati previsti precedenti.

4. Analisi Stratificata per Livello

• Livello 1 e 2: Gli agenti di scoperta raggiungono prestazioni quasi Oracle, recuperando efficacemente regole e cascate nascoste.
• Livello 3: Rimane un divario di prestazioni per il Livello 3 (dinamiche inferite dall'esecuzione), dove gli esiti dipendono da comportamenti interni al motore non completamente esposti nella configurazione. Ciò suggerisce un limite strutturale a quanto può essere recuperato dalla sola configurazione.

Significato e Affermazioni

Il documento sostiene che la modellazione del mondo aziendale non dovrebbe basarsi esclusivamente su dinamiche fisse e internalizzate. Invece, in ambienti configurabili dove la logica di transizione è leggibile, gli agenti dovrebbero incorporare meccanismi per la scoperta al momento dell'esecuzione.

• Complementarità: Gli agenti di scoperta non sono un sostituto dei modelli del mondo appresi, ma un complemento necessario. Gli autori suggeriscono un futuro ibrido in cui gli agenti combinano priors appresi (per efficienza e riconoscimento di pattern) con recupero al momento dell'esecuzione (per robustezza contro i cambiamenti di configurazione).
• Cambiamento di Paradigma: Il lavoro sfida l'assunzione secondo cui le dinamiche dell'ambiente debbano essere "apprese" nel senso tradizionale. In contesti aziendali, il "modello del mondo" può essere parzialmente esternalizzato, con l'agente che agisce come un ragionatore dinamico sulle configurazioni live del sistema piuttosto che come un simulatore statico.
• Limitazioni: Gli autori notano che la scoperta dipende dall'ispezionabilità delle regole (i controlli di accesso possono degradare le prestazioni fino alla baseline promptata) e dalle capacità di utilizzo degli strumenti del modello sottostante. Inoltre, le dinamiche di Livello 3 rimangono una sfida, indicando che alcuni aspetti del comportamento aziendale non sono completamente recuperabili dagli artefatti di configurazione statica.

In conclusione, il documento dimostra che per i sistemi aziendali, ancorare le previsioni all'istanza di sistema attiva tramite scoperta al momento dell'esecuzione è più robusto ai cambiamenti di distribuzione rispetto all'affidamento su modelli del mondo internalizzati addestrati offline.