Riepilogo Tecnico: DIAGFLOWBENCH

Definizione del Problema

I Large Language Models (LLM) vengono sempre più impiegati come sistemi di consulenza per la manutenzione, basati su documentazione procedurale (ad esempio, diagrammi di flusso) per vincolare gli output a passaggi approvati e prevenire le allucinazioni. Sebbene i benchmark esistenti valutino la capacità di un modello di seguire queste procedure su input puliti e mappabili, essi non riescono ad affrontare una dinamica critica del mondo reale: gli operatori deviano frequentemente dal percorso documentato. Nella pratica, gli operatori segnalano sintomi inediti, pongono domande durante l'ispezione o utilizzano uno slang specifico del settore che non si mappa chiaramente con i rami della procedura.

Gli attuali paradigmi di valutazione trattano il riconoscimento di un input "fuori procedura" come un compito di astensione separato a turno singolo. Tuttavia, in un dialogo diagnostico live, un modello deve simultaneamente avanzare attraverso turni conformi e riconoscere input non conformi all'interno della stessa conversazione. Il documento sostiene che i benchmark esistenti non testano adeguatamente la capacità di un modello ancorato (grounded) di gestire questi input "fuori procedura", in particolare il rischio che un modello possa selezionare un passaggio reale ma contestualmente inappropriato invece di fabbricare un fatto.

Metodologia

Gli autori introducono DIAGFLOWBENCH, un benchmark progettato per valutare i modelli ancorati a diagrammi di flusso sia in condizioni cooperative che fuori procedura.

Costruzione del Dataset

• Fonte: 50 diagrammi di flusso diagnostici industriali anonimizzati provenienti da un produttore di beni di consumo, che coprono classi di guasti quali il tracciamento del nastro trasportatore e il posizionamento robotico.
• Struttura: I grafi contengono tra 7 e 60 nodi (media 31) con fattori di ramificazione decisionale compresi tra 2 e 4.
• Conversazioni: Questi diagrammi di flusso sono stati renderizzati in 1.676 conversazioni multi-turno.
  • Cooperative: 838 conversazioni in cui l'operatore segue rigorosamente la procedura.
  • Miste: 838 conversazioni in cui input fuori procedura vengono iniettati in posizioni non terminali.
• Categorie di Iniezione: Gli input fuori procedura sono stratificati in tre tipi in base al loro rapporto con la procedura:
  1. Gap di Copertura (Coverage Gap): Un sintomo per il quale la procedura non ha un ramo dedicato.
  2. Malfunzionamento Non Documentato: Un guasto al di fuori di qualsiasi condizione di ramo al nodo corrente.
  3. Domanda Non Correlata: Una query interamente esterna al compito diagnostico.
• Perturbazione del Rumore: Una fase di robustezza introduce refusi, frasi telegrafiche e abbreviazioni caratteristiche dei testi degli ordini di lavoro di manutenzione.

Protocollo di Valutazione

Lo studio valuta dieci modelli commerciali e open-weight (inclusi varianti di Gemini, GPT-4o, Llama 4, Qwen3, Mistral e Nemotron). La valutazione definisce modalità di fallimento specifiche per i turni fuori procedura:

• Astensione Corretta (CA): Il modello riconosce che l'input è fuori ambito e declina o reindirizza.
• Fabbricazione (FA): Il modello restituisce un passaggio assente dalla procedura (allucinazione standard).
• Mappatura Forzata (FM): Il modello restituisce un nodo genuino dal grafo della procedura, ma nessun arco verso quel nodo è implicato dall'enunciato dell'operatore. Questo è il principale modo di fallimento investigato.

Le metriche includono l'Accuratezza del Passaggio (SA) e il Riconoscimento della Terminazione (TR) per i turni in procedura, e i tassi di CA, FA e FM per i turni fuori procedura. Un modello linguistico judge (Claude Haiku) classifica le risposte fuori procedura, validato rispetto ad annotatori umani.

Contributi Chiave

1. Dataset DIAGFLOWBENCH: Un dataset di 50 diagrammi di flusso industriali convertiti in 1.676 conversazioni multi-turno che mettono esplicitamente a confronto i dialoghi conformi con quelli fuori procedura.
2. Valutazione Comprensiva: Una valutazione di dieci modelli diversi tra categorie commerciali e open-weight, analizzando le prestazioni attraverso diverse architetture e scale.
3. Identificazione della "Mappatura Forzata": Il documento identifica e definisce una specifica modalità di fallimento in cui i modelli assegnano forzatamente una query fuori procedura a un passaggio inapplicabile. A differenza della fabbricazione, questi passaggi sono strutturalmente validi e ancorati al manuale, il che li rende difficili da rilevare tramite standard di controllo della somiglianza.

Risultati

• Competenza On-Procedure: I modelli generalmente performano bene sugli input conformi, con un'Accuratezza del Passaggio (SA) compresa tra il 70,1% e l'85,0%. Tuttavia, il Riconoscimento della Terminazione (TR) è significativamente più volatile (dal 38,8% al 98,5%).
• Competenza Off-Procedure:
  • La Fabbricazione (FA) è bassa: L'ancoraggio impedisce con successo ai modelli di inventare passaggi (tassi di FA tra il 2,2% e l'8,6%).
  • La Mappatura Forzata (FM) è dominante: I tassi di FM sono sostanzialmente più alti e volatili (dal 15,7% al 67,4%), emergendo come la principale modalità di fallimento.
  • L'astensione è inconsistente: I tassi di Astensione Corretta (CA) variano ampiamente e non sono predetti in modo affidabile dalla scala del modello, dall'architettura o dal livello di accesso. Notevolmente, modelli più vecchi (Llama 3.3 70B) talvolta superano le generazioni più recenti (Llama 4) nella gestione fuori procedura.
• Recupero: Un singolo errore FM o FA causa un collasso catastrofico nelle prestazioni successive. Il tasso di recupero (identificazione corretta del passaggio successivo dopo un fallimento) scende tra l'1,0% e il 9,1%, rispetto alla baseline del 70-85% per le conversazioni pulite.
• Driver della FM: La mappatura forzata è fortemente governata dalla somiglianza lessicale tra la query fuori procedura e il testo della procedura. I modelli sono più propensi a mappare forzatamente i "Gap di Copertura" (che condividono il vocabolario con il manuale) rispetto alle domande non correlate.

Significato e Rivendicazioni

Il documento sostiene che i meccanismi di vincolo progettati per prevenire le allucinazioni (ancorare i modelli a un set chiuso di passaggi procedurali) possono involontariamente creare un "punto cieco". Forzando i modelli a selezionare da un set valido di nodi, il sistema può camuffare errori contestuali come passaggi validi.

Gli autori sostengono che:

1. L'affidabilità non può essere inferita da bassi tassi di FA: Un modello con bassi tassi di fabbricazione può comunque essere altamente inaffidabile a causa di alti tassi di mappatura forzata.
2. Le protezioni standard sono insufficienti: Poiché i passaggi FM sono tracciabili al manuale e strutturalmente validi, essi sfuggono alla standard rilevazione delle allucinazioni.
3. La valutazione deve misurare la sicurezza del fallimento: Valutare i sistemi di consulenza richiede di misurare non solo la conformità, ma anche quanto sia sicuro il fallimento del modello quando la realtà diverge dal manuale.
4. La selezione del modello non è una soluzione definitiva: Né la scala del modello né l'architettura orientata al ragionamento predicono in modo definitivo l'affidabilità fuori procedura; in alcuni casi, i modelli di ragionamento mostrano una tendenza insolitamente bassa all'astensione.

Lo studio conclude che un deployment robusto richiede livelli di verifica esterni capaci di valutare l'implicazione contestuale, piuttosto che fare affidamento esclusivamente sui modelli generativi per distinguere tra input ambigui e genuinamente fuori procedura.