Recovering Engineering-Change Traceability from Legacy CNC Work Orders: A Pydantic Schema and Few-Shot LLM Extraction Baseline

Immaginate di essere un detective che cerca di risolvere un mistero, ma gli indizi non sono scritti ordinatamente su cartoncini indice. Invece, sono scarabocchiati nei margini di vecchie ricevute stropicciate, scritti in un mix di due lingue, e parte della carta è stata masticata da un cane affamato. Questo è il mondo della Gestione delle Modifiche Ingegneristiche (ECM). Nel gioco ad alta posta in gioco della costruzione di macchine, le cose raramente vanno esattamente come previsto. Un componente potrebbe rompersi, una regola potrebbe cambiare o un materiale potrebbe dover essere sostituito. Nelle grandi e sofisticate fabbriche, queste modifiche vengono tracciate in enormi database digitali che fungono da schedari perfetti e organizzati. Ma nei piccoli laboratori, la "storia" di queste modifiche vive spesso in brevi e disordinati appunti lasciati dai lavoratori su vecchi sistemi informatici. Questi appunti sono il "testo libero" del mondo manifatturiero: brevi, caotici e spesso interrotti a metà frase perché il vecchio software in cui sono stati scritti aveva un minuscolo limite di memoria.

La sfida per gli scienziati è trasformare questi disordinati scarabocchi bilingui (un mix di Cinese Tradizionale e Inglese) in un elenco pulito e strutturato che un computer possa effettivamente leggere e utilizzare. Questo è chiamato Estrazione delle Informazioni. È come cercare di insegnare a un robot a leggere i caotici messaggi di testo di un adolescente e trasformarli in un rapporto formale. L'obiettivo è scoprire cosa è cambiato, quando è cambiato e come un ordine di lavoro è collegato a un altro, il tutto senza perdere la storia nel processo. Se non riusciamo a farlo, le aziende perdono la capacità di tracciare i propri errori o i propri miglioramenti, il che è come cercare di guidare un'auto senza sapere dove va la strada.

---

Il Mistero del Limite di 255 Caratteri

In questo studio, ricercatori di Taiwan hanno affrontato un problema molto specifico e molto disordinato. Sono andati in un'azienda di macchinari CNC (un luogo che costruisce parti metalliche di precisione) e hanno esaminato i loro vecchi ordini di lavoro. Hanno trovato 399 di questi ordini, ma solo 217 contenevano degli appunti. Gli appunti erano un mix caotico di Cinese Tradizionale e Inglese, pieni di gergo industriale e — ecco il colpo di scena — 125 di essi erano letteralmente troncati esattamente a 255 caratteri.

Perché 255? Si scopre che l'azienda utilizzava un vecchio sistema di database chiamato Microsoft Access, che aveva una regola secondo la quale una casella di testo poteva contenere solo 255 lettere. Se un lavoratore scriveva una nota più lunga, il computer la tagliava semplicemente, spesso proprio nel mezzo di una frase o di un dettaglio cruciale. È come cercare di leggere una ricetta dove le istruzioni per "aggiungere le uova" sono tagliate, lasciandoti solo con "aggiungere le..." e poi nulla.

Il team voleva vedere se potevano usare un Small Language Model (SLM) — un tipo di IA che è abbastanza intelligente da comprendere il linguaggio ma abbastanza piccola da girare su un computer normale senza bisogno di internet — per sistemare questo pasticcio. Non volevano inviare i dati segreti dell'azienda a un enorme server nel cloud; volevano mantenerli locali e privati.

Il Kit di Attrezzi del Detective: Pydantic e il Test di "Grounding"

Per risolvere questo problema, i ricercatori hanno costruito un "modello" speciale chiamato schema Pydict. Pensate a questo come a uno stampo per biscotti digitale molto rigido. Non importa quanto sia disordinata la pasta (il testo), lo stampo la costringe in una forma perfetta. L'IA è stata addestrata per guardare le note disordinate e forzare le informazioni in questa forma specifica, identificando elementi come "Componente" (cosa è cambiato), "Sostituzione" (con cosa è stato scambiato) e "Collegamenti di Tracciabilità" (come questo lavoro si collega a un precedente).

Hanno utilizzato un modello da 3 miliardi di parametri (un'IA "piccola" nel mondo dei grandi modelli linguistici) e hanno insegnato a questo modello a riempire lo stampo per biscotti. Ma c'era un problema: l'IA è un po' una sognatrice. Quando vede una nota su un componente di una macchina, a volte si entusiasma così tanto per ciò che potrebbe essere vero che inventa dettagli che non esistono realmente. Questo è chiamato allucinazione. È come uno studente che, quando gli viene chiesto di riassumere una storia, inventa un personaggio che non era nel libro perché pensa che renda la storia migliore.

I Risultati: Brava a Trovare, Scarsa a Filtrare

I risultati sono stati un misto di successo e di un tipo molto specifico di fallimento.

Per prima cosa, la buona notizia: l'IA è stata incredibilmente brava a seguire le regole. Il 96,9% delle volte, ha prodotto una risposta perfettamente formattata che si adattava allo stampo. Ha individuato con successo la maggior parte delle modifiche e riusciva persino a notare quando una nota era stata tagliata.

Tuttovia, l'IA aveva un grande difetto caratteriale: era troppo generosa.

• Per trovare le cose (Recall): Era brava. Ha trovato l'80% delle connessioni reali tra gli ordini di lavoro.
• Per essere accurata (Precision): Era terribile. Solo il 10% delle connessioni che sosteneva di aver trovato era realmente esistente.

In parole povere: l'IA urlava: "Ho trovato un collegamento! Ho trovato un collegamento!" ed era nel giusto solo 1 volta su 10. Urlava "Ho trovato un collegamento!" quando non c'era alcun collegamento per 9 volte su 10. Inventava connessioni per essere utile, il che è pericoloso in una fabbrica dove è necessario sapere esattamente cosa è successo.

Le Due Soluzioni: Un Avvertimento vs Un Filtro

I ricercatori hanno provato due modi diversi per impedire all'IA di inventare cose.

Tentativo 1: Il Prompt "Solo i Fatti"
Hanno provato a parlare all'IA, aggiungendo un'istruzione speciale al prompt: "Scrivi solo le cose che puoi vedere nel testo. Se non sei sicura, lascia vuoto."

• Il Risultato: Questo è tornato contro di loro. L'IA non ha solo smesso di inventare cose; ha smesso di scrivere qualsiasi cosa di utile. È diventata così timorosa di commettere un errore che ha cancellato anche le informazioni reali. Il numero di collegamenti corretti è sceso dall'80% al 40%. L'istruzione "Solo i Fatti" ha reso l'IA troppo timida per svolgere il suo compito.

Tentativo 2: Il "Filtro della Verità"
Inveve di chiedere all'IA di essere cauta, i ricercatori hanno costruito un filtro automatico separato che operava dopo che l'IA aveva finito il suo lavoro. Questo filtro aveva una regola semplice: "Se l'IA ha scritto una parola o un numero, controlla se quella parola o quel numero appare nel testo originale. Se non appare, cancellalo."

• Il Risulto: Questo è stato un grande miglioramento, ma non una cura magica. Il filtro non ha cambiato il numero di cose che l'IA trovava (il Recall è rimasto all'80%), e ha eliminato tutte le parole false che non erano presenti nel testo, portando il conteggio delle allucinazioni di stringhe inventate a zero. Tuttavia, l'accuratezza dell'IA (Precision) è salita solo dal 10% al 13,3%.

Perché non è arrivata al 100%? Perché l'IA commetteva ancora un altro tipo di errore. Anche quando le parole che usava erano reali e presenti nel testo, a volte le attribuiva alla relazione sbagliata. Per esempio, potrebbe vedere due numeri di ordine di lavoro in una nota e ipotizzare che siano collegati, quando in realtà sono solo menzionati uno accanto all'altro per un motivo diverso. Il filtro non può intercettare questo, perché le parole sono presenti; l'errore risiede nella logica della connessione, non nelle parole stesse.

La Conclusione

L'articolo conclude che, per questo tipo specifico e disordinato di dati, non si può semplicemente dire a un'IA di "essere onesta". A queste dimensioni, l'IA non capisce davvero la differenza tra "ciò che è nel testo" e "ciò che penso sia nel testo". Ha bisogno di un filtro deterministico — un controllore di regole rigido e privo di emozioni — per pulire il suo lavoro.

Lo studio dimostra che possiamo recuperare la storia delle modifiche ingegneristiche da questi vecchi appunti frammentati, ma dobbiamo accettare che l'IA commeterà comunque errori logici anche dopo aver corretto le allucinazioni sulle parole. L'istruzione di "grounding" (dirle di essere cauta) peggiora le cose, ma un "filtro post-hoc" (controllare il suo lavoro successivamente) riesce a rimuovere tutte le parole inventate e migliora l'accuratezza, sebbene non possa risolvere la confusione dell'IA riguardo a come le cose siano correlate. È un promemoria del fatto che, a volte, il modo migliore per gestire un robot sognatore non è fare la predica, ma fornirgli un fact-checker capace di scovare le bugie, anche se il robot continua a sbagliare la trama.