From Regulation to Implementation: A Critical Evaluation of LLM-Assisted Regulatory Compliance in Industry

Nel mondo industriale moderno, le aziende si trovano ad affrontare una montagna crescente di regole progettate per proteggere il pianeta e la privacy delle persone. Per dimostrare di rispettare tali regole, le imprese devono creare documenti specifici, spesso chiamati artefatti di conformità. Pensateli come rapporti dettagliati che fungono da passaporto per un prodotto o da audit di sicurezza per un sistema informatico. Una importante norma europea richiede un passaporto digitale per ogni batteria venduta, che elenchi esattamente quali materiali sono contenuti al suo interno e come riciclarli. Un'altra regola esige una valutazione del rischio per qualsiasi sistema che gestisca dati personali, garantendo che le informazioni private delle persone siano al sicuro. Creare questi documenti manualmente è difficile perché i dati necessari sono sparsi in molti sistemi informatici diversi e arrivano in formati disordinati e incoerenti. Mentre le aziende lottano con questa burocrazia, si sono rivolte all'intelligenza artificiale, specificamente ai modelli linguistici di grandi dimensioni, per scrivere questi rapporti per loro. Questi programmi informatici sono eccellenti nel leggere testi e generare nuovi contenuti, ma rimane incerto se possano essere considerati affidabili nel seguire rigide istruzioni legali senza inventare cose o tralasciare dettagli critici.

Un team di ricercatori si è posto l'obiettivo di testare esattamente quanto bene queste tecnologie di intelligenza artificiale performino quando viene chiesto loro di scrivere questi rapporti obbligatori. Si sono concentrati su due tipi di documenti molto diversi per vedere se la natura delle istruzioni cambiasse il risultato. Il primo era un Passaporto Digitale della Batteria, un documento con una struttura molto chiara e rigida definita dai regolatori. Il secondo era una Valutazione di Impatto sulla Protezione dei Dati, un documento richiesto dalle leggi sulla privacy che è molto più aperto e vago nelle sue istruzioni. I ricercatori hanno sottoposto cinque diversi modelli di intelligenza artificiale a una serie di compiti. In alcuni casi, hanno dato ai modelli un'istruzione semplice e breve per scrivere il rapporto. In altri casi, hanno fornito una guida lunga e dettagliata che spiegava esattamente quali informazioni fossero necessarie e come formattarle. Hanno eseguito questi test più volte per vedere se i modelli producessero lo stesso risultato ogni volta, e poi hanno controllato se i rapporti generati contenessero tutte le informazioni legalmente richieste.

I risultati hanno rivelato una netta divisione tra il modo in cui i modelli gestivano i due tipi di documenti. Quando venivano incaricati di creare il Passaporto Digitale della Batteria, i sistemi di intelligenza artificiale erano straordinariamente coerenti. Poiché le regole per questo documento erano così specifiche, i modelli producevano output quasi identici indipendentemente dal fatto che le istruzioni fossero brevi o lunghe. Essi riuscivano a estrarre con successo i dati necessari sui materiali della batteria e a formattarli correttamente quasi ogni volta. Tuttavia, la storia cambiava completamente quando i modelli affrontavano la Valutazione di Impatto sulla Protezione dei Dati. In questo caso, la mancanza di una struttura rigida faceva sì che i modelli faticassero a mantenere la coerenza. Quando ricevevano solo il testo normativo di base senza ulteriori guide, i modelli producevano spesso rapporti che tralasciavano sezioni chiave o variavano enormemente da un tentativo all'altro. I ricercatori hanno scoperto che per questi compiti vaghi, fornire al modello più contesto ed esempi specifici era essenziale per ottenere un risultato affidabile. Senza quell'aiuto extra, i modelli tendevano a omettere dettagli importanti, come la gestione dei limiti di conservazione dei dati o la valutazione dei rischi per gli individui.

Uno dei risultati più sorprendenti fu il modo in cui i modelli reagivano al livello di dettaglio delle istruzioni. Per il passaporto della batteria, rigoroso, aggiungere più dettagli al prompt non cambiava significativamente la qualità dell'output, ma poteva portare a più allucinazioni nel contenuto. Per la valutazione della privacy, tuttavia, accadeva l'opposto. I modelli avevano bisogno di quel contesto extra per performare bene. Quando le istruzioni erano troppo vaghe, i modelli spesso non includevano le sezioni richieste, suggerendo che il linguaggio legale attuale sia troppo ampio perché questi strumenti possa interpretarlo in modo affidabile autonomamente. Lo studio ha inoltre evidenziato come diversi modelli di intelligenza artificiale si comportassero in modo differente; alcuni erano costantemente affidabili in tutti i compiti, mentre altri erano inclini a tralasciare informazioni importanti quando le istruzioni non erano cristalline.

In definitiva, la ricerca suggerisce che il successo dell'uso dell'intelligenza artificiale per la conformità legale dipenda fortemente dal tipo di documento creato. Per compiti altamente strutturati come il passaporto della batteria, la tecnologia è pronta per essere utilizzata con una configurazione minima. Ma per compiti complessi e aperti come le valutazioni della privacy, non basta chiedere semplicemente al computer di seguire la legge. I ricercatori hanno concluso che, per far sì che questi strumenti funzionino efficacemente per le parti vaghe della regolamentazione, le aziende devono investire tempo nella creazione di prompt dettagliati e specifici che guidino l'intelligenza artificiale attraverso i passaggi necessari. Finché le regolamentazioni stesse non diventeranno più specifiche su ciò che questi documenti devono contenere, o finché non migliorerà il modo in cui istruiamo queste macchine, l'uso dell'intelligenza artificiale per la conformità rimarrà un misto di alta affidabilità per alcuni compiti e rischio significativo per altri.