Auditing the Auditor: Extraction Accuracy, Hallucination, and Abstention in Open-Weight LLMs for ESG Reporting A Longitudinal Empirical Benchmark Across 518 Corporate Disclosures (2010–2026)
Questo benchmark longitudinale di cinque LLM open-weight su 518 report ESG rivela che, sebbene i modelli riassumano in modo affidabile le politiche narrative, essi faticano con l'estrazione numerica precisa e spesso allucinano dati senza un ragionamento esplicito o istruzioni rigorose, evidenziando una necessità critica di meccanismi di astensione migliorati nell'audit automatizzato della sostenibilità.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo del business moderno, l'impegno di un'azienda verso l'ambiente, il trattamento dei lavoratori e la sua governance etica non sono più solo questioni di pubbliche relazioni. Questi fattori sono diventati dati concreti, legalmente richiesti in molti luoghi, e sottoposti al controllo di investitori che devono sapere se una corporazione è veramente sostenibile o se sta solo fingendo di esserlo. Questo cambiamento ha creato una sfida enorme per i revisori. Un singolo rapporto di sostenibilità può estendersi per centinaia di pagine, piene di tabelle dense di numeri, note a piè di pagina e definizioni variabili. Per dare un senso a questo volume, le istituzioni finanziarie si stanno rivolgendo all'intelligenza artificiale, specificamente a un tipo di programma informatico noto come modello linguistico di grandi dimensioni. Questi programmi sono addestrati su enormi quantità di testo e possono leggere documenti per trovare risposte specifiche, proprio come un bibliotecario molto veloce e molto colto. Tuttavia, affinché questi strumenti possano essere affidati ad audit ufficiali, devono fare di più che limitarsi a riassumere una storia; devono estrarre numeri esatti senza inventare nulla e devono sapere quando ammettere che una risposta semplicemente non esiste nel documento.
Un team di ricercatori dell'Università del Ghana si è posto l'obiettivo di testare esattamente quanto bene questi modelli di intelligenza artificiale open-source operino in questo ambiente ad alta posta in gioco. Hanno raccolto una vasta collezione di 518 veri rapporti di sostenibilità aziendale pubblicati tra il 2010 e il 2026, coprendo un periodo che include sia i vecchi rapporti volontari che i nuovi documenti strettamente regolamentati richiesti dalla legge europea. Da questa biblioteca di documenti, hanno creato un test rigoroso composto da 120 domande di audit specifiche. Queste domande variavano dal chiedere semplici riassunti di politiche al richiedere cifre precise per le emissioni di gas serra o l'uso dell'acqua. I ricercatori hanno poi sottoposto queste domande a cinque diversi modelli di intelligenza artificiale all'avanguardia, simulando uno scenario del mondo reale in cui il computer cerca prima la pagina pertinente nel documento e poi tenta di leggere la risposta. Fondamentalmente, per garantire l'equità, hanno utilizzato un sistema di intelligenza artificiale separato e indipendente per valutare le risposte, impedendo ai modelli di dare a se stessi punteggi alti per il proprio lavoro.
I risultati hanno rivelato una netta divisione tra quanto bene queste macchine comprendano le parole rispetto a quanto bene gestiscano i numeri. Quando venivano hỏi di riassumere le politiche o gli impegni generali di un'azienda, i modelli si comportavano piuttosto bene, catturando spesso l'essenza del testo con un'alta precisione. Tuttavia, quando il compito richiedeva di estrarre un numero specifico da una tabella complessa — come l'esatta quantità di anidride carbonica emessa in un anno specifico — le loro prestazioni calavano significativamente. Anche quando i ricercatori fornivano ai modelli la pagina perfetta del rapporto, il modello con le migliori prestazioni riusciva a estrarre il numero corretto solo circa il 73 percento delle volte. La difficoltà risiedeva spesso non nel trovare la pagina giusta, ma nel leggere correttamente la tabella, come confondere il totale di una casa madre con la cifra di una sussidiaria o leggere male le unità di misura.
Forse il riscontro più critico riguardava il modo in cui questi modelli si comportano quando la risposta manca. In un audit reale, un'azienda potrebbe non riportare una metrica specifica, o una ricerca potrebbe accidentalmente estrarre una pagina di un anno sbagliato. I ricercatori hanno testato questo aspetto fornendo ai modelli una domanda riguardante i rifiuti pericolosi del 2024, ma fornendo una pagina di documento che discuteva solo il riciclo dell'acqua del 2022. Sotto istruzioni standard, molti dei modelli cercavano di essere utili inventando un numero o sostituendo una cifra simile di un anno diverso, un comportamento noto come allucinazione. Ciò accadeva in quasi la metà dei casi per alcuni modelli. Tuttavia, lo studio ha dimostrato che questa tendenza pericolosa poteva essere ampiamente corretta. Fornendo ai modelli l'istruzione rigorosa di dire "Non posso rispondere" se il dato esatto non era presente, il tasso di numeri inventati è crollato drasticamente. Inoltre, un modello progettato per "pensare" attraverso il proprio ragionamento prima di rispondere era naturalmente più bravo a individuare questi disallineamenti e a rifiutarsi di indovinare, anche senza le istruzioni rigorose.
Lo studio ha anche esaminato come la natura mutevole della rendicontazione aziendale influenzi questi strumenti. I ricercatori hanno scoperto che i nuovi rapporti obbligatori richiesti dalle normative europee, che utilizzano tabelle standardizzate e etichette coerenti, sono in realtà più facili da leggere per l'intelligenza artificiale rispetto ai vecchi rapporti volontari. Una volta che il computer trovava la sezione corretta in questi documenti moderni, la sua precisione migliorava sensibilmente. Ciò suggerisce che, man mano che le regolamentazioni costringono le aziende a organizzare i propri dati in modo più chiaro, questi strumenti diventeranno più affidabili. In definitiva, la ricerca conclude che, sebbene l'intelligenza artificiale sia pronta ad aiutare a riassumere le storie che le aziende raccontano sulla propria sostenibilità, non è ancora pronta a sostituire i revisori umani per il controllo dei numeri duri. L'approccio più sicuro prevede l'uso di questi modelli per redigere bozze di riassunti e segnalare potenziali problemi, mantenendo però un essere umano nel processo per verificare le cifre finali, assicurando che i numeri siano reali e non solo un tentativo convincente.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.