Where A Small Language Model Helps in Invoice Categorisation, Understood Through Embedding Geometry

Ogni azienda che acquista o vende beni deve tenere un registro preciso di ogni transazione. Quando un'azienda riceve una fattura, un contabile umano deve decidere a quale categoria specifica appartiene quella spesa, un compito noto come assegnazione di un codice di Libro Giornale (General Ledger). Questo non è un semplice lavoro di smistamento; richiede un giudizio professionale per capire se un acquisto è destinato alle operazioni quotidiane, a un investimento di capitale o a una spesa personale di un proprietario di un'azienda. Comprendere correttamente questo aspetto è la base per una rendicontazione finanziaria accurata e per la conformità fiscale. Se questi codici sono errati, le piccole imprese affrontano sanzioni inutili e i governi perdono miliardi in entrate fiscali. Per anni, la speranza è stata che l'intelligenza artificiale potesse automatizzare questo difficile lavoro, ma la tecnologia ha spesso faticato a eguagliare la sfumatura di un contabile esperto.

Ricercatori dell'Università di Bristol e di System Holdings Limited hanno recentemente esplorato una strada diversa. Invece di utilizzare sistemi di IA massicci e complessi che richiedono enormi quantità di potenza di calcolo e sollevano preoccupazioni sulla privacy dei dati, hanno testato se modelli linguistici più piccoli e specializzati potessero imparare a svolgere questo compito in modo efficace. Questi modelli più piccoli possono essere eseguiti su un singolo computer, mantenendo i dati finanziari sensibili al sicuro all'interno delle mura dell'azienda stessa. Il team voleva capire non solo se questi modelli funzionassero, ma anche come "pensassero". Hanno esaminato la "forma" matematica delle informazioni all'interno del computer, osservando come il modello raggruppava le fatture simili nella sua memoria interna. Hanno scoperto che il modo in cui questi modelli più piccoli organizzano le informazioni è sorprendentemente efficiente e che questa organizzazione è la chiave del loro successo.

I ricercatori hanno lavorato con un dataset reale di oltre duemila fatture provenienti da sette diversi clienti di uno studio contabile del Regno Unito. Ogni fattura era già stata correttamente categorizzata da contabili professionisti. Il team ha fornito questi dati a due diversi tipi di modelli di IA: un modello più piccolo ed efficiente chiamato SBERT, e uno più grande e complesso chiamato DeBERTa. Hanno testato i modelli con diverse versioni del testo della fattura. Una versione includeva solo il nome del fornitore, la data e il prezzo. Un'altra includeva l'elenco completo degli articoli acquistati. Una terza versione aggiungeva etichette esplicite, come "Nome del Fornitore:" o "Prezzo:", per rendere il testo più strutturato per un lettore umano.

I risultati hanno rivelato una verità controintuitiva su come le macchine leggono. La versione del testo più facile da leggere per un essere umano, con le sue etichette chiare e il formato strutturato, ha reso in realtà più difficile per l'IA distinguere tra diversi tipi di fatture. Quando il computer vedeva le parole "Nome del Fornitore" e "Prezzo" ripetute in ogni singolo documento, la rappresentazione matematica interna di quei documenti diventava troppo simile, sfocando i confini tra di essi. Il modello performava meglio quando riceveva il testo grezzo e non strutturato della fattura, proprio come un contabile umano potrebbe dare un'occhiata a una ricevuta disordinata. Il modello più piccolo, Sfert, si è dimostrato la scelta superiore. Addestrato su soli poche centinaia di esempi, ha raggiunto un alto livello di precisione, categorizzando le fatture molto meglio di un modello molto più grande o di un'IA "zero-shot" standard che non era stata addestrata su questo compito specifico.

Un esame più approfondito della memoria interna del computer ha spiegato perché il modello più piccolo avesse avuto successo laddove quello più grande aveva incontrato difficoltà. I ricercatori hanno scoperto che la rappresentazione interna dei dati del modello più grande era "collassata". Man mano che il testo diventava più lungo e dettagliato, la capacità del modello di distinguere tra diversi significati svaniva, e iniziava a fare affidamento principalmente sulla lunghezza del testo piuttosto che sul suo contenuto. Al contrario, il modello più piccolo manteneva uno spazio ricco e multidimensionale in cui diversi tipi di fatture occupavano regioni distinte. Persino prima di essere addestrato sul compito specifico, il modello raggruppava naturalmente le fatture in base all'azienda che le emetteva, mostrando che comprendeva la fonte del documento. Ancora più importante, riusciva a separare diverse categorie finanziarie anche quando il testo era simile, purché avesse visto abbastanza esempi.

Questa capacità di generalizzazione è stata fondamentale quando il team ha testato i modelli su un cliente completamente nuovo i cui dati non erano mai stati visti prima. Il modello più grande ha faticato significativamente, richiedendo centinaia di nuovi esempi per iniziare a funzionare correttamente. Il modello più piccolo, invece, si è adattato molto più velocemente, raggiungendo un alto livello di precisione con solo circa cento nuove fatture. Ciò suggerisce che il modello più piccolo avesse appreso un modo più robusto di comprendere il significato del testo, piuttosto che limitarsi a memorizzare schemi. Poteva trasferire ciò che aveva imparato da un'azienda all'altra, riconoscendo che una "riparazione motore" per un cliente era la stessa categoria di una "riparazione motore" per un nuovo cliente, indipendentemente dal fornitore specifico.

Lo studio conclude che per compiti come la categorizzazione delle fatture, un modello più piccolo e interno è spesso uno strumento migliore rispetto a uno massiccio e generico. Offre un equilibrio pratico tra costo, sicurezza e prestazioni. Eseguendosi su un singolo computer, mantiene privati i dati finanziari sensibili e, essendo più piccolo, è più economico da gestire. La ricerca ha anche dimostrato che aggiungere una struttura extra al testo non aiuta l'IA; anzi, il testo grezzo è spesso più efficace. Questo reperimento semplifica il processo per le aziende, poiché non devono spendere tempo e denaro per riformattare le loro fatture prima di inserirle nel sistema. Il lavoro dimostra che, con l'approccio corretto, l'intelligenza artificiale può gestire il giudizio sfumato e specializzato richiesto nella contabilità, a patto che il sistema sia progettato per comprendere la geometria dei dati piuttosto che solo il volume del testo.