Enhancing BiGRU with a KAN Block for Legal Document Classification and Summarization

Riepilogo Tecnico: Potenziamento di BiGRU con un Blocco KAN per la Classificazione e la Sintesi di Documenti Legali

Problema
Il documento affronta le sfide della classificazione e della sintesi di documenti legali in un contesto multilingue a basse risorse. Nello specifico, si rivolge a testi legali del Bangladesh, che presentano una combinazione unica di difficoltà:

• Multilinguismo: Il dataset contiene un mix di bengalese, inglese e bengalese traslitterato (romanizzato), creando significative variazioni di vocabolario e sintassi.
• Specificità del Dominio: I documenti legali (note di casi, sentenze, giudizi) sono lunghi, strutturati e contengono terminologie specializzate che richiedono la cattura sia della semantica locale che delle dipendenze a lungo termine.
• Sbilanciamento delle Classi: La variabile target, "Disposizione", è divisa in 10 classi con distribuzioni altamente irregolari, il che porta a un bias verso le classi maggioritarie nei modelli di addestramento standard.
• Vincoli di Risorse: Lo studio opera sotto limitate risorse computazionali, rendendo necessarie architetture efficienti piuttosto che massicci modelli pre-addestrati.

Gli approcci esistenti, inclusi il machine learning classico (SVM, Random Forest) e i modelli standard di deep learning (BiLSTM, BiGRU), faticano con questi specifici vincoli, in particolare nel modellare relazioni non lineari intricate e nel gestire il rumore multilingue senza conteggi massicci di parametri.

Metodologia
Gli autori propongono un'architettura innovativa che aumenta le reti ricorrenti esistenti con le Kolmogorov-Arnold Networks (KAN). Invece di sostituire l'ossatura ricorrente, il blocco KAN viene utilizzato come modulo di potenziamento per migliorare l'apprendimento delle rappresentazioni.

1. Dataset: Lo studio utilizza un dataset di 2.937 documenti legali provenienti da Manupatra. I dati sono suddivisi in 2.349 casi di addestramento e 588 casi di valutazione tenuti da parte. Il pre-processing include la gestione dei valori mancanti, la normalizzazione del testo e la tokenizzazione. Per affrontare lo sbilanciamento delle classi, viene impiegato un WeightedRandomSampler durante l'addestramento.
2. Architettura di Classificazione:
   • Backbone: Una Bidirectional Gated Recurrent Unit (BiGRU) elabora la sequenza di token in input per catturare il contesto bidirezionale.
   • Aggregazione: Mean pooling e max pooling sono applicati agli stati nascosti per generare una rappresentazione del documento a dimensione fissa ($h_{doc}$).
   • Potenziamento KAN: La rappresentazione del documento viene passata attraverso un blocco KAN ($\hat{h}_{doc} = KAN(h_{doc})$) prima della testa di classificazione finale. Il blocco KAN introduce funzioni di bordo parametrizzate basate su spline per apprendere trasformazioni non lineari complesse delle caratteristiche ricorrenti.
3. Architettura di Sintesi:
   • Backbone: Un framework encoder-decoder basato su attenzione GRU.
   • Potenziamento KAN: Una testa KAN è aggiunta sopra il modello ricorrente basato su attenzione per raffinare la rappresentazione prima della predizione dei token, migliorando la capacità espressiva del modello.
4. Addestramento: I modelli sono addestrati per 200 epoche utilizzando l'ottimizzatore Adam, un tasso di apprendimento di $2 \times 10^{-5}$ e una dimensione del batch di 8.

Contributi Chiave

• Architettura Innovativa: Introduzione di un modello BiGRU-KAN per la classificazione legale e di un modello attention-based GRU-KAN per la sintesi legale.
• Focus su Multilinguismo e Basse Risorse: Applicazione riuscita di questi modelli su un impegnativo dataset legale bengalese contenente bengalese, inglese e bengalese romanizzato.
• Validazione tramite Ablazione: Dimostrazione che il blocco KAN è un componente critico, che aumenta significativamente le prestazioni rispetto ai modelli ricorrenti di base senza KAN.
• Mitigazione dello Sbilanciamento: Implementazione di WeightedRandomSampler per gestire la distribuzione asimmetrica delle etichette di disposizione.

Risultati Sperimentali
I modelli proposti sono stati confrontati con algoritmi di machine learning classico (Regressione Logistica, SVM, Random Forest, ecc.) e Modelli di Linguaggio Pre-addestrati (PLM) come BERT, RoBERTa e T5, nonché con baseline ricorrenti (BiLSTM, BiGRU senza KAN).

• Prestazioni di Classificazione:
  • Il modello BiGRU + KAN ha raggiunto un'accuratezza del 67,96% e un punteggio F1 pesato di 0,65.
  • Ha superato i migliori modelli di ML classico (Random Forest e SVM al 62%) e ha superato significativamente la baseline BiGRU senza KAN (57,34%).
  • Notevolmente, il modello proposto ha superato diversi PLM (ad esempio, Legal-BERT al 38,85%, RoBERTa al 37,41%), ciò che gli autori attribuiscono ai vincoli di risorse e alle differenze nel tuning degli iperparametri durante il confronto.
• Prestazioni di Sintesi:
  • Il modello AttnGRU + KAN ha ottenuto punteggi ROUGE F1 di 0,38 (ROUGE-1), 0,23 (ROUGE-2) e 0,31 (ROUGE-L).
  • Questi risultati sono superiori a BiLSTM (0,30/0,18/0,25) e alle reti Pointer-Generator (0,35/0,20/0,28).
• Studio di Ablazione: La rimozione del blocco KAN ha causato un calo dell'accuratezza di classificazione dal 67,96% al 57,34%, confermando l'efficacia del blocco nel potenziare la trasformazione non lineare delle caratteristiche.

Significatività e Rivendicazioni
Il documento sostiene che l'integrazione di blocchi KAN nelle architetture ricorrenti è una strategia valida ed efficace per i compiti di NLP legale, in particolare in ambienti multilingue a basse risorse. Lo studio suggerisce che:

1. KAN come Potenziatori: Le KAN fungono da potenti miglioramenti architettonici che raffinano le rappresentazioni apprese dalle standard RNN, offrendo una migliore separazione delle classi e gestendo le sfumature legali non lineari.
2. Efficienza: L'approccio proposto ottiene risultati superiori rispetto sia al ML classico che a diversi PLM in condizioni di risorse limitate, suggerendo che l'innovazione architettonica può talvolta prevalere sulla necessità di un massiccio pre-addestramento in domini specifici.
3. Limitazioni: Gli autori riconoscono modestamente le sfide rimanenti, tra cui la difficoltà di predire le classi minoritarie nonostante le tecniche di campionamento, la complessità introdotta dalla natura multilingue dei dati e l'occasionale omissione di dettagli procedurali nelle sintesi. Notano inoltre che i confronti con i PLM sono stati limitati dai vincoli computazionali e dai budget di tuning.

In conclusione, lo studio postula che i miglioramenti architettonici, specificamente l'aggiunta di blocchi KAN alle basi RNN, sono cruciali per avanzare le prestazioni nelle applicazioni di NLP legale con risorse limitate.