Enhancing BiGRU with a KAN Block for Legal Document Classification and Summarization

Technische Samenvatting: Verbeteren van BiGRU met een KAN-blok voor juridische documentclassificatie en -samenvatting

Probleemstelling
Het artikel behandelt de uitdagingen van het classificeren en samenvatten van juridische documenten binnen een omgeving met beperkte middelen en meertaligheid. Specifiek richt het zich op juridische teksten uit Bangladesh, die een unieke combinatie van moeilijkheden presenteren:

• Meertaligheid: De dataset bevat een mix van Bengaals, Engels en geromaniseerd (Latijnse letters) Bengaals, wat zorgt voor aanzienlijke variaties in vocabulaire en syntaxis.
• Domeinspecifiteit: Juridische documenten (procesverslagen, uitspraken, vonnissen) zijn lang, gestructureerd en bevatten gespecialiseerde terminologie die zowel lokale semantiek als langetermijn-afhankelijkheden vereist om te vangen.
• Klassenimbalans: De doelvariabele, "Disposition" (beslissing), is verdeeld over 10 klassen met zeer ongelijke distributies, wat leidt tot een bias naar meerderheidsklassen tijdens standaard training.
• Beperkte middelen: De studie opereert onder beperkte computationele middelen, wat efficiënte architecturen noodzakelijk maakt in plaats van massieve pre-trained modellen.

Bestaande benaderingen, waaronder klassieke machine learning (SVM, Random Forest) en standaard deep learning modellen (BiLSTM, BiGRU), worstelen met deze specifieke beperkingen, met name bij het modelleren van complexe niet-lineaire relaties en het afhandelen van de meertalige ruis zonder enorme parameter-aantallen.

Methodologie
De auteurs stellen een nieuwe architectuur voor die bestaande recurrente netwerken aanvult met Kolmogorov-Arnold Networks (KANs). In plaats van de recurrente ruggengraat te vervangen, wordt het KAN-blok gebruikt als een verbeteringsmodule om representatie-leren te optimaliseren.

1. Dataset: De studie maakt gebruik van een dataset van 2.937 juridische documenten afkomstig van Manupatra. De data is gesplitst in 2.349 trainingsgevallen en 588 evaluatiegevallen. Preprocessing omvat het afhandelen van ontbrekende waarden, tekstnormalisatie en tokenisatie. Om de klassenimbalans aan te pakken, wordt tijdens de training een WeightedRandomSampler toegepast.
2. Classificatiearchitectuur:
   • Ruggegraat: Een Bidirectional Gated Recurrent Unit (BiGRU) verwerkt de input token-sequentie om bidirectionele context te vangen.
   • Aggregatie: Mean pooling en max pooling worden toegepast op de verborgen toestanden om een documentrepresentatie met een vaste grootte ($h_{doc}$) te genereren.
   • KAN-verbetering: De documentrepresentatie wordt door een KAN-blok ($\hat{h}_{doc} = KAN(h_{doc})$) geleid voordat de uiteindelijke classificatiekop wordt toegepast. Het KAN-blok introduceert geparametriseerde spline-gebaseerde randfuncties om complexe niet-lineaire transformaties van de recurrente kenmerken te leren.
3. Samenvattingsarchitectuur:
   • Ruggegraat: Een attention-gebaseerd GRU encoder-decoder framework.
   • KAN-verbetering: Een KAN-kop wordt boven het attention-gebaseerde recurrente model toegevoegd om de representatie te verfijnen voor de token-voorspelling, waardoor het expressieve vermogen van het model wordt verbeterd.
4. Training: Modellen worden getraind voor 200 epochs met de Adam-optimizer, een leersnelheid van $2 \times 10^{-5}$ en een batchgrootte van 8.

Belangrijkste Bijdragen

• Nieuwe Architectuur: Introductie van een BiGRU-KAN model voor juridische classificatie en een attention-gebaseerd GRU-KAN model voor juridische samenvatting.
• Focus op Meertalige Lage-Resource Context: Succesvolle toepassing van deze modellen op een uitdagende Bengaalse juridische dataset die Bengaals, Engels en geromaniseerd Bengaals bevat.
• Ablatie-validatie: Demonstratie dat het KAN-blok een kritieke component is, die de prestaties aanzienlijk verbetert ten opzien van de baseline recurrente modellen zonder KAN.
• Mitigatie van Imbalans: Implementatie van WeightedRandomSampler om de scheve distributie van de "disposition" labels te behandelen.

Experimentele Resultaten
De voorgestelde modellen werden vergeleken met klassieke machine learning algoritmen (Logistische Regressie, SVM, Random Forest, etc.) en Pre-trained Language Models (PLMs) zoals BERT, RoBERTa en T5, evenals recurrente baselines (BiLSTM, BiGRU zonder KAN).

• Classificatieprestaties:
  • Het BiGRU + KAN model behaalde een nauwkeurigheid van 67,96% en een gewogen F1-score van 0,65.
  • Dit presteerde beter dan de beste klassieke ML-modellen (Random Forest en SVM met 62%) en overtrof aanzienlijk de BiGRU-baseline zonder KAN (57,34%).
  • Opvallend genoeg presteerde het voorgestelde model beter dan verschillende PLMs (bijv. Legal-BERT met 38,85%, RoBERTa met 37,41%), wat de auteurs toeschrijven aan de beperkte middelen en verschillen in hyperparameter-tuning tijdens de vergelijking.
• Samenvattingsprestaties:
  • Het AttnGRU + KAN model behaalde ROUGE F1-scores van 0,38 (ROUGE-1), 0,23 (ROUGE-2) en 0,31 (ROUGE-L).
  • Deze resultaten waren superieur aan BiLSTM (0,30/0,18/0,25) en Pointer-Generator netwerken (0,35/0,20/0,28).
• Ablatiestudie: Het verwijderen van het KAN-blok resulteerde in een daling van de classificatienauwkeurigheid van 67,96% naar 57,34%, wat de effectiviteit van het blok bevestigt voor het verbeteren van niet-lineaire kenmerktransformatie.

Betekenis en Claims
Het artikel beweert dat het integreren van KAN-blokken in recurrente architecturen een levensvatbare en effectieve strategie is voor juridische NLP-taken, met name in meertalige omgevingen met beperkte middelen. De studie suggereert dat:

1. KANs als Verbeteraars: KANs dienen als krachtige architecturale verbeteringen die de door standaard RNN's geleerde representaties verfijnen, wat leidt tot een betere klassenscheiding en het afhandelen van niet-lineaire juridische nuances.
2. Efficiëntie: De voorgestelde aanpak behaalt superieure resultaten vergeleken met zowel klassieke ML als verschillende PLMs onder omstandigheden met beperkte middelen, wat suggereert dat architecturale innovatie soms belangrijker is dan de noodzaak voor massale pre-training in specifieke domeinen.
3. Beperkingen: De auteurs erkennen bescheiden de resterende uitdagingen, waaronder de moeilijkheid om minderheidsklassen te voorspellen ondanks samplingtechnieken, de complexiteit die wordt geïntroduceerd door het meertalige karakter van de data, en de incidentele weglating van procedurele details in samenvattingen. Ze merken op dat de vergelijkingen met PLMs beperkt waren door computationele beperkingen en tuning-budgetten.

Concluderend stelt de studie dat architecturale verbeteringen, specifelijk de toevoeging van KAN-blokken aan basis RNN's, cruciaal zijn voor het verbeteren van de prestaties in juridische NLP-toepassingen met beperkte middelen.