Enhancing BiGRU with a KAN Block for Legal Document Classification and Summarization

Resumo Técnico: Aprimorando o BiGRU com um Bloco KAN para Classificação e Sumarização de Documentos Jurídicos

Declaração do Problema
O artigo aborda os desafios de classificar e sumarizar documentos jurídicos em um cenário multilíngue de baixos recursos. Especificamente, ele visa textos jurídicos de Bangladesh, que apresentam uma combinação única de dificuldades:

• Multilinguismo: O conjunto de dados contém uma mistura de bengali, inglês e bengali transliterado (romanizado), criando variações significativas de vocabulário e sintaxe.
• Especificidade de Domínio: Documentos jurídicos (notas de casos, decisões, sentenças) são extensos, estruturados e contêm terminologias especializadas que exigem a captura tanto de semânticas locais quanto de dependências de longo prazo.
• Desequilíbrio de Classes: A variável alvo, "Disposição", é dividida em 10 classes com distribuições altamente desiguais, levando ao viés em direção às classes majoritárias no treinamento padrão.
• Restrições de Recursos: O estudo opera sob recursos computacionais limitados, necessitando de arquiteturas eficientes em vez de modelos pré-treinados massivos.

Abordagens existentes, incluindo aprendizado de máquina clássico (SVM, Random Forest) e modelos padrão de aprendizado profundo (BiLSTM, BiGRU), lutam contra essas restrições específicas, particularmente na modelagem de relações não lineares intrincadas e no tratamento do ruído multilíngue sem contagens massivas de parâmetros.

Metodologia
Os autores propõem uma arquitetura inovadora que aumenta as redes recorrentes existentes com Redes de Kolmogorov-Arnold (KANs). Em vez de substituir a espinha dorsal recorrente, o bloco KAN é usado como um módulo de aprimoramento para melhorar o aprendizado de representação.

1. Conjunto de Dados: O estudo utiliza um conjunto de dados de 2.937 documentos jurídicos extraídos do Manupatra. Os dados são divididos em 2.349 casos de treinamento e 588 casos de avaliação retidos. O pré-processamento inclui o tratamento de valores ausentes, normalização de texto e tokenização. Para lidar com o desequilíbrio de classes, um WeightedRandomSampler é empregado durante o treinamento.
2. Arquitetura de Classificação:
   • Espinha Dorsal (Backbone): Um BiGRU (Unidade Recorrente Gated Bidirecional) processa a sequência de tokens de entrada para capturar o contexto bidirecional.
   • Agregação: Pooling de média (mean pooling) e pooling de máximo (max pooling) são aplicados aos estados ocultos para gerar uma representação de documento de tamanho fixo ($h_{doc}$).
   • Aprimoramento KAN: A representação do documento é passada por um bloco KAN ($\hat{h}_{doc} = KAN(h_{doc})$) antes da cabeça de classificação final. O bloco KAN introduz funções de aresta baseadas em splines parametrizadas para aprender transformações não lineares complexas das características recorrentes.
3. Arquitetura de Sumarização:
   • Espinha Dorsal: Uma estrutura codificador-decodificador baseada em atenção GRU.
   • Aprimoramento KAN: Uma cabeça KAN é adicionada acima do modelo recorrente baseado em atenção para refinar a representação antes da predição de tokens, aumentando a capacidade expressiva do modelo.
4. Treinamento: Os modelos são treinados por 200 épocas usando o otimizador Adam, uma taxa de aprendizado de $2 \times 10^{-5}$ e um tamanho de lote (batch size) de 8.

Principais Contribuições

• Arquitetura Inovadora: Introdução de um modelo BiGRU-KAN para classificação jurídica e um modelo GRU-KAN baseado em atenção para sumarização jurídica.
• Foco em Baixos Recursos e Multilinguismo: Aplicação bem-sucedida desses modelos em um desafiador conjunto de dados jurídicos de Bangladesh contendo bengali, inglês e bengali romanizado.
• Validação de Ablação: Demonstração de que o bloco KAN é um componente crítico, aumentando significativamente o desempenho sobre os modelos recorrentes de linha de base sem KAN.
• Mitigação de Desequilíbrio: Implementação de WeightedRandomSampler para lidar com a distribuição enviesada dos rótulos de disposição.

Resultos Experimentais
Os modelos propostos foram comparados contra algoritmos de aprendizado de máquina clássicos (Regressão Logística, SVM, Random Forest, etc.) e Modelos de Linguagem Pré-treinados (PLMs) como BERT, RoBERTa e T5, bem como linhas de base recorrentes (BiLSTM, BiGRU sem KAN).

• Desempenho de Classificação:
  • O modelo BiGRU + KAN alcançou uma acurácia de 67,96% e um F1 score ponderado de 0,65.
  • Este superou os melhores modelos de ML clássicos (Random Forest e SVM com 62%) e superou significativamente a linha de base BiGRU sem KAN (57,34%).
  • Notavelmente, o modelo proposto superou vários PLMs (ex: Legal-BERT com 38,85%, RoBERTa com 37,41%), o que os autores atribuem às restrições de recursos e diferenças de ajuste de hiperparâmetros durante a comparação.
• Desempenho de Sumarização:
  • O modelo AttnGRU + KAN alcançou pontuações ROUGE F1 de 0,38 (ROUGE-1), 0,23 (ROUGE-2) e 0,31 (ROUGE-L).
  • Estes resultados foram superiores ao BiLSTM (0,30/0,18/0,25) e às redes Pointer-Generator (0,35/0,20/0,28).
• Estudo de Ablação: A remoção do bloco KAN resultou em uma queda na acurácia de classificação de 67,96% para 57,34%, confirmando a eficácia do bloco no aprimoramento da transformação de características não lineares.

Significância e Alegações
O artigo afirma que integrar blocos KAN em arquiteturas recorrentes é uma estratégia viável e eficaz para tarefas de NLP jurídico, particularmente em ambientes multilíngues de baixos recursos. O estudo sugere que:

1. KANs como Aprimoradores: As KANs servem como melhorias arquiteturais poderosas que refinam as representações aprendidas pelas RNNs padrão, oferecendo melhor separação de classes e lidando com nuances jurídicas não lineares.
2. Eficiência: A abordagem proposta alcança resultados superiores em comparação tanto com ML clássico quanto com vários PLMs sob condições de recursos limitados, sugerindo que a inovação arquitetural pode, por vezes, superar a necessidade de pré-treinamento massivo em domínios específicos.
3. Limitações: Os autores reconhecem modestamente desafios remanescentes, incluindo a dificuldade de prever classes minoritárias apesar das técnicas de amostragem, a complexidade introduzida pela natureza multilíngue dos dados e a omissão ocasional de detalhes procedimentais nos resumos. Eles observam que as comparações com PLMs foram limitadas por restrições computacionais e orçamentos de ajuste (tuning).

Em conclusão, o estudo postula que os aprimoramentos arquiteturais, especificamente a adição de blocos KAN às RNNs de base, são cruciais para avançar o desempenho em aplicações de NLP jurídico com recursos limitados.