Enhancing BiGRU with a KAN Block for Legal Document Classification and Summarization

Resumen Técnico: Mejora de BiGRU con un Bloque KAN para la Clasificación y Resumen de Documentos Legales

Planteamiento del Problema
El artículo aborda los desafíos de clasificar y resumir documentos legales dentro de un entorno multilingüe de bajos recursos. Específicamente, se dirige a textos legales de Bangladesh, que presentan una combinación única de dificultades:

• Multilingüismo: El conjunto de datos contiene una mezcla de bengalí, inglés y bengalí romanizado (transliterado), lo que crea variaciones significativas en el vocabulario y la sintaxis.
• Especificidad del Dominio: Los documentos legales (notas de casos, fallos, sentencias) son extensos, estructurados y contienen terminologías especializadas que requieren capturar tanto la semántica local como las dependencias de largo plazo.
• Desequilibrio de Clases: La variable objetivo, "Disposición", se divide en 10 clases con distribuciones altamente desiguales, lo que provoca un sesgo hacia las clases mayoritarias en el entrenamiento estándar.
• Restricciones de Recursos: El estudio opera bajo recursos computacionales limitados, lo que requiere arquitecturas eficientes en lugar de modelos preentrenados masivos.

Los enfoques existentes, incluyendo el aprendizaje automático clásico (SVM, Random Forest) y los modelos de aprendizaje profundo estándar (BiLSTM, BiGRU), tienen dificultades con estas restricciones específicas, particularmente para modelar relaciones no lineales intrincadas y manejar el ruido multilingüe sin conteos masivos de parámetros.

Metodología
Los autores proponen una arquitectura novedosa que aumenta las redes recurrentes existentes con Redes Kolmogorov-Arnold (KANs). En lugar de reemplazar la estructura recurrente de base, el bloque KAN se utiliza como un módulo de mejora para mejorar el aprendizaje de representaciones.

1. Conjunto de Datos: El estudio utiliza un conjunto de datos de 2,937 documentos legales extraídos de Manupatra. Los datos se dividen en 2,349 casos de entrenamiento y 588 casos de evaluación retenidos. El preprocesamiento incluye el manejo de valores faltantes, normalización de texto y tokenización. Para abordar el desequilibrio de clases, se emplea un WeightedRandomSampler durante el entrenamiento.
2. Arquitectura de Clasificación:
   • Base (Backbone): Una Unidad de Puerta Recurrente Bidireccional (BiGRU) procesa la secuencia de tokens de entrada para capturar el contexto bidireccional.
   • Agregación: Se aplican el promedio (mean pooling) y el valor máximo (max pooling) a los estados ocultos para generar una representación de documento de tamaño fijo ($h_{doc}$).
   • Mejora KAN: La representación del documento se pasa a través de un bloque KAN ($\hat{h}_{doc} = KAN(h_{doc})$) antes de la cabeza de clasificación final. El bloque KAN introduce funciones de borde basadas en splines parametrizados para aprender transformaciones no lineales complejas de las características recurrentes.
3. Arquitectura de Resumen:
   • Base (Backbone): Un marco de codificador-decodificador GRU basado en atención.
   • Mejora KAN: Se añade una cabeza KAN sobre el modelo recurrente basado en atención para refinar la representación antes de la predicción de tokens, mejorando la capacidad expresiva del modelo.
4. Entrenamiento: Los modelos se entrenan durante 200 épocas utilizando el optimizador Adam, una tasa de aprendizaje de $2 \times 10^{-5}$ y un tamaño de lote de 8.

Contribuciones Clave

• Arquitectura Novedosa: Introducción de un modelo BiGRU-KAN para la clasificación legal y un modelo de resumen GRU-KAN basado en atención.
• Enfoque en Multilingüismo y Bajos Recursos: Aplicación exitosa de estos modelos en un desafiante conjunto de datos legales de Bangladesh que contiene bengalí, inglés y bengalí romanizado.
• Validación de Ablación: Demostración de que el bloque KAN es un componente crítico, aumentando significativamente el rendimiento sobre los modelos recurrentes base sin KAN.
• Mitigación del Desequilibrio: Implementación de WeightedRandomSampler para manejar la distribución sesgada de las etiquetas de disposición.

Resultados Experimentales
Los modelos propuestos se compararon contra algoritmos de aprendizaje automático clásico (Regresión Logística, SVM, Random Forest, etc.) y Modelos de Lenguaje Preentrenados (PLM) como BERT, RoBERTa y T5, así como bases recurrentes (BiLSTM, BiGRU sin KAN).

• Rendimiento de Clasificación:
  • El modelo BiGRU + KAN logró una precisión del 67.96% y una puntuación F1 ponderada de 0.65.
  • Superó al mejor de los modelos de ML clásico (Random Forest y SVM con 62%) y superó significativamente al baseline de BiGRU sin KAN (57.34%).
  • Notablemente, el modelo propuesto superó a varios PLMs (por ejemplo, Legal-BERT con 38.85%, RoBERTa con 37.41%), lo que los autores atribuyen a las restricciones de recursos y a las diferencias en el ajuste de hiperparámetros durante la comparación.
• Rendimiento de Resumen:
  • El modelo AttnGRU + KAN logró puntuaciones ROUGE F1 de 0.38 (ROUGE-1), 0.23 (ROUGE-2) y 0.31 (ROUGE-L).
  • Estos resultados fueron superiores a BiLSTM (0.30/0.18/0.25) y redes Pointer-Generator (0.35/0.20/0.28).
• Estudio de Ablación: La eliminación del bloque KAN resultó en una caída en la precisión de clasificación del 67.96% al 57.34%, confirmando la eficacia del bloque para mejorar la transformación de características no lineales.

Significancia y Reivindicaciones
El artículo sostiene que la integración de bloques KAN en arquitecturas recurrentes es una estrategia viable y efectiva para tareas de PLN legal, particularmente en entornos multilingües de bajos recursos. El estudio sugiere que:

1. KANs como Mejoradores: Las KANs sirven como potentes mejoras arquitectónicas que refinan las representaciones aprendidas por las RNN estándar, ofreciendo una mejor separación de clases y manejando los matices legales no lineales.
2. Eficiencia: El enfoque propuesto logra resultados superiores en comparación con tanto el ML clásico como varios PLM bajo condiciones de recursos restringidos, sugiriendo que la innovación arquitectónica a veces puede pesar más que la necesidad de un preentrenamiento masivo en dominios específicos.
3. Limitaciones: Los autores reconocen modestamente que aún existen desafíos, incluyendo la dificultad de predecir clases minoritarias a pesar de las técnicas de muestreo, la complejidad introducida por la naturaleza multilingüe de los datos y la omisión ocasional de detalles procedimentales en los resúmenes. Observan que las comparaciones con los PLM estuvieron limitadas por las restricciones computacionales y los presupuestos de ajuste.

En conclusión, el estudio postula que las mejoras arquitectónicas, específicamente la adición de bloques KAN a las redes RNN base, son cruciales para avanzar en el rendimiento de las aplicaciones de PLN legal con recursos limitados.