Mining Legal Arguments to Study Judicial Formalism

1. El Problema

El análisis sistemático de la razonamiento judicial a gran escala es un desafío interdisciplinario complejo. Aunque los tribunales deben justificar sus decisiones, la investigación empírica sobre el "formalismo judicial" (especialmente en Europa Central y Oriental - CEE) ha dependido tradicionalmente de:

• Análisis anecdóticos: Narrativas que describen a los tribunales de la CEE como excesivamente formalistas, basados en una cultura legal comunista tardía, enfocados en el texto literal y procedimientos rígidos ("hiperpositivismo").
• Limitaciones metodológicas: Estudios previos con muestras pequeñas, codificación manual costosa, falta de estandarización en la definición de conceptos legales abstractos y ausencia de herramientas de Procesamiento de Lenguaje Natural (NLP) para medir el formalismo directamente en textos legales no ingleses.

El objetivo central es validar empíricamente si los tribunales supremos checos (Tribunal Supremo - SC y Tribunal Supremo Administrativo - SAC) son realmente formalistas o si estas narrativas carecen de evidencia sistemática.

2. Metodología

Los autores desarrollaron un pipeline de investigación que combina teoría jurídica, anotación experta y modelos de lenguaje avanzados (LLMs).

A. Creación del Dataset MADON

• Datos: 272 decisiones judiciales del Tribunal Supremo y el Tribunal Supremo Administrativo de la República Checa (1997-2024).
• Estructura: 9,183 párrafos anotados.
• Esquema de Anotación:
  • 8 Tipos de Argumentos Legales: Clasificados en formalistas (Interpretación Lingüística, Sistémica, Jurisprudencia, Doctrina) y no formalistas (Interpretación Histórica, Principios/Valores, Teleológica, Consecuencias Prácticas).
  • Etiqueta Holística: Cada decisión recibe una etiqueta binaria (Formalista / No Formalista) basada en cinco "principios rectores" del formalismo CEE (ej. dependencia exclusiva del texto, exclusión de estándares externos, escaso razonamiento).
• Proceso: Anotación por expertos legales con un acuerdo inter-anotador sustancial (Kappa de Cohen 0.65 para la etiqueta holística). Se publicaron guías detalladas para garantizar la reproducibilidad.

B. Pipeline de NLP y Modelos

Se diseñó un enfoque de tres etapas para abordar el desequilibrio de datos y la complejidad del dominio legal:

1. Detección de Presencia de Argumentos (Task 1): Clasificación binaria de si un párrafo contiene argumentos legales.
2. Clasificación de Tipos de Argumentos (Task 2): Clasificación multietiqueta de los 8 tipos de argumentos.
3. Clasificación Holística de Formalismo (Task 3): Predicción de si una decisión completa es formalista o no.

Modelos Utilizados:

• Llama 3.1 8B: Modelo decodificador (decoder-only). Se experimentó con Continued Pretraining (CPT) en corpus legal checo y Full Fine-tuning (ajuste completo).
• ModernBERT: Modelo codificador (encoder-only) con soporte de contexto largo.
• MLP (Perceptrón Multicapa): Usado como clasificador final basado en características extraídas.
• Técnicas de Balanceo: Uso de Asymmetric Loss para manejar el desequilibrio de clases (los argumentos no formalistas y la ausencia de argumentos son más frecuentes).

Estrategia de Pipeline Propuesta:
En lugar de un modelo end-to-end, se propuso un pipeline modular:

1. Filtrado: ModernBERT identifica y filtra párrafos no argumentativos (eliminando ~85% del texto irrelevante).
2. Clasificación de Argumentos: Llama 3.1 clasifica los párrafos filtrados en los 8 tipos de argumentos.
3. Predicción Final: Un MLP toma la distribución de argumentos predichos como características para clasificar la decisión final como formalista/no formalista.

3. Contribuciones Clave

1. Dataset MADON: El primer dataset de gran escala con anotaciones expertas de argumentos legales y etiquetas de formalismo en checo, incluyendo guías de anotación y métricas de acuerdo.
2. Corpus Legal Checo: Publicación de un corpus de 300,511 decisiones judiciales checas para el pre-entrenamiento de modelos.
3. Pipeline Híbrido Explicable: Demostración de que combinar modelos de lenguaje (LLMs) con aprendizaje automático tradicional (MLP) basado en características legales mejora la explicabilidad y reduce costos computacionales sin sacrificar rendimiento.
4. Evidencia Empírica contra Narrativas Previas: Cuestionamiento de la visión estereotipada de que los tribunales de la CEE son inherentemente formalistas y textuales.

4. Resultados

Los modelos alcanzaron un rendimiento sólido utilizando la métrica Bal-F1 (F1 balanceado, que considera tanto la clase positiva como la negativa):

• Tarea 1 (Detección de Argumentos):
  • Mejor modelo: ModernBERT (82.6% Bal-F1).
  • El fine-tuning completo fue crucial; el ajuste eficiente de parámetros (PEFT/LoRA) degradó el rendimiento significativamente.
• Tarea 2 (Clasificación de Tipos de Argumentos):
  • Mejor modelo: Llama 3.1 8B (Full Fine-tuning + Asymmetric Loss) con 77.5% Bal-F1.
  • La Asymmetric Loss superó consistentemente a la Binary Cross-Entropy debido al desequilibrio de clases.
  • Los tipos de argumentos con menor acuerdo entre anotadores (Interpretación Sistémica, Consecuencias Prácticas) fueron los más difíciles para los modelos.
• Tarea 3 (Clasificación de Formalismo):
  • Pipeline de 3 etapas (Filtrado + Llama + MLP): Logró el mejor resultado con 83.8% Bal-F1.
  • Este enfoque superó a los modelos end-to-end (82.2% con ModernBERT) y redujo drásticamente los costos computacionales al filtrar el texto irrelevante.
  • Análisis SHAP: Reveló que los argumentos basados en "Principios y Valores" y la "Interpretación Teleológica" son los predictores más fuertes de decisiones no formalistas, mientras que la "Interpretación Lingüística" es sorprendentemente rara.

Hallazgos Empíricos sobre el Formalismo:

• Raridad del Textualismo: La interpretación lingüística (basada estrictamente en el texto de la ley) representa solo el 5.7% de todos los argumentos, contradiciendo la idea de que los tribunales checos son "atados al texto".
• Dominio de la Jurisprudencia: La "Jurisprudencia" (Case Law) es el tipo de argumento más frecuente (37.4%), desafiando la noción de que los tribunales checos evitan el precedente.
• Evolución Temporal: El Tribunal Supremo Administrativo (SAC) muestra una tendencia creciente hacia el razonamiento no formalista desde 2014, acercándose más a la realidad que la narrativa de un "Tribunal Supremo formalista" vs. un "Tribunal Administrativo discursivo".

5. Significado e Impacto

• Para la Ciencia Legal Computacional: Demuestra que es posible operacionalizar conceptos jurídicos abstractos (como el formalismo) y medirlos a escala utilizando NLP moderno, incluso en idiomas no ingleses.
• Para la Teoría Jurídica: Proporciona la primera evidencia empírica a gran escala que desafía las narrativas dominantes sobre el "formalismo post-comunista" en la CEE. Sugiere que el razonamiento judicial en la República Checa es más matizado, basado en precedentes y valores que en el textualismo rígido.
• Reproducibilidad: Todo el pipeline, datos, guías y código fuente están disponibles públicamente en GitHub, estableciendo un nuevo estándar para la investigación legal computacional en la región.

En conclusión, el estudio valida que la minería de argumentos legales, combinada con modelos de lenguaje avanzados y una arquitectura explicativa, puede desentrañar la filosofía judicial real, desplazando las especulaciones teóricas por datos empíricos robustos.