Resumen Técnico: Exploración de Modelos de Lenguaje Grandes Ligeros para la Generación de la Visión del Tribunal

Definición del Problema

La Generación de la Visión del Tribunal en Procesos Penales (CVG) es una tarea crítica en la Inteligencia Artificial Jurídica (Legal AI) que consiste en generar automáticamente la "visión del tribunal"—el razonamiento judicial que justifica un fallo definitivo—basándose en los hechos del caso. Esta tarea es esencial para garantizar la transparencia y la interpretabilidad legal. Sin embargo, la CVG sigue siendo un desafío debido a la complejidad del lenguaje jurídico, la necesidad de consistencia lógica y el requisito de incorporar con precisión el conocimiento estatutario y los detalles fácticos.

Aunque las Redes Neuronales Profundas (DNN) se han aplicado a la CVG, a menudo luchan con el razonamiento legal complejo y las dependencias de largo alcance. Por el contrario, los Modelos de Lenguaje Grandes (LLM) ofrecen capacidades superiores de generación y razonamiento. A pesar de esto, existe una falta de investigación sistemática sobre los LLM ligeros (específicamente aquellos con menos de 2 mil millones de parámetros) en el dominio legal. Las brechas clave incluyen comprender cómo diferentes arquitecturas y tamaños de modelo afectan la calidad de la CVG y la predicción de cargos aguas abajo, comparar los LLM ligeros con las DNN tradicionales y evaluar si generar visiones del tribunal antes de la predicción de cargos mejora la precisión en comparación con la predicción directa.

Metodología

Los autores realizaron un estudio sistemático utilizando un nuevo marco de evaluación desarrollado, CVGEvalKit, que admite tres conjuntos de datos públicos: C3VG, LCVG y CCVG. La metodología involucró los siguientes componentes:

1. Selección de Modelos: El estudio evaluó varios LLM ligeros de código abierto a través de diferentes arquitecturas (Qwen, Llama, Gemma, InternLM) y tamaños (que van desde 0.5B hasta 1.8B de parámetros). Estos se compararon con líneas base de DNN tradicionales (AttS2S, Transformer, C3VG, LeGen).
2. Estrategia de Entrenamiento: Todos los modelos se ajustaron finamente utilizando un conjunto de entrenamiento mixto derivado de los tres conjuntos de datos. Para los LLM, los autores emplearon Adaptación de Bajo Rango (LoRA) para un ajuste fino eficiente en parámetros, congelando los pesos originales y entrenando únicamente matrices de actualización de bajo rango.
3. Paradigmas de Tarea: Se investigaron dos paradigmas para la predicción de cargos:
   • CVG Primero: El modelo genera primero la visión del tribunal y luego predice el cargo basándose en esa visión generada.
   • Directamente: El modelo predice el cargo directamente a partir de los hechos del caso sin un paso intermedio de generación.
4. Métricas de Evaluación:
   • Generación de Visión del Tribunal: Medida utilizando puntuaciones ROUGE-1, ROUGE-2, ROUGE-L y BLEU.
   • Predicción de Cargos: Medida utilizando Precisión (Acc) y Macro-F1 (MF1). Una predicción se consideró correcta si la visión del tribunal generada contenía la etiqueta de cargo correcta.

Contribuciones Clave

El artículo presenta cuatro contribuciones principales:

1. Análisis Arquitectónico: Un análisis sistemático de las diferencias de rendimiento entre varias arquitecturas de LLM ligeros (por ejemplo, Qwen, Llama, Gemma, InternLM) en el contexto de la generación de texto legal.
2. Efectos de Escala: Una investigación sobre cómo el tamaño del modelo (dentro del rango <2B) influye en la calidad de la CVG y la precisión de la predicción de cargos.
3. Comparación DNN vs. LLM: Un análisis comparativo que demuestra las ventajas y limitaciones de los LLM ligeros frente a las DNN tradicionales para tareas judiciales.
4. Evaluación de Integración de Tareas: Una evaluación del impacto de la estrategia "CVG Primero" frente a la predicción directa de cargos, revelando cómo los pasos de razonamiento intermedios afectan la precisión aguas abajo.

Resultados Experimentales

Los experimentos arrojaron varios hallazgos significativos:

• Impacto de la Arquitectura: La arquitectura del modelo influye significativamente en el rendimiento. Qwen3-1.7B generalmente superó a otros modelos de cero disparos (Llama, InternLM) en las métricas ROUGE y BLEU, probablemente debido a su diseño de seguimiento de instrucciones. InternLM2.5-1.8B-Chat logró el rendimiento más alto después del ajuste fino (ROUGE-L: 68.63), aunque tuvo dificultades en configuraciones de cero disparos.
• Tamaño del Modelo: En configuraciones de cero disparos, los modelos más grandes (1.7B) superaron significativamente a los más pequeños (0.6B) en CVG (aproximadamente 7 veces de mejora en ROUGE). Sin embargo, después del ajuste fino, la brecha de rendimiento se estrechó, lo que sugiere que la adaptación específica del dominio puede compensar el tamaño de los parámetros. Para la predicción de cargos, el efecto del tamaño fue menos pronunciado en cero disparos pero se volvió más relevante después del ajuste fino. Cabe destacar que las ganancias de rendimiento no fueron lineales por debajo del umbral de 1B; las mejoras se volvieron consistentes solo más allá de 1 mil millones de parámetros.
• LLM vs. DNN: Los LLM ligeros ajustados finamente superaron consistentemente a las líneas base de DNN tradicionales. Por ejemplo, InternLM2.5-1.8B-Chat(FT) logró una ganancia de ~32% en ROUGE-L y ~36% en Macro-F1 sobre la línea base DNN más fuerte (C3VG).
• CVG Primero vs. Predicción Directa: La estrategia "CVG Primero" mostró resultados mixtos. Para modelos con ≤1B de parámetros (por ejemplo, Qwen3-0.6B, Gemma3-1B-IT), generar primero la visión del tribunal mejoró la precisión de la predicción de cargos. Sin embargo, para modelos ligeros más grandes (>1B, por ejemplo, Qwen3-1.7B, InternLM2.5-1.8B-Chat), este enfoque de dos pasos a menudo condujo a una degradación del rendimiento, lo que sugiere que los modelos más grandes funcionan mejor cuando se centran en una sola tarea de predicción bien definida.

Significado y Afirmaciones

El artículo afirma que los LLM ligeros tienen un potencial significativo para aplicaciones de IA judicial, particularmente cuando se ajustan finamente en datos específicos del dominio. El estudio destaca que:

• Los paradigmas de entrenamiento y las arquitecturas son determinantes más críticos del rendimiento que el tamaño del modelo por sí solo dentro del rango ligero.
• El ajuste fino es esencial para que los LLM ligeros superen a las DNN tradicionales tanto en la calidad de generación como en la precisión de tareas aguas abajo.
• La estrategia de tarea importa: la decisión de generar razonamiento intermedio (visiones del tribunal) antes de predecir cargos debe adaptarse a la capacidad del modelo; los modelos más pequeños se benefician de la descomposición, mientras que los modelos ligeros más grandes pueden sufrir por la complejidad añadida.

Los autores presentan CVGEvalKit para facilitar la investigación futura, proporcionando un marco estandarizado para evaluar tanto la calidad de generación como el razonamiento legal aguas abajo. Reconocen limitaciones, señalando que sus hallazgos son actualmente específicos de conjuntos de datos legales chinos y modelos ligeros, y pueden no generalizarse a otros idiomas, sistemas legales o escalas de parámetros más grandes sin una investigación adicional.