PROSLEX: A Novel Dataset for Expert-Annotated Legal Statute Prediction for Indian Judiciary

Imagina que eres un detective tratando de resolver un misterio, pero en lugar de buscar huellas dactilares, estás buscando las leyes específicas que se aplican a una historia. En el mundo del derecho, especialmente en lugares como la India, cada crimen o disputa está vinculado a un conjunto específico de reglas escritas llamadas "estatutos". Piensa en estos estatutos como el libro de reglas para un juego gigante y complejo. Si alguien rompe una regla, tienes que encontrar la página exacta en el libro de reglas que describe su error. Esto se llama "Predicción de Estatutos". Durante años, las computadoras han estado mejorando su capacidad para leer estas historias y adivinar la página correcta del libro de reglas, algo así como un bibliotecario superrápido. Pero hay un inconveniente: no basta con adivinar la página correcta. En un tribunal real, un juez o un abogado necesita saber por qué se aplica esa regla. Necesitan el razonamiento, el "porque", no solo el "qué". Es como un GPS que te dice que gires a la izquierda pero se niega a explicar que hay un bache gigante más adelante. Este artículo profundiza en esa pieza faltante, preguntando: ¿Podemos enseñar a las computadoras no solo a adivinar la ley, sino a explicar su lógica de una manera que tenga sentido para los humanos?

Los investigadores detrás de este estudio, liderados por un equipo de universidades indias, se dieron cuenta de que, si bien las computadoras se estaban volviendo buenas para adivinar, eran pésimas para explicar por qué adivinaban lo que hacían. Para solucionar esto, construyeron algo llamado PROSLEX. Piensa en PROSLEX como un campamento de entrenamiento masivo y súper organizado para cerebros de computadora. Tomaron 1,623 casos reales de la Corte Suprema de la India y tuvieron a expertos legales de la vida real (los entrenadores humanos) revisarlos. Estos expertos no solo etiquetaron los casos; resaltaron las oraciones exactas en la historia que demostraban qué ley se aplicaba y escribieron el razonamiento detrás de ello. En total, crearon 7,450 explicaciones detalladas. Es como si un maestro chef no solo te mostrara un pastel terminado, sino que anotara cada uno de los pasos de la receta y explicara por qué necesitas hornearlo exactamente a 350 grados.

Con este nuevo "campamento de entrenamiento" listo, el equipo puso a prueba varios tipos diferentes de cerebros de computadora. Les pidieron a estas computadoras que leyeran una historia legal y hicieran dos cosas: adivinar la ley correcta y escribir una explicación para su suposición. Probaron diferentes métodos de enseñanza, como mostrarle a la computadora algunos ejemplos primero (pocos disparos o few-shot), pedirle que piense paso a paso (Chain-of-Thought), o incluso pedirle que explore múltiples caminos de razonamiento como un árbol que se ramifica (Tree-of-Thoughts).

Esto es lo que encontraron. Primero, las computadoras que fueron entrenadas específicamente en texto legal (como InLegalBERT) fueron las mejores para simplemente adivinar la ley correcta, acertando aproximadamente el 82% de las veces. Sin embargo, cuando se trataba de escribir la explicación, los grandes modelos de IA de propósito general (como GPT-4) comenzaron a brillar. Cuando se les pidió a estos modelos que pensaran paso a paso, se volvieron mucho mejores prediciendo la ley y escribiendo una razón que sonaba como la de un abogado real. De hecho, GPT-4 fue el mejor desempeño, obteniendo las puntuaciones más altas en las calificaciones de expertos por sus explicaciones.

Pero el artículo también encontró puntos complicados. Cuando las computadoras intentaron usar el método "Tree-of-Thoughts" (ramificándose en muchas ideas diferentes), en realidad empeoraron en la predicción de la ley correcta. Parece que intentar explorar demasiados caminos a la vez las confundía. Además, los investigadores descubrieron un problema astuto: a veces, una computadora adivinaba la ley correcta pero daba una razón completamente errónea para ello. Es como un estudiante que obtiene la respuesta correcta en un examen de matemáticas pero muestra el procedimiento equivocado. El artículo mostró que incluso cuando la computadora acertaba el "estatuto", su razonamiento podía estar equivocado, resaltando que no podemos confiar ciegamente en la respuesta de la computadora sin revisar su lógica.

En última instancia, los autores sugieren que, si bien nos estamos acercando, aún no hemos llegado. Los mejores resultados se obtuvieron combinando la velocidad de la computadora con pasos de razonamiento similares a los humanos, pero el sistema todavía necesita a un experto humano para revisar el trabajo. El artículo no pretende haber resuelto el misterio de la IA legal para siempre; en cambio, ofrece un mapa de alta calidad (el conjunto de datos PROSLEX) que otros investigadores pueden usar para construir herramientas legales más explicables y mejores. Es un paso significativo hacia adelante, demostrando que si les damos a las computadoras el tipo de datos de entrenamiento adecuados —completos con explicaciones humanas—, pueden empezar a entender no solo las reglas del juego, sino el espíritu que hay detrás de ellas.