Testing Frontier LLMs on Indian Statutory Interpretation: The Indian Construction Canon Benchmarking (ICCB) -Pilot Benchmark

En el mundo del derecho, leer un estatuto rara vez es tan sencillo como leer la definición de un diccionario. Cuando un juez se enfrenta a una ley vaga o ambigua, no se limita a adivinar la respuesta; sigue un conjunto específico de herramientas mentales conocidas como "cánones de interpretación". Estas son reglas generales establecidas que guían cómo debe entenderse un texto. Por ejemplo, una regla podría decir que si una ley tiene el fin de castigar a alguien, debe leerse de forma muy estricta, palabra por palabra. Otra regla podría decir que si una ley está diseñada para ayudar a los pobres, debe leerse de forma amplia para incluir a tantas personas como sea posible. Estas herramientas son la diferencia entre un juez que simplemente recuerda un caso pasado y un juez que realmente razona ante un problema nuevo. A medida que los sistemas de inteligencia artificial comienzan a entrar en las salas de justicia y en los bufetes de abogados, surge una pregunta crítica: ¿entienden estas máquinas realmente cómo usar estas herramientas, o solo son muy buenas adivinando la respuesta correcta basándose en patrones que han visto antes?

Un equipo de investigadores de la Academia de Educación Superior de Manipal, en la India, se propuso probar esta cuestión utilizando la última generación de modelos de inteligencia artificial. Crearon una prueba especializada, que denominan un "benchmark" o punto de referencia, centrada enteramente en cómo estas máquinas interpretan las leyes indias. En lugar de pedir a las computadoras que simplemente predigan el resultado de un caso, los investigadores les pidieron que explicaran su pensamiento. La prueba presentó a los modelos cuarenta escenarios legales diferentes extraídos de sentencias reales de tribunales indios. En cada escenario, el modelo tenía que identificar qué regla de interpretación específica debía utilizarse, explicar dicha regla correctamente y luego aplicarla a los hechos para llegar a una conclusión. Los investigadores evaluaron los modelos en cinco aspectos distintos: si eligieron la regla correcta, si describieron esa regla con precisión de acuerdo con la tradición legal india, si la aplicaron correctamente a los hechos, si alcanzaron la respuesta final correcta y qué tan clara fue su razonamiento general.

Los resultados revelaron una brecha sorprendente entre lo que las máquinas podían hacer y cómo lo hacían. Los modelos de inteligencia artificial más potentes probados fueron sorprendentemente buenos para obtener la respuesta final correcta. En muchos casos, llegaban a la misma conclusión a la que habría llegado un juez humano. Sin embargo, cuando los investigadores observaron cómo llegaban allí, el panorama cambió. Los modelos fallaban con frecuencia al identificar correctamente la regla legal específica que estaban utilizando. A menudo llegaban al resultado correcto sin saber qué herramienta utilizar, lo que sugiere que estaban emparejando la situación con un patrón familiar en lugar de seguir un camino lógico. Es como si un estudiante pudiera resolver correctamente un problema matemático complejo pero no pudiera explicar qué fórmula utilizó o por qué funcionaba. El estudio encontró que cuando los investigadores le decían explícitamente a los modelos qué regla usar, los modelos mejoraban mucho en la identificación de esa regla, pero su capacidad para explicarla o aplicarla no mejoraba significativamente. Esto sugiere que los modelos poseen el conocimiento de estas reglas legales, pero luchan por acceder a él por su cuenta sin un indicio directo.

Los investigadores también observaron que los modelos se comportaban de manera diferente dependiendo de cómo se les hiciera la pregunta. Cuando se les dejaba descifrar el problema por su cuenta, los modelos a menudo dudaban o se negaban a responder, particularmente el modelo de código abierto probado. Sin embargo, cuando los investigadores les daban una pista sobre el tipo de regla a usar, los modelos mostraban una mayor disposición a participar. A pesar de esta mejora en la disposición, el problema central persistía: los modelos eran mejores adivinando el resultado correcto que construyendo el argumento legal correcto. Un modelo, en particular, alcanzaba consistentemente el resultado correcto con más frecuencia de la que identificaba correctamente el principio legal, pero aun así cometía errores significos en sus conclusiones finales. Esta disociación entre una respuesta correcta y un proceso de razonamiento correcto es un hallazgo significativo. Implica que, si estos sistemas se despliegan en entornos legales reales basándose únicamente en su capacidad para predecir resultados, podrían proporcionar respuestas correctas por las razones equivocadas, lo cual podría ser peligroso en un sistema donde el razonamiento mismo es tan importante como el resultado.

El estudio concluye que, si bien estos sistemas de inteligencia artificial son herramientas poderosas, aún no han dominado el tipo específico de razonamiento requerido para la interpretación legal. Parecen depender fuertemente del reconocimiento de patrones en lugar de la aplicación paso a paso de las reglas legales que utilizan los jueces humanos. Los investigadores enfatizan que esto no significa que la tecnología sea inútil, sino que no podemos confiar en que estos sistemas razonen como abogados solo porque obtengan la respuesta correcta. El estudio sirve como un piloto, una prueba a pequeña escala diseñada para demostrar que este tipo de evaluación específica es posible y necesaria. El equipo planea ampliar este trabajo en el futuro, probando más modelos y una mayor variedad de leyes para ver si estos patrones se mantienen constantes en todos los casos. Por ahora, los hallazgos sugieren una advertencia clara: en el complejo mundo del derecho, obtener la respuesta correcta no es suficiente; la máquina también debe ser capaz de mostrar su procedimiento.