When Do LLMs Apply the Wrong Law? Diagnosing LLM Failures in Temporal Legal Reasoning
Este artículo introduce un punto de referencia para la determinación de la ley aplicable temporal y revela que los modelos de lenguaje de gran tamaño exhiben un fuerte sesgo hacia la aplicación de la ley más reciente debido a la convergencia del razonamiento inducida por el aprendizaje por refuerzo, lo que conduce a una relación inversa contraintuitiva donde los modelos con capacidades de razonamiento general más fuertes desempeñan peor en tareas legales temporalmente fundamentadas.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
La ley no es un monumento estático; es un paisaje vivo que cambia con el tiempo. Se escriben nuevas reglas, otras se reescriben, y la versión específica de una ley que se aplica a una situación depende enteramente de cuándo ocurrió dicha situación. Un contrato firmado hoy podría estar regido por un conjunto de reglas, mientras que un contrato similar firmado hace cinco años cae bajo un conjunto diferente. Este principio, conocido como no retroactividad, es una piedra angular de la equidad legal: las personas deben ser juzgadas por las leyes que existían cuando actuaron, no por leyes creadas posteriormente. Para que la inteligencia artificial sea útil en el mundo jurídico, debe comprender este cronograma. No puede simplemente saber qué dice la ley; debe saber qué versión de la ley estaba vigente en el momento exacto en que ocurrió un evento legal. Si un sistema informático se equivoca con el tiempo, aplica las reglas incorrectas, lo que conduce a conclusiones fundamentalmente erróneas, independientemente de cuán inteligente sea su análisis de los hechos.
Los investigadores han esperado durante mucho tiempo que los modelos de lenguaje extensos, los poderosos sistemas de IA capaces de responder preguntas complejas y escribir textos, pudieran automatizar partes de este razonamiento jurídico. Estos modelos han mostrado promesa en la predicción de resultados judiciales y el análisis de contratos. Sin embargo, una pregunta crítica permanecía sin respuesta: ¿pueden estos modelos determinar de manera confiable qué versión de una ley se aplica a un caso específico? Un nuevo estudio realizado por un equipo de investigadores de instituciones de Japón y China investiga este problema preciso. Construyeron una prueba especializada para ver si estos sistemas de IA avanzados podían identificar correctamente la versión correcta de una ley basándose en las fechas de los eventos de un caso. Los resultados revelaron un fallo sorprendente y sistemático. Los modelos más avanzados, a pesar de su capacidad para razonar a través de problemas complejos, fallaban consistentemente cuando la respuesta correcta era una versión más antigua de la ley. En su lugar, elegían abrumadoramente la versión más nueva, la más recientemente promulgada, incluso cuando los hechos del caso apuntaban claramente al pasado.
Para comprender la profundidad de este problema, los investigadores construyeron un referente utilizando miles de sentencias civiles reales de China. Seleccionaron casos donde los eventos relevantes ocurrieron antes de una actualización legal importante, específicamente antes de la implementación del Código Civil en 2021. En estos casos, la respuesta legal correcta requería citar las leyes independientes más antiguas que estaban en vigor en ese momento, como la antigua Ley de Propiedad o la Ley de Contratos. El equipo luego pidió a varios modelos de IA de vanguardia que identificaran la versión correcta de la ley para cada caso. Los resultados fueron marcadamente desiguales. Cuando el caso involucraba la ley actual, los modelos funcionaban bastante bien, acertando la respuesta más del 70 por ciento de las veces. Pero cuando el caso requería aplicar una ley más antigua, su rendimiento colapsaba. En estos casos antiguos, la mayoría de los modelos puntuaban por debajo del 15 por ciento, y algunos caían cerca del cero. Los modelos no estaban adivinando al azar; cometían consistentemente el mismo error específico. Identificaban el tipo correcto de ley pero aplicaban la versión incorrecta, recurriendo siempre a la más reciente.
Los investigadores procedieron entonces a diagnosticar por qué estaba sucediendo esto. Primero consideraron si los modelos simplemente carecían del conocimiento necesario. Quizás la IA nunca había "leído" las leyes antiguas o no comprendía las reglas sobre cómo cambian las leyes a lo largo del tiempo. Para probar esto, pidieron a los modelos que recitaran el texto de las leyes antiguas y que respondieran preguntas de opción múltiple sobre las reglas de temporalidad legal. Los modelos se desempeñaron excepcionalmente bien en estas pruebas, demostrando que poseían los hechos y las reglas. Sabían que las leyes antiguas existían y comprendían los principios de la no retroactividad. El fallo no era una falta de memoria o una brecha de conocimiento. El problema radicaba en cómo los modelos utilizaban ese conocimiento cuando se enfrentaban a un caso real.
Una investigación posterior reveló que el problema estaba ligado a la forma en que estos modelos son entrenados para razonar. Los sistemas de IA modernos suelen ser ajustados mediante un proceso que los incentiva a pensar a través de los problemas paso a paso, produciendo una cadena de razonamiento antes de dar una respuesta. Este entrenamiento está diseñado para que los modelos sean mejores resolviendo difíciles acertijos lógicos y problemas matemáticos. Sin embargo, los investigadores descubrieron que esta misma fortaleza se convertía en una debilidad en el contexto legal. Los modelos con las capacidades de razonamiento general más fuertes eran, de hecho, los que peor se desempeñaban en la tarea de temporalidad. El proceso de entrenamiento parecía haber estrechado el pensamiento de los modelos, causando que convergieran en un único camino dominante: aplicar la ley actual. Era como si los modelos hubieran aprendido que la información más reciente es la más importante, y se volvieron tan enfocados en este patrón que dejaron de explorar otras posibilidades, incluso cuando los hechos del caso lo exigían.
El estudio sugiere que los modelos no estaban fallando porque fueran demasiado ignorantes para entender la línea de tiempo, sino porque eran demasiado eficientes siguiendo un hábito aprendido específico. Cuando los investigadores proporcionaron a los modelos una pista simple recordándoles considerar la fecha del evento y las reglas específicas de temporalidad legal, el desempeño mejoró drásticamente. Esto indicó que los modelos tenían la capacidad de hacerlo bien, pero su modo de operación predeterminado estaba desalineado con los requisitos específicos del razonamiento jurídico. Sin un impulso para observar el cronograma, sus potentes motores de razonamiento simplemente reforzaban el sesgo hacia la ley más nueva.
Este descubrimiento resalta una limitación sutil pero peligrosa de la inteligencia artificial actual. Muestra que hacer que un modelo sea más inteligente en el razonamiento general no lo hace automáticamente mejor en cada tarea. De hecho, para tareas que requieren una atención cuidadosa a restricciones específicas, como el tiempo de una ley, las mismas mecánicas que hacen que estos modelos sean poderosos pueden causar que ignoren detalles cruciales. Los investigadores encontraron que cuando los modelos eran forzados a explorar diferentes caminos de razonamiento en lugar de aferrarse a su hábito predeterminado, podían identificar con éxito la versión correcta y más antigua de la ley. El estudio concluye que, para que la IA sea verdaderamente confiable en el campo legal, debe ser entrenada no solo para razonar bien, sino para respetar las reglas específicas y a menudo contraintuitivas del dominio, como el hecho de que la ley más nueva no siempre es la correcta.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.