Asking For An Old Friend: Diagnosing and Mitigating Temporal Failure Modes in LLM-based Statutory Question Answering

Resumen Técnico: Diagnóstico y Mitigación de Modos de Fallo Temporales en la Respuesta a Preguntas Legales Basada en Modelos de Lenguaje Grande

Enunciado del Problema
Los Modelos de Lenguaje Grande (LLM) se adoptan cada vez más para la investigación jurídica, pero sus datos de entrenamiento estáticos y sus cortes de conocimiento fijos crean una desalineación fundamental con la naturaleza evolutiva del derecho estatutario. Este artículo identifica dos modos de fallo temporales específicos en la Respuesta a Preguntas Legales (QA):

1. Obsolescencia Post-Corte: Los modelos aplican normas legales superadas a patrones de hechos que ocurren después de las enmiendas legislativas, confiando en conocimiento paramétrico desactualizado.
2. Sesgo de Recencia: Los modelos priorizan incorrectamente disposiciones legales más nuevas incluso cuando el patrón de hechos requiere explícitamente la aplicación de una versión histórica y superada de la ley.

Los autores señalan que, si bien los profesionales jurídicos dependen cada vez más de la IA para la investigación (con un aumento del uso del 14% al 26% en 2024–2025), estas herramientas a menudo carecen de conciencia sobre su robustez temporal limitada. A diferencia del conocimiento general, la corrección legal depende estrictamente de la versión específica de una disposición y de su aplicabilidad temporal.

Metodología
Para diagnosticar y mitigar estos problemas, los autores construyeron una nueva referencia y evaluaron cinco LLM en cuatro configuraciones de inferencia.

• Construcción del Conjunto de Datos: Los autores crearon un conjunto de datos de 312 pares de preguntas y respuestas legales en alemán, validados por expertos y sensibles al tiempo. Los datos se generaron sintéticamente utilizando versiones consolidadas históricas de seis estatutos alemanes (BGB, StPO, AO, EStG, BauGB, HGB) obtenidos de buzer.de. El conjunto de datos se divide en tres categorías:
  • Preguntas de Enmienda Post-Corte (115 ítems): Diseñadas para probar la obsolescencia presentando fechas de hechos posteriores al corte de entrenamiento del modelo, requiriendo conocimiento de cambios legislativos ocurridos después del corte.
  • Preguntas Pre-Enmienda (113 ítems): Las fechas de los hechos caen antes de una enmienda, requiriendo que el modelo aplique una versión más antigua de la ley a pesar de que versiones más nuevas estén disponibles en su contexto o entrenamiento.
  • Preguntas Pre-Enmienda de Múltiples Disposiciones (84 ítems): Escenarios complejos que requieren la síntesis de múltiples disposiciones, donde al menos una debe aplicarse en su versión histórica.
• Modelos Evaluados:
  • Tareas Post-Corte: ChatGPT-5.1 y Claude Sonnet 3.7 (los cortes de conocimiento preceden a la fecha de evaluación).
  • Tareas Pre-Enmienda: ChatGPT-5.2, Claude Opus 4.5 y DeepSeek v3.2 (modelos de última generación en el momento del experimento).
• Configuraciones de Inferencia:
  • Vanilla: Confianza únicamente en el conocimiento paramétrico interno.
  • Búsqueda Web: Los modelos utilizan herramientas de búsqueda web nativas o externas para recuperar información actual.
  • RAG-kNN: Generación Aumentada por Recuperación utilizando búsqueda de vecinos más cercanos (k-nearest neighbor) en incrustaciones de texto, filtrada por una fecha "as-of" extraída para asegurar que solo se recuperen versiones válidas de los párrafos.
  • RAG-ToC: Una estrategia de recuperación que utiliza el índice del estatuto para seleccionar párrafos relevantes, seguida del mismo filtrado temporal y recuperación que RAG-kNN.
• Evaluación: Un LLM como juez (Gemini 3 Flash Preview), validado contra calificaciones de expertos humanos, puntuó las respuestas en cuatro criterios: Corrección del Resultado, Corrección del Razonamiento Legal, Corrección de la Base Legal y Corrección de la Aplicación de la Versión.

Resultados Clave

• Obsolescencia Severa en Modelos Vanilla: En las tareas Post-Corte, los modelos Vanilla mostraron una degradación severa. Por ejemplo, Claude Sonnet 3.1 alcanzó puntuaciones de corrección del resultado tan bajas como 24,35%, con la corrección del razonamiento legal cayendo al 0%. Los modelos aplicaron con confianza disposiciones superadas en lugar de señalar incertidumbre.
• Efectividad del RAG Temporal: Tanto RAG-kNN como RAG-ToC mejoraron sustancialmente el rendimiento en todos los tipos de preguntas. En escenarios Post-Corte, los métodos RAG alcanzaron puntuaciones de corrección del resultado entre el 78% y el 94%, superando significativamente las líneas base Vanilla y de búsqueda web. Las dos variantes de RAG no mostraron diferencias estadísticamente significativas en el rendimiento, lo que sugiere que el filtrado temporal es el factor crítico y no el mecanismo de recuperación (incrustaciones frente a índice).
• Inestabilidad de la Búsqueda Web: Si bien la búsqueda web mejoró el rendimiento sobre Vanilla en algunos casos, produjo ganancias inestables y mostró un marcado sesgo de recencia. En tareas ancladas históricamente, los modelos habilitados para web funcionaron significativamente mejor en preguntas recientes que en las antiguas, a menudo recuperando estatutos actuales incluso cuando se requerían versiones históricas.
• Complejidad de Múltiples Disposiciones: El rendimiento disminuyó ligeramente en general para las preguntas de múltiples disposiciones en comparación con las tareas de una sola disposición, particularmente en configuraciones Vanilla y Web. Sin embargo, los métodos RAG permanecieron robustos, indicando que una vez proporcionado el contexto temporal correcto, los LLM actuales pueden sintetizar múltiples disposiciones de manera efectiva.
• Sesgo de Recencia: Se observaron divergencias significativas en el rendimiento basadas en la antigüedad de la pregunta exclusivamente en la condición de búsqueda web, lo que sugiere que el sesgo de recencia en este contexto es impulsado por pipelines de recuperación que favorecen contenido "fresco" en lugar de sesgos paramétricos inherentes en los modelos.

Significado y Afirmaciones
El artículo afirma que una QA legal fiable requiere tratar la validez temporal como una restricción estricta. Los autores argumentan que:

1. El entrenamiento estático es insuficiente: La discrepancia entre los parámetros estáticos del modelo y el derecho estatutario dinámico crea un punto de fallo crítico para la IA legal, planteando riesgos significativos de responsabilidad cuando los modelos aplican con confianza leyes desactualizadas.
2. RAG con Filtrado Temporal es la solución: Simplemente recuperar coincidencias semánticas "relevantes" es inadecuado. Los sistemas deben filtrar explícitamente los espacios de recuperación basándose en la fecha "as-of" del patrón de hechos legales para asegurar que el modelo razone dentro del régimen legal correcto.
3. La búsqueda web no es una panacea: Las herramientas genéricas de búsqueda web son propensas al sesgo de recencia y no pueden reemplazar de manera fiable bases de datos estatutarias curadas y versionadas para tareas legales sensibles al tiempo.

El trabajo llena un vacío en las referencias existentes (que a menudo carecen de enfoque en derecho civil o fallan al probar la obsolescencia post-corte) y proporciona evidencia empírica de que, si bien la recuperación puede mitigar la obsolescencia de los datos, las capacidades de razonamiento de los LLM respecto a la síntesis histórica compleja de múltiples disposiciones aún enfrentan techos modestos. Los autores concluyen que la investigación futura debe explorar cómo estos hallazgos se generalizan a jurisdicciones de derecho consuetudinario e investigar más a fondo los mecanismos del sesgo de recencia.