Resumen Técnico: Desorientación Temporal en RAG Legal

Definición del Problema: Desorientación Temporal (Temporal Misgrounding)

El artículo identifica la desorientación temporal como un modo de fallo sistemático en la Generación Aumentada por Recuperación (RAG) legal. Este fenómeno ocurre cuando un sistema recupera y cita la versión actualmente vigente de un artículo legal, incluso cuando la ley aplicable para una consulta específica es una versión anterior o futura.

Los autores argumentan que el RAG legal estándar trata el corpus como algo estático, mientras que la respuesta a preguntas legales es inherentemente un problema de recuperación con indexación temporal. Este fallo es impulsado por tres causas raíz estructurales:

1. Sesgo de Recencia Paramétrica: Los LLM son entrenados sobre instantáneas que sobrerepresentan los estados legales recientes, sesgando las prioridades hacia la ley actual.
2. Ausencia de Condicionamiento Temporal: Los recuperadores densos estándar indexan por similitud semántica sin condicionarse a la fecha implícita en la consulta.
3. Aliasing de Número de Artículo: Los identificadores de artículos (p. ej., el Artículo 219 del CGI) persisten a través de las versiones, pero su contenido sustantivo (tasas, umbrales) cambia. La recuperación simple no puede distinguir qué versión se pretende.

El artículo postula que los LLM más grandes o recientes no resuelven esto de forma paramétrica debido al enorme volumen de versiones históricas y a la dificultad de desambiguar textos casi idénticos sin cambios estructurales en la recuperación.

Metodología y Diseño del Benchmark

El Corpus FiscalQA Pro

Para abordar esto, los autores construyeron FiscalQA Pro, que comprende:

• Corpus Versionado: 32,436 versiones de artículos del código fiscal francés (CGI, sus anexos y el LPF) que abarcan 93 años (1938–2031). Esto incluye versiones de efecto futuro diferidas por leyes de finanzas recientes.
• Vinculación de Jurisprudencia: Un conjunto de datos auxiliar de 69,208 enlaces de citación que conectan decisiones judiciales con las versiones específicas de los artículos aplicables en el momento de la decisión (98–99% de precisión).
• Construcción: Los datos fueron extraídos de la API oficial PISTE Légifrance, asegurando la procedencia completa a nivel de versión de artículo con campos explícitos de date debut (fecha de inicio) y date fin (fecha de fin).

La Pista de Razonamiento Temporal R3

El benchmark central es la pista R3, diseñada para aislar la desorientación temporal.

• Alcance: 209 preguntas calificadas y revisadas por expertos a través de 33 artículos del CGI (221 publicados, 12 excluidos por problemas de alcance).
• Dificultad: El conjunto es "difícil para todos los modelos" (all-model-hard). Un filtro de conocimiento paramétrico aseguró que ningún modelo evaluado (a través de 11 modelos y 4 extracciones de muestreo) pudiera responder las preguntas solo desde su memoria.
• Mecanismo de Calificación: Las respuestas se califican de forma determinista mediante "nuggets" (fragmentos) de verdad fundamental atómica (identificadores de artículos y valores numéricos validados mediante regex con tolerancia). Los autores rechazan explícitamente la calificación de "LLM-como-juez" para evitar heredar el mismo sesgo temporal que el sistema pretende evaluar.
• Regímenes de Preguntas: El artículo se centra en R3 (Razonamiento Temporal), donde la respuesta correcta depende de la versión de la ley en una fecha específica. Otros regímenes (R1: Extracción de Citas, R2: Computación Determinista, R4: Síntesis Multidocumento) se presentan como pistas adicionales.

Diseño Experimental

Los autores realizaron un experimento controlado de tres condiciones sobre el subconjunto R3 utilizando 11 modelos (5 de frontera con API cerrada, 1 de frontera sustituto, 5 de pesos abiertos):

1. Condición A (Solo LLM): Conocimiento paramétrico únicamente (sin recuperación).
2. Condición B (RAG Estático): Recuperación sobre un corpus estático que solo contiene la versión actual (representando los sistemas desplegados actualmente). Al modelo se le da el ID de artículo correcto pero solo la versión actual.
3. Condición C (RAG Consciente de la Versión): Recuperación sobre el corpus temporalmente versionado.
   • Cor (Oráculo): El modelo recibe el ID de artículo correcto pero debe seleccionar la versión correcta del índice.
   • Cprod (Extremo a Extremo): El modelo debe recuperar tanto el artículo correcto como la versión correcta sin un oráculo.

Resultados Clave

Fracaso de los Enfoques Estáticos

• Conocimiento Paramétrico (Condición A): La precisión estricta media entre los 11 modelos fue del 3.0%.
• RAG Estático (Condición B): La precisión estricta media fue del 2.7%, estadísticamente indistinguible de la Condición A. Crucialmente, el RAG estático recuperó la versión aplicable en la fecha 0% de las veces. Citó con confianza versiones reales pero inaplicables (actuales).
• Conclusión: El RAG estándar no falla silenciosamente, sino con confianza, sustituyendo la ley histórica por la ley actual.

Éxito de la Recuperación Consciente de la Versión

• Selección de Versión por Oráculo (Cor): Cuando se proporcionó el artículo correcto y el modelo seleccionó la versión correcta, la precisión estricta media alcanzó el 99.1%. Esto demuestra que, una vez disponible la versión correcta, los modelos pueden extraer el valor correcto.
• Recuperación Extremo a Extremo (Cprod): El recuperador extremo a extremo, sin oráculo, logró una precisión estricta media del 98.3%.
• Análisis de Cuello de Botella: La brecha entre Cor (99.1%) y Cprod (98.3%) es de 0.8 puntos, atribuida enteramente a la recuperación de la primera etapa (localizar el artículo correcto) en lugar de la selección de la versión. La versión de oro estaba en los 5 primeros resultados recuperados para el 99% de las preguntas.

Significancia y Reivindicaciones

El artículo sostiene que la respuesta a preguntas legales debe replantearse como un problema de recuperación con indexación temporal. La contribución principal es demostrar que el cuello de botella en el RAG legal para preguntas sensibles al tiempo no es el tamaño del modelo o la capacidad de razonamiento, sino la falta de indexación consciente de la versión y de recuperación condicionada por la fecha.

• Estructural vs. Paramétrico: El fallo de la orientación temporal es estructural a la arquitectura de recuperación, no una limitación de los parámetros del LLM.
• Evaluación Determinista: Al utilizar regex y fragmentos numéricos en lugar de jueces LLM, el benchmark evita el sesgo circular, proporcionando una medida fiable de la orientación temporal.
• Generalizabilidad: Aunque se centra en el derecho fiscal francés, los autores argumentan que la desorientación temporal es un problema estructural para cualquier corpus estatutario de derecho civil que sea enmendado in situ (p. ej., los sistemas alemán, suizo, belga), como lo demuestran los hallazjes independientes concurrentes en la respuesta a preguntas estatutarias alemanas.

El trabajo proporciona el primer corpus versionado y benchmark diseñado específicamente para cuantificar y mitigar la desorientación temporal, liberando el corpus, el benchmark, las respuestas de los modelos y el código del pipeline para la comunidad.