🤖 AI

Time Present and Time Past: Benchmarking Large Language Models on Temporally Evolving Document Understanding

Este artículo presenta TIDE, un nuevo referente verificado por expertos para evaluar modelos de lenguaje de gran tamaño en la comprensión de documentos con evolución temporal, revelando que los modelos actuales tienen dificultades significativas con la resolución de versiones y a menudo priorizan el conocimiento paramétrico confiable sobre el texto autoritativo y específico de un tiempo determinado.

Autores originales: Mahbub E Sobhani, Md. Faiyaz Abdullah Sayeedi, Fahmid Hasan Chowdhury, Md Adnan Arefeen, Farig Sadeque, Md. Faizul Bari, Swakkhar Shatabda

Publicado 2026-08-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Mahbub E Sobhani, Md. Faiyaz Abdullah Sayeedi, Fahmid Hasan Chowdhury, Md Adnan Arefeen, Farig Sadeque, Md. Faizul Bari, Swakkhar Shatabda

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encontrar la regla correcta para un juego, pero el libro de reglas es un ser vivo que cambia cada día. En el mundo de la inteligencia artificial, hay dos formas principales en las que se suele manejar el conocimiento. La primera es como una enciclopedia gigante: si un hecho cambia, el antiguo simplemente se borra y se reemplaza con el nuevo. Si preguntas por la capital de un país que cambió su nombre, la enciclopedia simplemente te muestra el nuevo nombre. La segunda forma, que es mucho más complicada, es como una pila de contratos legales o un videojuego con parches. Aquí, una regla antigua no desaparece; permanece perfectamente correcta para el tiempo en que estuvo activa, mientras que una nueva regla toma el control más tarde. Si preguntas: "¿Cuál era el límite de velocidad en 2015?", necesitas la regla de 2015, no la de 2025. Si la computadora se equivoca en esto, no es solo un error tonto; podría ser como decirle a alguien que pague el impuesto equivocado o que siga una directriz médica que fue cancelada hace años. Este es el desafío de la "resolución de versiones": determinar exactamente qué versión de una regla estaba a cargo en una fecha específica.

Un equipo de investigadores ha construido una nueva prueba llamada TIDE (Temporal Information Drift in Evolving Documents - Deriva de Información Temporal en Documentos Evolutivos) para ver si las computadoras de IA más inteligentes de hoy pueden manejar esta complicada lógica de viaje en el tiempo. No se limitaron a inventar preguntas falsas; excavaron en 644 documentos reales y oficiales del gobierno de Bangladesh, que cubren leyes de aduanas, códigos fiscales y regulaciones desde 1969 hasta 2025. Estos documentos son desordenados, mezclan inglés y bengalí, y contienen una red de enmiendas donde una regla cancela a otra, que luego es cancelada por una tercera. Los investigadores crearon 3,050 preguntas basadas en estos documentos, pidiéndole a la IA que actúe como un abogado que viaja en el tiempo. Probaron nueve de los modelos de IA más potentes disponibles, dándoles tres formas diferentes de encontrar respuestas: confiar únicamente en lo que memorizaron durante su entrenamiento (como un examen de libro cerrado), leer los documentos exactos proporcionados, o buscar en una base de datos para encontrar las páginas adecuadas.

Los resultados fueron un poco un llamado de atención. Incluso los mejores modelos de IA, cuando se les entregaron los documentos perfectos para leer, solo acertaron aproximadamente el 68.5% de las respuestas. Eso significa que seguían fallando más de una de cada tres veces, incluso cuando la respuesta estaba justo frente a sus "ojos". El estudio encontró que estos modelos son sorprendentemente buenos encontrando el texto correcto cuando saben exactamente dónde buscar, pero son terribles al darse cuenta de cuándo un texto que están leyendo es en realidad la versión incorrecta para la fecha en cuestión. Por ejemplo, si le das a una IA un documento que dice "El impuesto es del 10%" pero la pregunta consulta sobre un tiempo en el que el impuesto era del 5%, la IA a menudo ignora con confianza el documento y se aferra a su memoria o al texto erróneo. De hecho, cuando los investigadores intentaron engañar a la IA con una afirmación segura pero incorrecta, los modelos fueron muy buenos detectando que algo andaba mal (detectando errores aproximadamente el 79% de las veces), pero fueron terribles en señalar exactamente qué estaba mal (identificando el error específico solo el 19% de las veces). Esto significa que a menudo perciben un problema, pero culpan con confianza al detalle equivocado.

El artículo sugiere que simplemente darle a la IA más texto para leer o mejores herramientas de búsqueda no es suficiente para resolver este problema. Los modelos luchan más con tareas que requieren que unan una línea de tiempo, como ordenar eventos en orden o calcular cuál era la regla "tres años después". Tienden a asumir que las reglas solo se vuelven más estrictas o cambian en una sola dirección, pasando por alto el hecho de que las leyes a menudo son derogadas o regresan a versiones antiguas. Aunque los investigadores demostraron que tener los documentos correctos ayuda, eso no garantiza el éxito. El estudio concluye que la "resolución de versiones" sigue siendo un obstáculo importante y sin resolver para la IA. Hasta que estos modelos puedan comprender verdaderamente el flujo del tiempo en los documentos legales, podrían ser demasiado riesgosos para confiar en ellos con tareas del mundo real como la declaración de impuestos o el despacho de aduanas, donde equivocarse en la fecha podría acarrear graves problemas financieros o legales.

Resumen Técnico: TIDE – Evaluación de Modelos de Lenguaje de Gran Escala en la Comprensión de Documentos con Evolución Temporal

1. Definición del Problema: El Desafío de la Resolución de Versiones

Los Modelos de Lenguaje de Gran Escala (LLM) actuales tienen dificultades con los documentos en evolución, como leyes, códigos fiscales o documentación de software, donde las reglas son enmendadas, reemplazadas o revertidas a lo largo del tiempo. A diferencia del conocimiento enciclopédico (por ejemplo, Wikipedia), donde los datos antiguos son simplemente sobrescritos, los documentos en evolución mantienen un registro histórico persistente: una versión anterior sigue siendo legalmente correcta para su período de validez específico, mientras que una nueva enmienda establece explícitamente qué reemplaza y cuándo entra en vigor.

El desafío central identificado es la resolución de versiones: la capacidad de identificar la versión específica de una regla que está en vigor en una fecha consultada. Los benchmarks de QA temporal existentes (por ejemplo, TempReason, MenatQA, evolveQA) tratan el tiempo meramente como una anotación o prueban el conocimiento de caja cerrada sobre valores derogados. No logran evaluar la capacidad crítica de resolver qué enmienda rige en una fecha determinada, particularmente cuando el propio texto fuente contiene la lógica de reemplazo y reversión. Además, los benchmarks existentes suelen carecer de la complejidad de los documentos regulatorios del mundo real, que frecuentemente son de código mixto, heterogéneos en su diseño y utilizan sistemas de calendarios duales.

2. Metodología: El Benchmark TIDE

Para abordar estas brechas, los autores presentan TIDE (Temporal Information Drift in Evolving Documents), un benchmark verificado por expertos diseñado para evaluar la resolución de versiones de textos legales auténticos y en evolución.

2.1 Obtención y Construcción de Datos

Corpus: El benchmark se construye sobre 644 instrumentos aduaneros oficiales emitidos por el Gobierno de Bangladesh entre 1969 y 2025. Esto incluye 3 Actas del Parlamento, 20 Órdenes Generales (GOs), 609 Órdenes Regulatorias Estatutarias (SROs) y 12 Reglas.
Complejidad: Los documentos están profundamente codificados en mezcla de idiomas (Bangla–Inglés), contienen tablas de aranceles incrustadas y el 97% de ellos indica fechas tanto en el calendario Bangla como en el Gregoriano.
Pipeline de Procesamiento:
1. Extracción: Un esquema general extrae cláusulas, jerarquía, tablas y metadatos sin pérdida de texto, preservando la estructura original de guiones mixtos.
2. Extracción de Entidad-Concepto: Utilizando un LLM, el sistema extrae pares de entidad-concepto canónicos (por ejemplo, "Derecho de Aduana" y sus cambios de tasa) para normalizar la nomenclatura entre documentos.
3. Construcción de Hilos: Las entidades se agrupan y vinculan en hilos de conceptos en evolución. Un hilo representa un tema regulatorio como una lista ordenada cronológicamente de instrumentos y los valores que establecen, capturando explícitamente enmiendas, derogaciones y reversiones.
4. Generación de QA: Las preguntas se generan contra estos hilos, asegurando que cada pregunta esté fundamentada en la historia de la regla y no en una instantánea única.

2.2 Tipos de Tareas

TIDE comprende 3,050 pares de QA a través de ocho tipos de tareas distintas que aíslan diferentes aspectos del razonamiento temporal:

MCQ Temporal: Identificar el instrumento/fecha correcto entre distractores léxicamente cercanos.
Ordenamiento de Eventos: Reconstruir el orden cronológico de eventos desordenados sin fechas explícitas.
Detección de Perturbación: Verificar si una afirmación es precisa y corregir campos alterados específicos.
Respuesta Corta de Escenario: Extraer valores de escenarios realistas sin citas directas de cláusulas.
Respuesta Corta de Escenario Temporal: Razonar sobre múltiples instrumentos para encontrar el valor vigente en una fecha específica.
QA de Tiempo Relativo: Calcular una fecha objetivo a partir de un ancla y un desplazamiento (por ejemplo, "tres años después") para encontrar la regla que rige.
Abierta: Explicar la lógica detrás de los cambios de política.
Desalineación de Contexto: Determinar la respuesta correcta cuando el preámbulo contiene una premisa errónea y obsoleta.

2.3 Protocolo de Evaluación

Los autores evalúan nueve LLM recientes (seis de pesos abiertos, tres propietarios) bajo tres configuraciones de acceso al conocimiento:

Paramétrico (Caja Cerrada): El modelo responde basándose únicamente en su memoria interna.
Contexto de Oro (ICL): Se le proporciona al modelo los documentos de oro exactos utilizados para generar la pregunta.
Aumentado por Recuperación (RAG): El modelo recibe las 10 cláusulas superiores recuperadas de un índice de búsqueda semántica.

Mecanismo de Calificación:
Se utiliza un enfoque único de LLM-como-un-Consejo, empleando tres jueces heterogéneos (Claude Opus 4.6, Gemini 3.5 Flash, GPT-5.1). Crucialmente, la calificación incluye una puerta de fecha estricta: una respuesta recibe cero crédito si la fecha es incorrecta, incluso si el significado es correcto. Esto separa el "significado correcto" del "tiempo correcto".

3. Resultados Clave

La evaluación de nueve modelos revela que la resolución de versiones sigue siendo un problema abierto, con la mejor precisión promedio macro alcanzando solo el 68.5% (GPT-5 bajo ICL).

El Acceso al Conocimiento Importa: El rendimiento mejora consistentemente de Paramétrico $\to$ RAG $\to$ ICL. Sin embargo, incluso con el contexto de oro, los modelos no logran alcanzar la precisión perfecta, lo que indica que leer el texto correcto es necesario pero no suficiente.
La Brecha de Resolución de Versiones: Los modelos son significativamente mejores encontrando versiones correctas que rechazando las incorrectas.
- Desalineación de Contexto: Esta es la tarea más difícil. La mejor puntuación lograda por cualquier modelo en cualquier configuración es del 27.62% (Kimi bajo ICL), mientras que otros modelos y configuraciones rinden significativamente menos. Los modelos tienden a seguir una premisa falsa pero confiada por encima del texto autoritativo suministrado.
- QA de Tiempo Relativo: La precisión estricta es baja en general. La puntuación paramétrica más alta es del 12.37% (GPT-OSS), mientras que GPT-5 alcanza 11.08% y Claude 3.77%. Bajo ICL, Claude lidera con 68.03%, pero la tarea sigue siendo difícil para la mayoría.
- Ordenamiento de Eventos: El rendimiento colapsa en RAG (cayendo de ~66% en ICL a ~31%) porque la recuperación semántica a menudo pierde partes de la línea de tiempo necesarias para reconstruir el orden.
Detección vs. Identificación: En la detección de perturbaciones, los modelos son buenos para señalar que una afirmación es errónea (alta detección) pero malos para identificar qué fue alterado (baja identificación) sin fundamentación. La fundamentación mejora significativamente la identificación.
Comportamiento del Modelo:
- Paramétrico: Los modelos a menudo declinan responder o alucinan fechas.
- Fundamentado: Los modelos a menudo alucinan fechas que contradicen el texto proporcionado o no logran resolver conflictos entre un contexto engañoso y la fuente.
- Dificultad de la Tarea: El tipo de tarea predice el rendimiento más que la identidad del modelo. Las tareas de reconocimiento simple (MCQ Temporal) son fáciles, mientras que las tareas que requieren razonamiento multidocumento (Ordenamiento de Eventos, Desalineación de Contexto) son extremadamente difíciles.

4. Contribuciones

Formalización de Documentos en Evolución: El artículo formaliza el desafío de la resolución de versiones, distinguiéndolo de la simple actualización de hechos.
Benchmark TIDE: El lanzamiento de un benchmark de alta calidad y verificado por expertos con 3,050 pares de QA sobre 644 instrumentos legales reales y de código mixto.
Protocolo de Evaluación Unificado: Un protocolo novedoso que evalúa modelos a través de configuraciones paramétricas, de contexto de oro y de recuperación con un mecanismo de calificación de puerta de fecha estricta.
Perspectivas Empíricas: El estudio demuestra que los LLM actuales, incluso con acceso al texto fuente, fallan al resolver versiones de manera confiable, confiando a menudo en premisas falsas pero seguras por encima de la evidencia autoritativa.

5. Significancia y Limitaciones

Significancia:
El artículo argumenta que la resolución de versiones no se resuelve solo con la recuperación o el acceso a contextos largos. Los fallos persistentes en tareas sensibles al tiempo resaltan una brecha crítica en las capacidades de los LLM para dominios de alto riesgo como el derecho, los impuestos y el cumplimiento. El benchmark proporciona una base para desarrollar modelos que puedan razonar de manera confiable sobre documentos en evolución, separando la capacidad de leer texto de la capacidad de resolver conflictos temporales.

Limitaciones:

Especificidad del Dominio: El benchmark está actualmente limitado a la ley de aduanas de Bangladesh y a un par de idiomas y sistema de calendario específico.
Modelos Congelados: La evaluación se realiza en modelos congelados mediante prompting; no aclara si el ajuste fino (fine-tuning) o el preentrenamiento continuo resolverían estos problemas.
Línea Base de Recuperación: Los resultados de RAG utilizan un recuperador semántico estándar sin reordenamiento temporal, lo que significa que los puntajes de RAG representan un límite inferior.
Incertidumbre Paramétrica: Los puntajes paramétricos dependen de suposiciones no verificables sobre los cortes de datos de entrenamiento.
Deriva Temporal: Dado que el corpus se establece en 2025, el benchmark requerirá actualizaciones periódicas para mantenerse vigente.

Los autores concluyen que, si bien leer el texto correcto es un prerrequisito, la capacidad de identificar la versión en vigor y rechazar la información obsoleta sigue siendo un desafío significativo y no resuelto para los LLM actuales.