🤖 AI

Time Present and Time Past: Benchmarking Large Language Models on Temporally Evolving Document Understanding

Este artigo apresenta o TIDE, um novo benchmark verificado por especialistas para avaliar grandes modelos de linguagem na compreensão de documentos em evolução temporal, revelando que os modelos atuais têm dificuldades significativas com a resolução de versões e frequentemente priorizam o conhecimento paramétrico confiante em detrimento de textos autoritativos e específicos de um tempo.

Autores originais: Mahbub E Sobhani, Md. Faiyaz Abdullah Sayeedi, Fahmid Hasan Chowdhury, Md Adnan Arefeen, Farig Sadeque, Md. Faizul Bari, Swakkhar Shatabda

Publicado 2026-08-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Mahbub E Sobhani, Md. Faiyaz Abdullah Sayeedi, Fahmid Hasan Chowdhury, Md Adnan Arefeen, Farig Sadeque, Md. Faizul Bari, Swakkhar Shatabda

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando encontrar a regra certa para um jogo, mas o livro de regras é um ser vivo que muda todos os dias. No mundo da inteligência artificial, existem duas formas principais pelas quais o conhecimento é geralmente tratado. A primeira é como uma enciclopédia gigante: se um fato muda, o antigo é simplesmente apagado e substituído pelo novo. Se você perguntar sobre a capital de um país que mudou de nome, a enciclopédia apenas mostrará o novo nome. A segunda forma, que é muito mais complexa, é como uma pilha de contratos legais ou um videogame com atualizações (patches). Aqui, uma regra antiga não desaparece; ela permanece perfeitamente correta para o período em que esteve ativa, enquanto uma nova regra assume o controle mais tarde. Se você perguntar: "Qual era o limite de velocidade em 2015?", você precisa da regra de 2015, não da de 2025. Se o computador errar isso, não é apenas um erro bobo; poderia ser como dizer a alguém para pagar o imposto errado ou seguir uma diretriz médica que foi cancelada anos atrás. Este é o desafio da "resolução de versão": descobrir exatamente qual versão de uma regra estava em vigor em uma data específica.

Uma equipe de pesquisadores construiu um novo teste chamado TIDE (Temporal Information Drift in Evolving Documents) para ver se os computadores de IA mais inteligentes de hoje conseguem lidar com essa lógica complicada de viagem no tempo. Eles não apenas inventaram perguntas falsas; eles escavaram 644 documentos reais e oficiais do governo de Bangladesh, abrangendo leis alfandegárias, códigos tributários e regulamentos de 1969 até 2025. Esses documentos são bagunçados, misturando inglês e bengali, e contêm uma teia de emendas onde uma regra cancela outra, que por sua vez é cancelada por uma terceira. Os pesquisadores criaram 3.050 perguntas baseadas nesses documentos, pedindo à IA para agir como um advogado viajante no tempo. Eles testaram nove dos modelos de IA mais poderosos disponíveis, dando a eles três maneiras diferentes de encontrar respostas: confiar apenas no que memorizaram durante o treinamento (como um exame de livro fechado), ler os documentos exatos fornecidos a eles ou pesquisar em um banco de dados para encontrar as páginas certas.

Os resultados foram um pouco um choque de realidade. Mesmo os melhores modelos de IA, quando recebiam os documentos perfeitos para ler, acertavam apenas cerca de 68,5% das respostas. Isso significa que eles ainda falhavam em mais de uma de cada três vezes, mesmo quando a resposta estava bem diante de seus "olhos". O estudo descobriu que esses modelos são surpreendentemente bons em encontrar o texto correto quando sabem exatamente onde procurar, mas são terríveis em perceber quando um texto que estão lendo é, na verdade, a versão errada para a data em questão. Por exemplo, se você der a uma IA um documento que diz "O imposto é 10%", mas a pergunta for sobre um período em que o imposto era 5%, a IA frequentemente ignora o documento com confiança e mantém sua memória ou o texto errado. Na verdade, quando os pesquisadores tentaram enganar a IA com uma afirmação confiante, mas errada, os modelos foram muito bons em sinalizar que algo estava errado (detectando erros cerca de 79% das vezes), mas foram terríveis em identificar exatamente o que estava errado (identificando o erro específico apenas cerca de 19% das vezes). Isso significa que eles frequentemente sentem um problema, mas culpam o detalhe errado com confiança.

O artigo sugere que simplesmente dar mais texto para a IA ler ou ferramentas de busca melhores não é suficiente para resolver esse problema. Os modelos têm maior dificuldade com tarefas que exigem que eles montem uma linha do tempo, como ordenar eventos em sequência ou calcular qual era a regra "três anos depois". Eles tendem a assumir que as regras apenas ficam mais rigorosas ou mudam em uma única direção, perdendo o fato de que as leis frequentemente são revogadas ou retornam a versões antigas. Embora os pesquisadores tenham mostrado que ter os documentos certos ajuda, isso não garante o sucesso. O estudo conclui que a "resolução de versão" continua sendo um obstáculo importante e não resolvido para a IA. Até que esses modelos possam realmente compreender o fluxo do tempo em documentos legais, eles podem ser arriscados demais para serem confiados em tarefas do mundo real, como declaração de impostos ou liberação alfandegária, onde errar a data pode levar a sérios problemas financeiros ou legais.

Resumo Técnico: TIDE – Avaliação de Desempenho de Grandes Modelos de Linguagem na Compreensão de Documentos com Evolução Temporal

1. Definição do Problema: O Desafio da Resolução de Versões

Os atuais Grandes Modelos de Linguagem (LLMs) enfrentam dificuldades com documentos em evolução, como leis, códigos tributários e documentação de software, onde regras são alteradas, substituídas ou revertidas ao longo do tempo. Diferente do conhecimento enciclopédico (ex: Wikipedia), onde fatos antigos são simplesmente sobrescritos, documentos em evolução mantêm um registro histórico persistente: uma versão anterior permanece legalmente correta para o seu período de validade específico, enquanto uma nova emenda declara explicitamente o que ela substitui e quando entra em vigor.

O desafio central identificado é a resolução de versões: a capacidade de identificar a versão específica de uma regra que está em vigor em uma data consultada. Os benchmarks de QA temporal existentes (ex: TempReason, MenatQA, evolveQA) tratam o tempo meramente como uma anotação ou testam o conhecimento de livro fechado sobre valores substituídos. Eles falham em testar a capacidade crítica de resolver qual emenda rege uma data específica, particularmente quando o próprio texto fonte contém a lógica de substituição e reversão. Além disso, os benchmarks existentes frequentemente carecem da complexidade dos documentos regulatórios do mundo real, que são frequentemente codificados de forma mista (code-mixed), heterogêneos em layout e utilizam sistemas de calendário duplos.

2. Metodologia: O Benchmark TIDE

Para abordar essas lacunas, os autores introduzem o TIDE (Temporal Information Drift in Evolving Documents), um benchmark verificado por especialistas projetado para avaliar a resolução de versões de LLMs em textos legais autênticos e em evolução.

2.1 Obtenção e Construção de Dados

Corpus: O benchmark é construído sobre 644 instrumentos alfandegários oficiais emitidos pelo Governo de Bangladesh entre 1969 e 2025. Isso inclui 3 Atos do Parlamento, 20 Ordens Gerais (GOs), 609 Ordens Regulatórias Estatutárias (SROs) e 12 Regras.
Complexidade: Os documentos são profundamente codificados de forma mista (Bangla–Inglês), contêm tabelas tarifárias incorporadas e 97% deles declaram datas tanto no calendário Bangla quanto no Gregoriano.
Pipeline de Parsing:
1. Extração: Um esquema geral extrai cláusulas, hierarquia, tabelas e metadados sem perda de texto, preservando a estrutura original de script misto.
2. Extração de Entidade-Conceito: Usando um LLM, o sistema extrai pares entidade-conceito canônicos (ex: "Direito Aduaneiro" e suas mudanças de taxa) para normalizar a nomenclatura entre documentos.
3. Construção de Threads: Entidades são agrupadas e vinculadas em threads de conceitos evolutivos. Uma thread representa um tópico regulatório como uma lista ordenada no tempo de instrumentos e os valores que eles estabelecem, capturando explicitamente emendas, revogações e reversões.
4. Geração de QA: Perguntas são geradas contra essas threads, garantindo que cada pergunta seja fundamentada na história da regra, em vez de apenas um snapshot único.

2.2 Tipos de Tarefas

O TIDE compreende 3.050 pares de QA através de oito tipos distintos de tarefas que isolam diferentes aspectos do raciocínio temporal:

MCQ Temporal: Identificar o instrumento/data correto entre distratores lexicalmente próximos.
Ordenação de Eventos: Reconstruir a ordem cronológica de eventos embaralhados sem datas explícitas.
Detecção de Perturbação: Verificar se uma afirmação é precisa e corrigir campos alterados específicos.
Resposta Curta de Cenário: Extrair valores de cenários realistas sem citações diretas de cláusulas.
Resposta Curta de Cenário Temporal: Raciocinar sobre múltiplos instrumentos para encontrar o valor em vigor em uma data específica.
QA de Tempo Relativo: Calcular uma data alvo a partir de uma âncora e um deslocamento (ex: "três anos depois") para encontrar a regra regente.
Aberta: Explicar a lógica por trás das mudanças de política.
Desalinhamento de Contexto: Determinar a resposta correta quando o prompt contém um preâmbulo enganoso e substituído.

2.3 Protocolo de Avaliação

Os autores avaliam nove LLMs recentes (seis de pesos abertos, três proprietários) sob três configurações de acesso ao conhecimento:

Paramétrico (Livro Fechado): O modelo responde apenas a partir de sua memória interna.
Gold-Context (ICL): O modelo recebe os documentos exatos usados para gerar a pergunta.
Aumentado por Recuperação (RAG): O modelo recebe as 10 cláusulas superiores recuperadas de um índice de busca semântica.

Mecanismo de Pontuação:
É utilizado uma abordagem única de LLM-como-um-Conselho, empregando três juízes heterogêneos (Claude Opus 4.6, Gemini 3.5 Flash, GPT-5.1). Crucialmente, a pontuação inclui um filtro de data rígido (hard date gate): uma resposta recebe crédito zero se a data estiver incorreta, mesmo que o significado esteja correto. Isso separa o "significado correto" do "tempo correto".

3. Resultados Principais

A avaliação de nove modelos revela que a resolução de versões continua sendo um problema em aberto, com a melhor acurácia média macro atingindo apenas 68,5% (GPT-5 sob ICL).

O Acesso ao Conhecimento Importa: O desempenho melhora consistentemente de Paramétrico $\to$ RAG $\to$ ICL. No entanto, mesmo com o contexto de ouro (gold context), os modelos não atingem a acurácia perfeita, indicando que ler o texto correto é necessário, mas não suficiente.
O Gap de Resolução de Versão: Os modelos são significativamente melhores em encontrar versões corretas do que em rejeitar as incorretas.
- Desalinhamento de Contexto: Esta é a tarefa mais difícil. A melhor pontuação alcançada por qualquer modelo em qualquer configuração foi de 27,62% (Kimi sob ICL), enquanto outros modelos e configurações performaram significativamente abaixo. Os modelos tendem a seguir uma premissa confiante, porém falsa, sobre o texto autoritativo fornecido.
- QA de Tempo Relativo: A acurácia estrita é baixa em todos os casos. A maior pontuação paramétrica é 12,37% (GPT-OSS), enquanto o GPT-5 atinge 11,08% e o Claude 3,77%. Sob ICL, o Claude lidera com 68,03%, mas a tarefa permanece difícil para a maioria dos modelos.
- Ordenação de Eventos: O desempenho colapsa em RAG (caindo de ~66% em ICL para ~31%) porque a recuperação semântica frequentemente perde partes da linha do tempo necessárias para reconstruir a ordem.
Detecção vs. Identificação: Na detecção de perturbação, os modelos são bons em sinalizar que uma afirmação está errada (alta detecção), mas ruins em identificar o que foi alterado (baixa identificação) sem fundamentação. A fundamentação (grounding) melhora significativamente a identificação.
Comportamento do Modelo:
- Paramétrico: Modelos frequentemente declinam a responder ou alucinam datas.
- Fundamentado (Grounded): Modelos frequentemente alucinam datas que contradizem o texto fornecido ou falham em resolver conflitos entre um contexto enganoso e a fonte.
- Dificuldade da Tarefa: O tipo de tarefa prediz o desempenho mais do que a identidade do modelo. Tarefas de reconhecimento simples (MCQ Temporal) são fáceis, enquanto tarefas que exigem raciocínio sobre múltiplos documentos (Ordenação de Eventos, Desalinhamento de Contexto) são extremamente difíceis.

4. Contribuições

Formalização de Documentos em Evolução: O artigo formaliza o desafio da resolução de versões, distinguindo-o de simples atualizações de fatos.
Benchmark TIDE: O lançamento de um benchmark de alta qualidade, verificado por especialistas, com 3.050 pares de QA sobre 644 instrumentos legais reais e de código misto.
Protocolo de Avaliação Unificado: Um protocolo inovador que avalia modelos através de configurações paramétricas, de contexto de ouro e de recuperação, com um mecanismo de pontuação de filtro de data rigoroso.
Insights Empíricos: O estudo demonstra que os LLMs atuais, mesmo com acesso ao texto fonte, falham em resolver versões de forma confiável, muitas vezes confiando em premissas falsas e confiantes sobre a evidência autoritativa.

5. Significância e Limitações

Significância:
O artigo argumenta que a resolução de versões não é resolvida apenas por recuperação ou acesso a contextos longos. As falhas persistentes em tarefas sensíveis ao tempo destacam uma lacuna crítica nas capacidades dos LLMs para domínios de alto risco, como direito, impostos e conformidade. O benchmark fornece uma base para o desenvolvimento de modelos que possam raciocinar de forma confiável sobre documentos em evolução, separando a capacidade de ler o texto da capacidade de resolver conflitos temporais.

Limitações:

Especificidade de Domínio: O benchmark é atualmente limitado à lei aduaneira de Bangladesh e a um par de idiomas e sistema de calendário específico.
Modelos Congelados: A avaliação é conduzida em modelos congelados via prompting; não esclarece se o ajuste fino (fine-tuning) ou o pré-treinamento contínuo resolveria esses problemas.
Baseline de Recuperação: Os resultados de RAG utilizam um recuperador semântico padrão sem reclassificação temporal, o que significa que os escores de RAG representam um limite inferior.
Incerteza Paramétrica: Os escores paramétricos dependem de suposições não verificáveis sobre os cortes de dados de treinamento.
Deriva Temporal: Como o corpus é definido até 2025, o benchmark precisará de atualizações periódicas para permanecer atual.

Os autores concluem que, embora a leitura do texto correto seja um pré-requisito, a capacidade de identificar a versão em vigor e rejeitar informações substituídas continua sendo um desafio significativo e ainda não resolvido para os atuais LLMs.