Resumo Técnico: Injetar ou Navegar? Recuperação Eficiente de Tokens para Análise de Documentos Jurídicos Transacionais por LLM

Declaração do Problema

O artigo aborda o desafio de responder perguntas sobre um corpus de documentos jurídicos transacionais (ex: contratos, aditamentos, cartas de intenção, anexos). A abordagem de linha de base, denominada inject (injetar), consiste em colocar todo o corpus na janela de contexto do Large Language Model (LLM) para cada consulta. Embora isso maximize a recall de recuperação ao garantir que nenhuma informação seja perdida, sofre de duas limitações críticas à medida que o corpus cresce:

1. Pegada de Tokens: O custo escala com o tamanho do corpus, e não com a pergunta, tornando-o ineficiente para conjuntos de documentos extensos.
2. Degradação de Contexto Longo: Os LLMs exibem atenção desigual em entradas longas, frequentemente perdendo informações posicionadas no meio da janela de contexto.
3. Limites da Janela de Contexto: Assuntos jurídicos frequentemente excedem a janela de contexto máxima dos modelos atuais, tornando a injeção total impossível.

Benchmarks existentes (ex: CUAD, ContractNLI) tipicamente operam em documentos únicos e falham em capturar as dependências entre instrumentos (ex: termos definidos, referências cruzadas, aditamentos) inerentes à análise jurídica transacional.

Metodologia

Os autores avaliaram duas estratégias de recuperação estruturada contra a linha de base inject, utilizando um método de fragmentação (chunking) consciente da estrutura, desenvolvido pela Syntheia. A avaliação foi conduzida em um benchmark de 20 perguntas (18 vinculadas ao documento com verdade fundamental verificada, 2 controles fora de escopo) através de seis documentos jurídicos.

Protocolo de Avaliação

• Juiz: Um juiz pareado, ancorado em referência e com controle de viés de posição (utilizando claude-opus-4-7), comparou as respostas da linha de base e do método de recuperação. Um "empate" foi concedido apenas se ambas as direções de comparação concordassem, certificando que ambas as respostas eram igualmente consistentes com a verdade fundamental.
• Métricas: O estudo rastreou a pegada de tokens (total de tokens aos quais o modelo atenta, incluindo contexto em cache) e o custo em dólares (gastos operacionais, contabilizando descontos de cache de prompt). Estas foram tratadas como métricas separadas porque o cache reduz o custo sem reduzir a contagem de tokens que o modelo deve processar.

Os Três Modos

1. Inject (Linha de Base): O corpus completo é colocado na janela de contexto para cada consulta.
2. Navigate-Embeddings (navembed): Os documentos são pré-incorporados (embedded) em uma árvore de nós. No momento da consulta, os $k$ nós mais similares são recuperados via similaridade de cosseno (com reranking opcional de cross-encoder) e colocados no contexto.
3. Navigate-Index (navindex): Uma abordagem sem vetores onde um LLM navega por um índice compacto e estruturado. O índice contém:
   • Flags semânticas booleanas: (ex: isDefinition, hasMoney, hasLiabilityLimit).
   • Metadados estruturais: Cabeçalhos, referências de cláusulas e grafos explícitos de referências cruzadas/termos definidos.
   • Processo de Navegação: O LLM varre o índice (S1) para selecionar até 10 IDs de nós baseados em filtros booleanos e resumos, então busca deterministicamente o texto literal para esses nós (S2) para gerar a resposta (S3).

Resultados Principais

Inject vs. navembed

• Desempenho: A configuração mais forte (recuperação semântica + reranking, RUN-012) foi julgada como empate com inject em 16 de 18 perguntas vinculadas ao documento (inject preferido em 2).
• Eficiência: Esta configuração reduziu a pegada de tokens de entrada em 17,3× (188K tokens vs. 3,26M de tokens).
• Custo: Alcançou um custo em dólares menor que o inject em todas as execuções validadas.
• Modo de Falha: Uma configuração híbrida de BM25 (RUN-011) sofreu de "viés de comprimento", inflando o payload e falhando em reduzir custos efetivamente.

Inject vs. navindex

• Desempenho: A configuração otimizada de tokens (Config 6) foi julgada como empate com inject em todas as 18 perguntas vinculadas ao documento e em ambos os controles fora de escopo. Isso representa a maior taxa de empate de uma única execução no estudo.
• Eficiência:
  • Pegada de Tokens: Reduziu o total de tokens de entrada em 1,61×.
  • Contexto de Resposta: Reduziu o contexto ao qual o modelo atenta durante a geração da resposta em ~56× (2,9K tokens vs. 163K tokens).
  • Custo: Registrou um custo em dólares 25% menor ($1,21 vs. $1,61) comparado ao inject.
• Mecanismo: O sucesso do navindex é atribuído à sua codificação explícita de sinais estruturais (referências cruzadas e termos definidos), que a similaridade de cosseno sozinha não consegue capturar, permitindo que o modelo recupere o contexto exato necessário sem depender apenas de proximidade semântica.

Análise de Custo: A Regra de Crossover de Cache

O artigo deriva uma regra de forma fechada para quando o inject com cache é mais barato em dólares do que a recuperação:
$$C < 10 \times R$$
Onde $C$ é o tamanho do corpus e $R$ é o payload de recuperação.

• Implicação: O inject com cache é mais barato apenas se o corpus for aproximadamente 10 vezes menor que o payload de recuperação.
• Realidade: Para o corpus de 163K tokens testado, tanto o navembed quanto o navindex foram mais baratos que o inject com cache em estado estacionário. No entanto, para corpora muito pequenos (<35K tokens), o inject continua sendo a opção mais barata.
• Ressalva: Isso assume uma sessão "quente" (warm) onde o cache é válido (TTL de 5 minutos). Em fluxos de trabalho assíncronos, o custo de escrita do cache pode ser incorrido repetidamente, erodindo a vantagem do inject.

Principais Contribuições

1. Avaliação Pareada: Uma avaliação rigorosa, com controle de viés de posição, da injeção de corpus completo contra recuperação estruturada em um conjunto de QA jurídico com verdade fundamental verificada.
2. Design do navindex: O design de um descritor de navegação para instrumentos jurídicos que codifica flags booleanas tipadas, grafos de referência cruzada e resolução de termos definidos, operacionalizados via prompts específicos.
3. Regra de Crossover de Cache: Uma regra econômica de forma fechada que separa a pegada de tokens do custo em dólares, destacando que a redução de tokens é um benefício estrutural enquanto a economia de custo é dependente da sessão.
4. Catálogo de Modos de Falha: Identificação de modos de falha específicos a serem evitados, como o viés de comprimento do BM25, seleção excessiva de apenas títulos e seleção de nós sem limite superior.

Significância e Alegações

O artigo afirma que a recuperação estruturada é uma alternativa viável e, muitas vezes, superior à injeção de corpus completo para análise de documentos jurídicos, desde que a estratégia de recuperação respeite as dependências estruturais dos textos jurídicos.

• Preservação da Qualidade: A recuperação estruturada pode igualar a qualidade da resposta da injeção total (conforme medido por um juiz ancorado em referência) enquanto reduz drasticamente a pegada de tokens e o contexto de resposta.
• Fidelidade Estrutural: O método navindex demonstra que codificar sinais estruturais jurídicos (referências cruzadas, termos definidos) diretamente no índice é mais eficaz do que depender apenas de similaridade vetorial, particularmente para perguntas que exigem a reconciliação de aditamentos e anexos.
• Viabilidade Econômica: Embora a injeção total seja mais barata para corpora muito pequenos ou consultas de sessão única, a recuperação estruturada torna-se a escolha economicamente superior à medida que o tamanho do corpus cresce ou quando o payload de recuperação é significativamente menor que o corpus completo.

Os autores mantêm a modéstia sobre suas alegações, observando que a avaliação é limitada a uma única família de modelos, um conjunto específico de 20 perguntas e não mede diretamente a recall de recuperação (precisão/recall) devido à ausência de rótulos de nós de verdade fundamental. Eles enfatizam que o veredito de "empate" certifica a equivalência em consistência com a verdade fundamental, não a correção absoluta, e que os resultados são específicos para o corpus e o prompt de engenharia avaliados.