Resumo Técnico: GAVEL – O Encontro de Agentes com Checklists para Avaliação de LLMs em Sumarização Jurídica de Longo Contexto

Declaração do Problema

Embora os modelos de linguagem de grande escala (LLMs) modernos suportem agora janelas de contexto de até 1 milhão de tokens, sua eficácia em tarefas complexas de múltiplos documentos e longo contexto permanece incerta. Especificamente, a sumarização de casos jurídicos apresenta um desafio único: um único caso de litígio pode compreender dezenas de documentos (ex: petições, moções, decisões) totalizando mais de 100.000 tokens, às vezes excedendo 1 milhão. Diferente da sumarização de notícias ou romances, onde as informações principais costumam ser sequenciais ou próximas ao início, a sumarização jurídica exige a integração de argumentos interconectados através de múltiplos documentos, mantendo a cronologia, preservando as relações entre partes e decisões, e garantindo referências cruzadas precisas. Os métodos de avaliação atuais frequentemente falham em capturar as nuances da cobertura factual e a confiabilidade dos avaliadores automáticos neste domínio.

Metodologia

Os autores introduzem o GAVEL, um framework de avaliação abrangente composto por dois componentes complementares: GAVEL-REF (baseado em referência) e GAVEL-AGENT (livre de referência).

1. GAVEL-REF: Avaliação Baseada em Referência

O GAVEL-REF avalia os resumos dos modelos contra referências escritas por especialistas humanos usando três métricas distintas:

• Avaliação por Checklist: Utiliza 26 itens de checklist desenhados por especialistas (ex: data de protocolo, partes, pedidos de reparação). Diferente da simples correspondência de strings, o framework extrai valores e texto de suporte como listas, permitindo crédito parcial e lidando com itens de múltiplos valores. Ele classifica relações (igual, contenção, diferente) para computar precisão, recall e F1 scores.
• Avaliação de Fatos Residuais: Reconhecendo que 78% dos resumos humanos contêm fatos importantes não cobertos pelo checklist predefinido (com média de 6,8 fatos por resumo), este componente extrai "fatos residuais" atômicos de trechos de texto não cobertos pelos valores do checklist. Estes são comparados entre os resumos do modelo e do humano para capturar informações negligenciadas.
• Avaliação de Estilo de Escrita: Um juiz LLM avalia a similaridade entre o resumo do modelo e a referência humana em cinco dimensões (Legibilidade/Jargão, Ordem Narrativa, Estrutura de Sentença, Formatação, Estilo de Citação) em uma escala Likert de 1 a 5.

Estes componentes são agregados em um único escore ($S_{GAVEL-REF}$) ponderado pela cobertura de conteúdo ($\alpha=0,9$) e pela importância relativa dos fatos residuais ($r$).

2. GAVEL-AGENT: Scaffold de Agente Livre de Referência

Para abordar o alto custo de coleta de resumos de especialistas, o GAVEL-AGENT é um agente livre de referência projetado para extrair itens de checklist diretamente dos documentos de origem.

• Navegação Baseada em Ferramentas: O agente é equipado com seis ferramentas (list_documents, read_document, search_document_regex, get_checklist, append_checklist, update_checklist) para navegar estrategicamente em coleções de documentos longos, mimetizando o comportamento de um especialista humano (folhear, pesquisar, atualizar).
• Gestão de Contexto: Para lidar com contextos longos (256K+ tokens) e inúmeras chamadas de ferramentas, o agente atualiza seu contexto após cada ação, mantendo apenas as 5 respostas completas mais recentes e comprimindo o restante do histórico.
• Configurações: Os autores testaram configurações de agente único, multi-agente (agrupado) e 26 agentes (um por item) para determinar a estratégia de extração ideal.

3. Meta-Avaliação

Para validar a confiabilidade do GAVEL, os autores conduziram uma meta-avaliação sistemática envolvendo 160 horas de anotação humana. Isso incluiu 5.442 anotações de nível de item de checklist, 450 julgamentos de comparação, 281 extrações de fatos residuais e 375 classificações de estilo. Este conjunto de dados foi usado para comparar o desempenho de vários LLMs atuando como avaliadores dentro do framework GAVEL-REF.

Principais Contribuições

1. Framework GAVEL: Um sistema de avaliação inovador que combina avaliação de checklist, fatos residuais e avaliação de estilo para sumarização jurídica de longo contexto, além de um scaffold de agente livre de referência para extração direta baseada em documentos.
2. Meta-Avaliação de Larga Escala: Um conjunto de dados de 160 horas de anotações humanas demonstrando que o GAVEL-REF pode atingir precisão comparável a modelos de ponta (como o GPT-5) utilizando modelos de código aberto fortes (ex: GPT-oss, Qwen3), provando a viabilidade de uma avaliação automática de baixo custo.
3. Benchmarking Abrangente: Uma avaliação de 12 LLMs de fronteira (proprietários e de código aberto) em 100 casos jurídicos recentes (2025) através de 18 áreas temáticas diversas e cinco escalas de comprimento (32K a 512K tokens).
4. Demonstração de Generalização: A adaptação bem-sucedida do GAVEL-AGENT para o domínio médico (revisões Cochrane), mostrando transferibilidade além do direito.

Resultados

Desempenho de LLM na Sumarização Jurídica

• Omissão vs. Alucinação: Os modelos atuais são significamente mais propensos a omitir informações chave do que a alucinar conteúdo incorreto. A precisão supera consistentemente o recall entre os modelos.
• Desempenho do Checklist: Mesmo o modelo de melhor desempenho, Gemini 2.5 Pro, alcançou apenas 59,1 F1 na avaliação de checklist (66,6 precisão, 55,3 recall). Os modelos performaram bem em itens simples de valor único (ex: data de protocolo), mas tiveram dificuldades com itens de múltiplos valores raros e complexos (ex: acordos, casos relacionados).
• Sensibilidade ao Comprimento: O desempenho degrada conforme o comprimento do caso aumenta. O F1 de checklist do Gemini 2.5 Pro caiu aproximadamente 10% ao passar de casos de 32K para 512K tokens. Modelos de código aberto degradaram de forma mais acentuada em casos longos devido a limites de contexto e truncamento.
• Fatos Residuais: GPT-4.1 e GPT-5 foram os únicos modelos a capturar mais fatos residuais do que os resumos humanos (razão residual > 11%), embora o GPT-5 tenha produzido resumos verbosos, em estilo de checklist, em vez de narrativos.

Eficiência do GAVEL-AGENT

• Redução de Tokens: O GAVEL-AGENT alcançou um desempenho competitivo utilizando 36–54% menos tokens do que os métodos de extração end-to-end e por partes (chunk-by-chunk) no domínio jurídico.
• Domínio Médico: No domínio médico, o GAVEL-AGENT alcançou o melhor desempenho utilizando pelo menos 77% menos tokens do que os métodos de baseline.
• Arquitetura de Agente: Uma configuração utilizando 26 agentes individuais (um por item de checklist) superou a extração conjunta de todos os itens por um único agente, sugerindo que a especialização por item auxilia na navegação em registros longos.

Significância e Alegações

O artigo alega que o GAVEL fornece uma solução robusta, escalável e de baixo custo para avaliar a sumarização de longo contexto, abordando as limitações de trabalhos anteriores que dependiam fortemente de verificação manual ou métricas simples de n-grama. Ao demonstrar que os LLMs atuais falham primariamente por omissão em vez de alucinação, o trabalho destaca uma área específica para melhoria de modelos. Além disso, o sucesso do GAVEL-AGENT sugere que scaffolds baseados em agentes podem substituir efetivamente as referências humanas caras para a extração de checklists, tornando a avaliação de alta qualidade acessível para domínios onde resumos de especialistas não estão disponíveis. Os autores enfatizam que seu trabalho foca na avaliação, e não na melhoria direta dos modelos de sumarização, deixando o desenvolvimento de modelos que condicionam sobre os checklists extraídos como um trabalho futuro.