Resumo Técnico: JurisTCU – Um Conjunto de Dados de Recuperação de Informação em Português Brasileiro com Julgamentos de Relevância de Consulta

Declaração do Problema

O campo da Recuperação de Informação Jurídica (LIR) enfrenta um gargalo significativo no domínio da língua portuguesa: a escassez de conjuntos de dados de alta qualidade que contenham tanto um corpus jurídico quanto julgamentos de relevância de consulta (qrels). Embora existam conjuntos de dados de IR em português geral (ex: Quati) e alguns conjuntos de dados jurídicos disponíveis para o inglês (ex: CLERC, MS MARCO), há uma ausência notável de conjuntos de dados de LIR em português que incluam consultas típicas de sistemas de busca anotadas com rótulos de relevância. Recursos jurídicos em português existentes, como o Ulysses-RFCorpus, frequentemente apresentam formatos de consulta (ex: solicitações legislativas de novos projetos de lei) que divergem dos comportamentos padrão de busca de usuários. Essa falta de recursos de avaliação padronizados dificulta o desenvolvimento e a avaliação de sistemas de busca para cidadãos brasileiros e profissionais do direito, particularmente para o Tribunal de Contas da União (TCU), que gerencia mais de 500.000 documentos jurisprudenciais.

Metodologia

Os autores desenvolveram o JurisTCU, um conjunto de dados composto por 16.045 documentos jurisprudenciais e 150 consultas com julgamentos de relevância. A metodologia envolveu três estágios principais:

1. Construção do Corpus

O corpus de documentos foi derivado da coleção de "jurisprudência selecionada" do TCU, um subconj conjunto curado de Acórdãos (decisões judiciais oficiais) escolhidos por seu valor de precedente. Cada documento no conjunto de dados inclui metadados e dois campos de texto primários:

• SUMÁRIO (ENUNCIADO): Uma afirmação concisa do entendimento jurídico (média de 306 caracteres).
• EXCERTO (EXCERTO): Um segmento textual da decisão original que fornece a base para o sumário (média de 4.387 caracteres).

2. Geração de Consultas

As 150 consultas foram organizadas em três grupos distintos para simular diferentes comportamentos de busca:

• Grupo G1 (Consultas de Usuários Reais): As 50 consultas mais frequentes dos logs de busca do TCU (junho de 2022–maio de 2023). Estas são consultas curtas, baseadas em palavras-chave (média de 3,5 palavras), sem qualificadores ou preposições.
• Grupo G2 (Consultas de Palavras-Chave Sintéticas): 50 consultas geradas via prompt em um LLM (ChatGPT-4) para extrair palavras-chave essenciais dos sumários dos 50 documentos mais acessados. Elas possuem média de 6,5 palavras.
• Grupo G3 (Consultas de Perguntas Sintéticas): 50 perguntas de texto completo geradas a partir dos mesmos sumários, refinadas manualmente para serem representativas. Elas possuem média de 16,5 palavras.

3. Anotação de Julgamento de Relevância (Qrels)

Para lidar com o alto custo da anotação manual, os autores empregaram um processo híbrido de duas etapas:

1. Pré-seleção Automatizada: Um recuperador de dois estágios (combinando BM25 e um recuperador semântico baseado em BERT) selecionou os 300 documentos candidatos principais por consulta. Estes foram reclassificados usando um modelo baseado em T5, e os 10 melhores resultados foram selecionados. Adicionalmente, 5 documentos aleatórios da saída do BM25 foram incluídos para garantir exemplos não relevantes.
2. Pontuação por LLM e Validação por Especialista: Os 15 documentos selecionados por consulta foram pontuados pelo GPT-4 em uma escala de 0 (irrelevante) a 3 (altamente relevante). Um especialista de domínio então revisou essas pontuações para corrigir quaisquer erros. No caso do JurisTCU, o especialista concordou amplamente com as pontuações automatizadas, resultando em um total de 2.250 julgamentos de relevância.

Configuração Experimental

Os autores conduziram 14 experimentos para estabelecer benchmarks para o conjunto de dados, comparando uma linha de base BM25 padrão contra abordagens de recuperação lexical e semântica:

• Busca Lexical: BM25 padrão versus BM25 com Expansão de Documento. Os métodos de expansão incluíram:
  • docT5query: Geração de consultas sintéticas a partir do sumário usando um modelo T5 em português.
  • Expansão de Sinônimos: Uso de LLMs (GPT-3.5, GPT-4o, Llama 3-70B) para gerar sinônimos para termos-chave no sumário.
  • Combinações: Fusão de ambas as técnicas de expansão.
• Busca Semântica: Recuperação de vetores densos usando embeddings de:
  • Modelos baseados em BERT: Incluindo modelos multilíngues e modelos específicos para o domínio jurídico em português (geral e ajustado/fine-tuned).
  • Modelos da OpenAI: text-embedding-3-small e text-embedding-3-large.

O desempenho foi avaliado usando Precisão@10 (P@10), Recall@10 (R@10), Mean Reciprocal Rank (MRR@10) e nDCG@10.

Principais Resultados

Desempenho da Busca Lexical

As técnicas de expansão de documento melhoraram significadamente o desempenho da recuperação sobre a linha de base, particularmente para consultas curtas e baseadas em palavras-chave (Grupo G1).

• Magnitude de Melhoria: Para o Grupo G1, a combinação de docT5query com expansão de sinônimos (usando GPT-3.5 ou Llama 3) aumentou P@10, R@10 e nDCG@10 em mais de 45% em comparação com a linha de base.
• Comparação de Modelos: O método docT5query geralmente superou a expansão apenas de sinônimos. Entre os LLMs, GPT-3.5 e Llama 3-70B produziram resultados similares e superiores em comparação ao GPT-4o para esta tarefa específica.
• Impacto do Comprimento da Consulta: À medida que as consultas se tornaram mais longas e alinhadas com o vocabulário do documento (Grupos G2 e G3), o desempenho da linha de base BM25 aumentou, tornando as melhorias provenientes da expansão mais modestas (aprox. 8% para P@10/R@10 no Grupo G3).

Desempenho da Busca Semântica

Os resultados destacaram uma divergência acentuada entre famílias de modelos:

• Modelos Baseados em BERT: Todos os modelos de embedding baseados em BERT (tanto multilíngues quanto os ajustados para o domínio jurídico em português) desempenharam-se abaixo da linha de base BM2 padrão em todos os grupos de consulta. Os autores atribuem isso à potencial perda de informação devido à truncagem de tokens e à dificuldade dos modelos semânticos em lidar com consultas curtas e ricas em palavras-chave sem um ajuste fino específico para este conjunto de dados.
• Modelos da OpenAI: Os modelos de embedding da OpenAI alcançaram consistentemente os melhores resultados, superando tanto a linha de base BM25 quanto os melhores métodos de expansão lexical.
  • Para o Grupo G1 (consultas curtas), os modelos da OpenAI melhoraram P@10, R@10 e nDCG@10 em aproximadamente 70%.
  • O modelo maior (text-embedding-3-large) geralmente superou o menor (text-embedding-3-small) nos Grupos G1 e G2, embora o modelo menor tenha tido um desempenho ligeiramente superior no Grupo G3.
  • Estes resultados sugerem que os embeddings densos capturam efetivamente as relações semânticas no domínio jurídico, mesmo para consultas curtas, superando a dependência de correspondência lexical exata.

Significância e Contribuições

O artigo reivindica três contribuições principais:

1. Disponibilidade do Conjunto de Dados: O JurisTCU preenche uma lacuna crítica na comunidade de pesquisa de IR em português ao fornecer o primeiro conjunto de dados de LIR com consultas de busca típicas e julgamentos de relevância. Ele permite o benchmarking de sistemas de recuperação em um contexto jurídico especializado.
2. Insights Empíricos: O estudo fornece evidências de que, embora a expansão de documentos impulsione significativamente a busca lexical (especialmente para consultas curtas), a busca semântica usando embeddings de alta qualidade (especificamente modelos da OpenAI) oferece um desempenho superior, superando inclusive os métodos de expansão lexical. Por outro lado, alerta que os modelos BERT padrão podem não ser adequados para este domínio sem o devido ajuste fino.
3. Impacto Prático: O conjunto de dados e os resultados experimentais oferecem um caminho para melhorar o sistema de busca pública do TCU, que é acessado mais de 1,5 milhão de vezes anualmente, aumentando assim o acesso a precedentes jurídicos para cidadãos e profissionais brasileiros.

Os autores concluem que, embora o conjunto de dados seja específico para a jurisprudência do TCU, ele serve como um recurso valioso para estudar o impacto de novos modelos de embedding e técnicas de busca na língua portuguesa. Trabalhos futuros envolvem o lançamento de diversos conjuntos de dados anotados e a exploração da anotação manual para comparar com os julgamentos automáticos.