Resumen Técnico: JurisTCU – Un conjunto de datos de recuperación de información en portugués brasileño con juicios de relevancia de consultas

Declaración del problema

El campo de la Recuperación de Información Legal (LIR, por sus siglas en inglés) enfrenta un cuello de botella significativo en el dominio del portugués: la escasez de conjuntos de datos de alta calidad que contengan tanto un corpus legal como juicios de relevancia de consultas (qrels). Si bien existen conjuntos de datos de IR en portugués general (p. ej., Quati) y algunos conjuntos de datos legales disponibles para el inglés (p. ej., CLERC, MS MARCO), hay una ausencia notable de conjuntos de datos de LIR en portugués que incluyan consultas típicas de sistemas de búsqueda anotadas con etiquetas de relevancia. Los recursos legales existentes en portugués, como el Ulysses-RFCorpus, a menudo presentan formatos de consulta (p. ej., solicitudes legislativas de nuevos proyectos de ley) que divergen de los comportamientos de búsqueda estándar de los usuarios. Esta falta de recursos de evaluación estandarizados dificulta el desarrollo y la evaluación comparativa de los sistemas de búsqueda para los ciudadanos brasileños y los profesionales del derecho, particularmente para el Tribunal de Contas da União (TCU), que gestiona más de 500.000 documentos jurisprudenciales.

Metodología

Los autores desarrollaron JurisTCU, un conjunto de datos que comprende 16.045 documentos jurisprudenciales y 150 consultas con juicios de relevancia. La metodología consistió en tres etapas principales:

1. Construcción del Corpus

El corpus de documentos se derivó de la colección de "jurisprudencia seleccionada" del TCU, una subcolección curada de Acórdãos (decisiones judiciales oficiales) elegidos por su valor de precedente. Cada documento en el conjunto de datos incluye metadatos y dos campos de texto primarios:

• RESUMEN (ENUNCIADO): Una declaración concisa del entendimiento legal (promedio de 306 caracteres).
• EXTRACTO (EXCERTO): Un segmento textual de la decisión original que proporciona la base para el resumen (promedio de 4.387 caracteres).

2. Generación de Consultas

Las 150 consultas se organizaron en tres grupos distintos para simular diferentes comportamientos de búsqueda:

• Grupo G1 (Consultas de Usuarios Reales): Las 50 consultas más frecuentes de los registros de búsqueda del TCU (junio 2022–mayo 2023). Son consultas cortas, basadas en palabras clave (promedio de 3,5 palabras) sin calificadores ni preposiciones.
• Grupo G2 (Consultas de Palabras Clave Sintéticas): 50 consultas generadas mediante el uso de un LLM (ChatGPT-4) para extraer palabras clave esenciales de los resúmenes de los 50 documentos más accedidos. Promedian 6,5 palabras.
• Grupo G3 (Consultas de Preguntas Sintéticas): 50 preguntas de texto completo generadas a partir de los mismos resúmenes, refinadas manualmente para ser representativas. Promedian 16,5 palabras.

3. Anotación de Juicios de Relevancia (Qrels)

Para abordar el alto costo de la anotación manual, los autores emplearon un proceso híbrido de dos pasos:

1. Preselección Automatizada: Un recuperador de dos etapas (combinando BM25 y un recuperador semántico basado en BERT) seleccionó los 300 documentos candidatos principales por consulta. Estos fueron reordenados utilizando un modelo basado en T5, y se seleccionaron los 10 resultados principales. Además, se incluyeron 5 documentos aleatorios de la salida de BM25 para asegurar ejemplos no relevantes.
2. Calificación por LLM y Validación de Expertos: Los 15 documentos seleccionados por consulta fueron calificados por GPT-4 en una escala de 0 (irrelevante) a 3 (altamente relevante). Un experto en la materia revisó luego estas puntuaciones para corregir cualquier error. En el caso de JurisTCU, el experto estuvo mayoritariamente de acuerdo con las puntuaciones automatizadas, resultando en un total de 2.250 juicios de relevancia.

Configuración Experimental

Los autores realizaron 14 experimentos para establecer puntos de referencia para el conjunto de datos, comparando una línea base estándar de BM25 contra enfoques de recuperación léxica y semántica:

• Búsqueda Léxica: BM25 estándar frente a BM25 con Expansión de Documentos. Los métodos de expansión incluyeron:
  • docT5query: Generación de consultas sintéticas a partir del resumen utilizando un modelo T5 en portugués.
  • Expansión de Sinónimos: Uso de LLMs (GPT-3.5, GPT-4o, Llama 3-70B) para generar sinónimos de términos clave en el resumen.
  • Combinaciones: Fusión de ambas técnicas de expansión.
• Búsqueda Semántica: Recuperación de vectores densos utilizando embeddings de:
  • Modelos basados en BERT: Incluyendo modelos multilingües y modelos específicos de portugués (generales y ajustados al dominio legal).
  • Modelos de OpenAI: text-embedding-3-small y text-embedding-3-large.
    La ejecución se evaluó utilizando Precisión@10 (P@10), Recall@10 (R@10), Mean Reciprocal Rank (MRR@10) y nDCG@10.

Resultados Clave

Rendimiento de la Búsqueda Léxica

Las técnicas de expansión de documentos mejoraron significamente el rendimiento de la recuperación sobre la línea base, particularmente para consultas cortas basadas en palabras clave (Grupo G1).

• Magnitud de la Mejora: Para el Grupo G1, la combinación de docT5query con la expansión de sinónimos (usando GPT-3.5 o Llama 3) aumentó P@10, R@10 y nDCG@10 en más de un 45% en comparación con la línea base.
• Comparación de Modelos: El método docT5query generalmente superó a la expansión de solo sinónimos. Entre los LLM, GPT-3.5 y Llama 3-70B produjeron resultados similares y superiores en comparación con GPT-4o para esta tarea específica.
• Impacto de la Longitud de la Consulta: A medida que las consultas se volvieron más largas y alineadas con el vocabulario del documento (Grupos G2 y G3), el rendimiento de la línea base BM25 aumentó, haciendo que las mejoras de la expansión fueran más modestas (aproximadamente un 8% para P@10/R@10 en el Grupo G3).

Rendimiento de la Búsqueda Semántica

Los resultados resaltaron una marcada divergencia entre familias de modelos:

• Modelos basados en BERT: Todos los modelos de embedding basados en BERT (tanto multilingües como los ajustados al dominio legal portugués) rendieron por debajo de la línea base de BM25 en todos los grupos de consultas. Los autores atribuyen esto a la posible pérdida de información debido a la truncación de tokens y la dificultad de los modelos semánticos para manejar consultas cortas y densas en palabras clave sin un ajuste fino específico en este conjunto de datos.
• Modelos de OpenAI: Los modelos de embedding de OpenAI lograron consistentemente los mejores resultados, superando tanto a la línea base de BM25 como a los mejores métodos de expansión léxica.
  • Para el Grupo G1 (consultas cortas), los modelos de OpenAI mejoraron P@10, R@10 y nDCG@10 en aproximadamente un 70%.
  • El modelo más grande (text-embedding-3-large) generalmente superó al más pequeño (text-embedding-3-small) en los Grupos G1 y G2, aunque el modelo más pequeño funcionó ligeramente mejor en el Grupo G3.
  • Estos resultados sugieren que los embeddings densos capturan eficazmente las relaciones semánticas en el dominio legal, incluso para consultas cortas, superando la dependencia de la coincidencia léxica exacta.

Significado y Contribuciones

El artículo reclama tres contribuciones principales:

1. Disponibilidad del Conjunto de Datos: JurisTCU llena un vacío crítico en la comunidad de investigación de IR en portugués al proporcionar el primer conjunto de datos de LIR con consultas de búsqueda típicas y juicios de relevancia. Permite la evaluación comparativa de sistemas de recuperación en un contexto legal especializado.
2. Perspectivas Empíricas: El estudio proporciona evidencia de que, si bien la expansión de documentos potencia significativamente la búsqueda léxica (especialmente para consultas cortas), la búsqueda semántica utilizando embeddings de alta calidad (específicamente los modelos de OpenAI) ofrece un rendimiento superior, superando incluso a los métodos léxicos expandidos. Por el contrario, advierte que los modelos BERT estándar pueden no ser adecuados para este dominio sin un ajuste fino adicional.
3. Impacto Práctico: El conjunto de datos y los resultados experimentales ofrecen una vía para mejorar el sistema de búsqueda pública del TCU, que es accedido más de 1,5 millones de veces anualmente, mejorando así el acceso a los precedentes legales para los ciudadanos y profesionales brasileños.

Los autores concluyen que, si bien el conjunto de datos es específico para la jurisprudencia del TCU, sirve como un recurso valioso para estudiar el impacto de nuevos modelos de embedding y técnicas de búsqueda en el idioma portugués. El trabajo futuro implica la publicación de diversos conjuntos de datos anotados y la exploración de la anotación manual para comparar con los juicios automáticos.