When Rules Learn: A Self-Evolving Agent for Legal Case Retrieval

Resumo Técnico: Quando as Regras Aprendem: Um Agente de Autoevolução para Recuperação de Casos Jurídicos

Definição do Problema
A recuperação de casos jurídicos continua sendo uma tarefa desafiadora devido à complexidade da linguagem jurídica, à extensão dos documentos e à necessidade de um alinhamento lexical preciso entre as consultas do usuário e os casos relevantes. Embora os modelos de recuperação densa baseados em embeddings neurais tenham avançado significativamente, estudos empíricos no benchmark jurídico chinês LeCaRD-v2 indicam que eles frequentemente apresentam desempenho inferior em comparação aos métodos tradicionais de correspondência lexical. Especificamente, o BM25 supera consistentemente modelos representativos de recuperação densa (incluindo aqueles ajustados com dados jurídicos) em vários cortes de recall. Isso sugere que, em vez de substituir o BM25, uma direção mais promissora é aumentar seu desempenho através da melhoria do alinhamento lexical das consultas por meio de reescrita. No entanto, projetar estratégias de reescrita de consultas baseadas em regras de alta qualidade geralmente requer um conhecimento especializado substancial, e a geração de regras ingênua frequentemente leva a resultados subótimos.

Metodologia
Os autores propõem um framework de autoevolução para a reescrita de consultas baseada em regras que opera sem qualquer treinamento de parâmetros baseado em gradiente. O sistema emprega um agente baseado em LLM que interage com um ambiente de avaliação automatizado para refinar iterativamente um conjunto de regras de reescrita. O framework funciona como um sistema de malha fechada onde a adaptação emerge da interação, em vez da otimização do modelo.

O processo de tomada de decisão do agente envolve três ações primárias:

1. Geração de Regras: O agente cria novas regras de reescrita de consultas analisando o conjunto de regras ativas atual, as regras anteriormente eliminadas e os escores experimentais acumulados. Ele pode tanto modificar regras existentes para amplificar comportamentos eficazes quanto propor estratégias inteiramente novas, garantindo que novas regras não degenerem em padrões previamente descartados.
2. Planejamento de Experimentos: O agente seleciona subconjuntos de regras ativas para formar combinações para teste. Ele aproveita resultados experimentais históricos para identificar combinações promissoras (por exemplo, aquelas com efeitos complementares), evitando avaliações redundantes de conjuntos já testados.
3. Eliminação de Regras: Para evitar que o espaço de estratégias se torne incontrolável, o agente identifica e remove regras ineficazes. Este processo utiliza um mecanismo de consenso de dois estágios para mitigar erros estocásticos: o agente primeiro determina se uma regra deve ser removida com base em múltiplos testes independentes e, se um consenso for alcançado, seleciona uma regra específica para eliminação com base em um limiar de votação.

O ambiente executa essas decisões invocando um LLM externo congelado para reescrever as consultas de acordo com as regras selecionadas, que são então avaliadas usando o algoritmo BM25 em um conjunto de desenvolvimento. O agente itera através deste processo (até 500 passos) para refinar seu conjunto de regras antes de ser avaliado em um conjunto de teste não visto.

Principais Contribuições

• Reavaliação de Baselines: O trabalho demonstra que o BM25 permanece um baseline forte para a recuperação de casos jurídicos, superando vários modelos de recuperação densa de última geração no LeCaRD-v2, e defende o aumento do BM25 via reescrita de consultas em vez de sua substituição.
• Framework de Autoevolução: Os autores introduzem um novo framework livre de treinamento, onde um agente otimiza autonomamente as regras de reescrita através de geração, planejamento de experimentos e eliminação. Esta abordagem oferece interpretabilidade e controle, que são críticos no domínio jurídico.
• Análise Comportamental: O artigo fornece uma investigação detalhada dos mecanismos que impulsionam a autoevolução, caracterizando a dinâmica comportamental dos agentes de LLM e identificando fatores intrínsecos que influenciam sua capacidade de autoaperfeiçoamento.

Resultos Experimentais
O framework foi avaliado no benchmark LeCaRD-v2. As principais descobertas incluem:

• Desempenho vs. Baselines: Quando alimentado por um LLM central de alta capacidade (especificamente o gpt-oss-120b), o framework de autoevolução superou consistentemente os baselines não evolucionários, incluindo regras desenhadas por humanos e uma estratégia de seleção de regras gulosa (greedy). Ele alcançou uma melhoria média de recall de +0,61% sobre a estratégia gulosa e +1,03% sobre as regras desenhadas manualmente.
• Dependência de Modelo: A eficácia do framework é altamente dependente das capacidades do LLM central. Modelos menores (ex: Qwen3-4B-Thinking) falharam em superar consistentemente as estratégias gulosas, frequentemente otimizando demais para cortes de recall mais altos (ex: Recall@500) enquanto apresentavam desempenho inferior em cortes mais baixos.
• Mecanismos de Sucesso: Uma análise detalhada revelou que o sucesso da autoevolução depende menos da geração progressiva de regras individuais cada vez mais eficazes (cuja qualidade flutuava) e mais da capacidade do agente de:
  • Planejar Experimentos: Aproveitar efetivamente resultados históricos para selecionar combinações "âncora" de alta qualidade para novos experimentos.
  • Eliminar Regras: Identificar e descartar regras ineficazes com precisão enquanto retém as regras eficazes, uma tarefa na qual modelos maiores demonstraram melhor controle sobre o tamanho do conjunto de regras ativas.

Significância e Alegações
O artigo afirma que agentes de autoevolução oferecem um caminho viável para o aumento interpretável e adaptável de sistemas de recuperação de casos jurídicos sem a necessidade de extensos dados de treinamento ou ajuste fino de modelos. Os autores destacam que o sucesso do framework é contingente às capacidades de raciocínio do LLM central, especificamente sua habilidade de planejar experimentos baseados em dados históricos e de tomar decisões conservadoras e baseadas em evidências em relação à eliminação de regras.

O trabalho reconhece limitações, observando que a abordagem depende fortemente da capacidade do LLM central de seguir instruções complexas e gerar texto coerente na língua alvo (chinês). Modelos que carecem dessas capacidades específicas falharam em gerar regras significativas ou aderiram mal às restrições de formato. Além disso, os autores sugerem que, para aplicação em diferentes jurisdições legais, regras semente apropriadas devem ser fornecidas durante a inicialização para considerar as variações na terminologia jurídica e na estrutura dos documentos. O estudo não pretende substituir totalmente a recuperação densa, mas posiciona a reescrita baseada em regras de autoevolução como uma estratégia robusta e complementar para aumentar os sistemas de recuperação lexical existentes.