When Rules Learn: A Self-Evolving Agent for Legal Case Retrieval

Resumen Técnico: Cuando las reglas aprenden: Un agente de autoevolución para la recuperación de casos legales

Planteamiento del problema
La recuperación de casos legales sigue siendo una tarea desafiante debido a la complejidad del lenguaje jurídico, la longitud de los documentos y la necesidad de una alineación léxica precisa entre las consultas del usuario y los casos relevantes. Aunque los modelos de recuperación densa basados en embeddings neuronales han avanzado significativamente, estudios empíricos en el benchmark legal chino LeCaRD-v2 indican que, a menudo, rinden por debajo de los métodos tradicionales de coincidencia léxica. Específicamente, BM25 supera consistentemente a modelos representativos de recuperación densa (incluyendo aquellos ajustados con datos legales) a través de varios cortes de recall. Esto sugiere que, en lugar de reemplazar a BM25, una dirección más prometedora es mejorar su rendimiento mediante la mejora de la alineación léxica de las consultas a través de la reescritura. Sin embargo, diseñar estrategias de reescritura de consultas basadas en reglas de alta calidad requiere una experiencia de dominio sustancial, y la generación de reglas ingenuas suele conducir a resultados subóptimos.

Metodología
Los autores proponen un marco de autoevolución para la reescritura de consultas basada en reglas que opera sin ningún entrenamiento de parámetros basado en gradientes. El sistema emplea un agente basado en un LLM que interactúa con un entorno de evaluación automatizado para refinar iterativamente un conjunto de reglas de reescritura. El marco funciona como un sistema de bucle cerrado donde la adaptación surge de la interacción en lugar de la optimización del modelo.

El proceso de toma de decisiones del agente involucra tres acciones primarias:

1. Generación de reglas: El agente crea nuevas reglas de reescritura de consultas analizando el conjunto de reglas activas actuales, las reglas previamente eliminadas y los puntajes experimentales acumulados. Puede modificar reglas existentes para amplificar comportamientos efectivos o proponer estrategias completamente nuevas, asegurando que las nuevas reglas no degeneren en patrones previamente descartados.
2. Planificación de experimentos: El agente selecciona subconjuntos de reglas activas para formar combinaciones de prueba. Aprovecha los resultados experimentales históricos para identificar combinaciones prometedoras (por ejemplo, aquellas con efectos complementarios) evitando la evaluación redundante de conjuntos ya probados.
3. Eliminación de reglas: Para evitar que el espacio de estrategias se vuelva inmanejable, el agente identifica y elimina reglas ineficaces. Este proceso utiliza un mecanismo de consenso de dos etapas para mitigar errores estocásticos: el agente primero determina si una regla debe ser eliminada basándose en múltiples ensayos independientes y, si se alcanza un consenso, selecciona una regla específica para su eliminación basándose en un umbral de votación.

El entorno ejecuta estas decisiones invocando a un LLM externo congelado para reescribir las consultas de acuerdo con las reglas seleccionadas, las cuales son luego evaluadas utilizando el algoritmo BM25 en un conjunto de desarrollo. El agente itera a través de este proceso (hasta 500 pasos) para refinar su conjunto de reglas antes de ser evaluado en un conjunto de prueba independiente.

Contribuciones clave

• Reevaluación de los Baselines: El trabajo demuestra que BM25 sigue siendo un baseline sólido para la recuperación de casos legales, superando a varios modelos de recuperación densa de vanguardia en LeCaRD-v2, y aboga por mejorar BM25 mediante la reescritura de consultas en lugar de su reemplazo.
• Marco de Autoevolución: Los autores introducen un novedoso marco libre de entrenamiento donde un agente optimiza autónomamente las reglas de reescritura mediante generación, planificación de experimentos y eliminación. Este enfoque ofrece interpretabilidad y controlabilidad, aspectos críticos en el dominio legal.
• Análisis de Comportamiento: El artículo proporciona una investigación detallada de los mecanismos que impulsan la autoevolución, caracterizando la dinámica conductual de los agentes LLM e identificando factores intrínsecos que influyen en su capacidad de automejora.

Resultados Experimentales
El marco fue evaluado en el benchmark LeCaRD-v2. Los hallazgos clave incluyen:

• Rendimiento vs. Baselines: Cuando es impulsado por un LLM central de alta capacidad (específicamente gpt-oss-120b), el marco de autoevolución superó consistentemente a los baselines no evolutivos, incluyendo las reglas diseñadas por humanos y una estrategia de selección de reglas codiciosa (greedy). Logró una mejora promedio de recall de +0.61% sobre la estrategia greedy y de +1.03% sobre las reglas diseñadas manualmente.
• Dependencia del Modelo: La efectividad del marco depende altamente de las capacidades del LLM central. Los modelos más pequeños (por ejemplo, Qwen3-4B-Thinking) no lograron superar consistentemente a las estrategias greedy, sobreoptimizando a menudo para cortes de recall más altos (por ejemplo, Recall@500) mientras rendían por debajo en cortes más bajos.
• Mecanismos de Éxito: Un análisis detallado reveló que el éxito de la autoevolución depende menos de la generación progresiva de reglas individuales cada vez más efectivas (cuya calidad fluctuaba) y más de la capacidad del agente para:
  • Planificar Experimentos: Aprovechar eficazmente los resultados históricos para seleccionar combinaciones "ancla" de alta calidad para nuevos experimentos.
  • Eliminar Reglas: Identificar y descartar con precisión reglas ineficaces mientras retiene las efectivas, una tarea donde los modelos más grandes demostraron un mejor control sobre el tamaño del conjunto de reglas activas.

Significancia y Reivindicaciones
El artículo sostiene que los agentes de autoevolución ofrecen un camino viable para la mejora interpretable y adaptativa de los sistemas de recuperación de casos legales sin la necesidad de extensos datos de entrenamiento o ajuste fino del modelo. Los autores destacan que el éxito del marco depende de las capacidades de razonamiento del LLM central, específicamente su capacidad para planificar experimentos basados en datos históricos y para tomar decisiones conservadoras y basadas en evidencia respecto a la eliminación de reglas.

El trabajo reconoce limitaciones, señalando que el enfoque depende fuertemente de la capacidad del LLM central para seguir instrucciones complejas y generar texto coherente en el idioma objetivo (chino). Los modelos que carecen de estas capacidades específicas fallaron al generar reglas significativas o cumplieron deficientemente con las restricciones de formato. Además, los autores sugieren que para la aplicación en diferentes jurisdicciones legales, se deben proporcionar reglas semilla apropiadas durante la inicialización para considerar las variaciones en la terminología legal y la estructura de los documentos. El estudio no pretende reemplazar la recuperación densa por completo, sino posicionar la reescritura basada en reglas de autoevolución como una estrategia robusta y complementaria para mejorar los sistemas de recuperación léxica existentes.