When Rules Learn: A Self-Evolving Agent for Legal Case Retrieval

Résumé Technique : Quand les règles apprennent : Un agent auto-évolutif pour la recherche de jurisprudence juridique

Énoncé du problème
La recherche de cas juridiques demeure une tâche complexe en raison de la complexité du langage juridique, de la longueur des documents et de la nécessité d'un alignement lexical précis entre les requêtes de l'utilisateur et les cas pertinents. Bien que les modèles de recherche dense basés sur des plongements (embeddings) neuronaux aient progressé de manière significative, des études empiriques sur le benchmark juridique chinois LeCaRD-v2 indiquent qu'ils sont souvent moins performants que les méthodes traditionnelles d'appariement lexical. Plus précisément, BM25 surpasse systématiquement les modèles de recherche dense représentatifs (y compris ceux affinés sur des données juridiques) à travers divers seuils de rappel (recall cutoffs). Cela suggère que, plutôt que de remplacer BM25, une direction plus prometteuse consiste à améliorer ses performances en améliant l'alignement lexical des requêtes par la réécriture. Cependant, la conception de stratégies de réécriture de requêtes pilotées par des règles de haute qualité nécessite généralement une expertise sectorielle substantielle, et la génération de règles naïves conduit souvent à des résultats sous-optimaux.

Méthodologie
Les auteurs proposent un cadre d'auto-évolution pour la réécriture de requêtes pilotée par des règles, qui opère sans aucun entraînement de paramètres basé sur le gradient. Le système utilise un agent basé sur un LLM qui interagit avec un environnement d'évaluation automatisé pour affiner de manière itérative un ensemble de règles de réécriture. Le cadre fonctionne comme un système en boucle fermée où l'adaptation émerge de l'interaction plutôt que de l'optimisation du modèle.

Le processus de prise de décision de l'agent implique trois actions principales :

1. Génération de règles : L'agent crée de nouvelles règles de réécriture de requêtes en analysant l'ensemble des règles actives actuelles, les règles précédemment éliminées et les scores expérimentaux accumulés. Il peut soit modifier les règles existantes pour amplifier les comportements efficaces, soit proposer des stratégies entièrement nouvelles, garantissant que les nouvelles règles ne dégénèrent pas en schémas précédemment rejetés.
2. Planification d'expériences : L'agent sélectionne des sous-ensembles de règles actives pour former des combinaisons à tester. Il exploite les résultats expérimentaux historiques pour identifier des combinaisons prometteuses (par exemple, celles ayant des effets complémentaires) tout en évitant les évaluations redondantes d'ensembles déjà testés.
3. Élimination de règles : Pour éviter que l'espace des stratégies ne devienne ingérable, l'agent identifie et supprime les règles inefficaces. Ce processus utilise un mécanisme de consensus à deux étapes pour atténuer les erreurs stochastiques : l'agent détermine d'abord si une règle doit être supprimée sur la base de plusieurs essais indépendants, et si un consensus est atteint, il sélectionne une règle spécifique pour l'élimination en se basant sur un seuil de vote.

L'environnement exécute ces décisions en invoquant un LLM externe gelé pour réécrire les requêtes selon les règles sélectionnées, qui sont ensuite évaluées à l'aide de l'algorithme BM25 sur un ensemble de développement. L'agent itère à travers ce processus (jusqu'à 500 étapes) pour affiner son ensemble de règles avant d'être évalué sur un ensemble de test distinct.

Contributions clés

• Réévaluation des bases de référence : Ce travail démontre que BM25 reste une base solide pour la recherche de jurisprudence juridique, surpassant plusieurs modèles de recherche dense de pointe sur LeCaRD-v2, et préconise d'améliorer BM25 via la réécriture de requêtes plutôt que de le remplacer.
• Cadre d'auto-évolution : Les auteurs introduisent un nouveau cadre sans entraînement où un agent optimise de manière autonome les règles de réécriture par la génération, la planification d'expériences et l'élimination. Cette approche offre l'interprétabilité et le contrôle, qui sont critiques dans le domaine juridique.
• Analyse comportementale : Le papier fournit une investigation détaillée des mécanismes qui pilotent l'auto-évolution, caractérisant la dynamique comportementale des agents LLM et identifiant les facteurs intrinsèques qui influencent leur capacité d'auto-amélioration.

Résultats expérimentaux
Le cadre a été évalué sur le benchmark LeCaRD-v2. Les principales conclusions incluent :

• Performance vs Baselines : Lorsqu'il est propulsé par un LLM central à haute capacité (spécifiquement gpt-oss-120b), le cadre d'auto-évolution surpasse systématiquement les bases de référence non évolutives, y compris les règles conçues par l'humain et la stratégie de sélection de règles gloutonne (greedy). Il a obtenu une amélioration moyenne du rappel de +0,61 % par rapport à la stratégie gloutonne et de +1,03 % par rapport aux règles conçues manuellement.
• Dépendance au modèle : L'efficacité du cadre est fortement dépendante des capacités du LLM central. Les modèles plus petits (par exemple, Qwen3-4B-Thinking) n'ont pas réussi à surpasser systématiquement les stratégies gloutonnes, sur-optimisant souvent pour des seuils de rappel plus élevés (par exemple, Recall@500) tout en étant moins performants à des seuils plus bas.
• Mécanismes de succès : Une analyse détaillée a révélé que le succès de l'auto-évolution repose moins sur la génération progressive de règles individuelles de plus en plus efficaces (dont la qualité fluctuait) que sur la capacité de l'agent à :
  • Planifier des expériences : Exploiter efficacement les résultats historiques pour sélectionner des combinaisons "ancres" de haute qualité pour de nouvelles expériences.
  • Éliminer des règles : Identifier et écarter avec précision les règles inefficaces tout en conservant les règles efficaces, une tâche où les modèles plus larges ont démontré un meilleur contrôle sur la taille de l'ensemble de règles actives.

Signification et affirmations
Le papier affirme que les agents auto-évolutifs offrent une voie viable pour l'amélioration interprétable et adaptative des systèmes de recherche de jurisprudence sans nécessiter de données d'entraînement étendues ou de réglage fin (fine-tuning) du modèle. Les auteurs soulignent que le succès du cadre est tributaire des capacités de raisonnement du LLM central, spécifiquement sa capacité à planifier des expériences basées sur des données historiques et à prendre des décisions prudentes et fondées sur des preuves concernant l'élimination des règles.

Le travail reconnaît des limites, notant que l'approche dépend fortement de la capacité du LLM central à suivre des instructions complexes et à générer un texte cohérent dans la langue cible (le chinois). Les modèles manquant de ces capacités spécifiques ont échoué à générer des règles significatives ou ont mal respecté les contraintes de format. De plus, les auteurs suggèrent que pour une application dans différentes juridictions, des règles initiales appropriées doivent être fournies lors de l'initialisation pour tenir compte des variations de la terminologie juridique et de la structure des documents. L'étude ne prétend pas remplacer entièrement la recherche dense mais positionne la réécriture basée sur des règles auto-évolutives comme une stratégie robuste et complémentaire pour améliorer les systèmes de recherche lexicale existants.