When Rules Learn: A Self-Evolving Agent for Legal Case Retrieval

Riepilogo Tecnico: Quando le Regole Imparano: Un Agente Auto-Evolutivo per il Recupero di Casi Legali

Definizione del Problema
Il recupero di casi legali rimane un compito complesso a causa della complessità del linguaggio giuridico, della lunghezza dei documenti e della necessità di un preciso allineamento lessicale tra le query dell'utente e i casi rilevanti. Sebbene i modelli di recupero denso basati su embedding neurali abbiano fatto progressi significativi, studi empirici sul benchmark legale cinese LeCaRD-v2 indicano che spesso sono meno performanti rispetto ai metodi tradizionali di matching lessicale. Nello specifico, BM25 supera costantemente i rappresentativi modelli di recupero denso (inclusi quelli perfezionati su dati legali) attraverso vari cutoff di recall. Ciò suggerisce che, piuttosto che sostituire BM25, una direzione più promettente sia migliorare le sue prestazioni attraverso il miglioramento dell'allineamento lessicale delle query tramite la riscrittura. Tuttavia, la progettazione di strategie di riscrittura delle query guidate da regole di alta qualità richiede solitamente una sostanziale competenza nel dominio, e la generazione ingenua di regole porta spesso a risultati subottimali.

Metodologia
Gli autori propongono un framework di auto-evoluzione per la riscrittura delle query guidata da regole che opera senza alcun addestramento dei parametri basato su gradienti. Il sistema impiega un agente basato su LLM che interagisce con un ambiente di valutazione automatizzato per perfezionare iterativamente un set di regole di riscrittura. Il framework funziona come un sistema a ciclo chiuso in cui l'adattamento emerge dall'interazione piuttosto che dall'ottimizzazione del modello.

Il processo decisionale dell'agente prevede tre azioni primarie:

1. Generazione di Regole: L'agente crea nuove regole di riscrittura delle query analizzando l'attuale set di regole attive, le regole precedentemente eliminate e i punteggi sperimentali accumulati. Può modificare le regole esistenti per amplificare i comportamenti efficaci o proporre strategie completamente nuove, garantendo che le nuove regole non degenerino in schemi precedentemente scartati.
2. Pianificazione degli Esperimenti: L'agente seleziona sottoinsiemi di regole attive per formare combinazioni da testare. Sfrutta i risultati sperimentali storici per identificare combinazioni promettenti (ad esempio, quelle con effetti complementari) evitando al contempo valutazioni ridondanti di set precedentemente testati.
3. Eliminazione delle Regole: Per evitare che lo spazio delle strategie diventi ingestibile, l'agente identifica e rimuove le regole inefficaci. Questo processo utilizza un meccanismo di consenso a due stadi per mitigare gli errori stocastici: l'agente determina prima se una regola debba essere rimossa sulla base di più prove indipendenti e, se viene raggiunto un consenso, seleziona una regola specifica per l'eliminazione in base a una soglia di voto.

L'ambiente esegue queste decisioni invocando un LLM esterno congelato per riscrivere le query secondo le regole selezionate, che vengono poi valutate utilizzando l'algoritmo BM25 su un set di sviluppo. L'agente itera attraverso questo processo (fino a 500 step) per perfezionare il suo set di regole prima di essere valutato su un set di test tenuto separato.

Contributi Chiave

• Rivalutazione dei Baseline: Il lavoro dimostra che BM25 rimane un baseline solido per il recupero di casi legali, superando diversi modelli di recupero denso allo stato dell'arte su LeCaRD-v2, e sostiene l'idea di potenziare BM25 tramite la riscrittura delle query piuttosto che la sua sostituzione.
• Framework di Auto-Evoluzione: Gli autori introducono un nuovo framework, privo di addestramento, in cui un agente ottimizza autonomamente le regole di riscrittura attraverso generazione, pianificazione sperimentale ed eliminazione. Questo approccio offre interpretabilità e controllabilità, elementi critici nel dominio legale.
• Analisi Comportamentale: Il documento fornisce un'indagine dettagliata sui meccanismi che guidano l'auto-evoluzione, caratterizzando la dinamica comportamentale degli agenti LLM e identificando i fattori intrinseci che influenzano la loro capacità di auto-miglioramento.

Risultati Sperimentali
Il framework è stato valutato sul benchmark LeCaRD-v2. Le scoperte chiave includono:

• Performance rispetto ai Baseline: Quando alimentato da un core LLM ad alta capacità (specificamente gpt-oss-120b), il framework di auto-evoluzione ha costantemente superato i baseline non evolutivi, inclusi le regole progettate da esseri umani e una strategia di selezione greedy delle regole. Ha ottenuto un miglioramento medio della recall di +0,61% rispetto alla strategia greedy e di +1,03% rispetto alle regole progettate manualmente.
• Dipendenza dal Modello: L'efficacia del framework dipende fortemente dalle capacità del core LLM. Modelli più piccoli (ad esempio, Qwen3-4B-Thinking) non sono riusciti a superare costantemente le strategie greedy, sovra-ottimizzando spesso per cutoff di recall più elevati (ad esempio, Recall@500) pur performando peggio a cutoff più bassi.
• Meccanismi di Successo: Un'analisi dettagliata ha rivelato che il successo dell'auto-evoluzione dipende meno dalla generazione progressiva di regole individuali sempre più efficaci (la cui qualità era fluttuante) e più dalla capacità dell'agente di:
  • Pianificare Esperimenti: Sfruttare efficacemente i risultati storici per selezionare combinazioni "ancora" di alta qualità per nuovi esperimenti.
  • Eliminare Regole: Identificare e scartare accuratamente le regole inefficaci mantenendo quelle efficaci, un compito in cui i modelli più grandi hanno dimostrato un migliore controllo sulla dimensione del set di regole attive.

Significatività e Rivendicazioni
Il documento sostiene che gli agenti auto-evolutivi offrono una via percorribile per il potenziamento interpretabile e adattivo dei sistemi di recupero di casi legali senza la necessità di estesi dati di addestramento o del fine-tuning dei modelli. Gli autori sottolineano che il successo del framework è subordinato alle capacità di ragionamento del core LLM, specificamente alla sua capacità di pianificare esperimenti basati su dati storici e di prendere decisioni conservative basate sull'evidenza riguardo all'eliminazione delle regole.

Il lavoro riconosce i limiti, notando che l'approccio dipende fortemente dalla capacità del core LLM di seguire istruzioni complesse e generare testo coerente nella lingua target (cinese). I modelli privi di queste specifiche capacità non sono riusciti a generare regole significative o hanno seguito scarsamente i vincoli di formato. Inoltre, gli autori suggeriscono che per l'applicazione in diverse giurisdizioni legali, sia necessario fornire regole iniziali (seed rules) appropriate durante l'inizializzazione per tenere conto delle variazioni nella terminologia legale e nella struttura dei documenti. Lo studio non pretende di sostituire interamente il recupero denso, ma posiziona la riscrittura basata su regole e auto-evolutiva come una strategia robusta e complementare per potenziare i sistemi di recupero lessicale esistenti.