Train, Retrieve, or Both? A Four-Arm Head-to-Head for Correct Statutory Citation on the Ontario Residential Tenancies Act

Sintesi Tecnica: Addestrare, Recuperare o Entrambi? Un confronto a quattro bracci per la corretta citazione statutaria del Residential Tenancies Act dell'Ontario

Definizione del Probleamento
Il documento affronta il compito specifico di guidare inquilini, proprietari e personale di assistenza che si rappresentano da soli verso la disposizione statutaria corretta all'interno del Residential Tenancies Act, 2006 (RTA) dell'Ontario e del suo regolamento principale. L'obiettivo non è generare consulenza legale fluida, ma fornire una citazione precisa (Legge, sezione e sottosezione) in risposta a una domanda in linguaggio naturale. La domanda di ricerca centrale posta dall'operatore è empirica: il fine-tuning (SFT) è sufficiente per questo compito, o è necessario un approccio ibrido di Retrieval-Augmented Generation (RAG)? Lo studio mira a minimizzare le allucinazioni (citare disposizioni inesistenti) massimizzando al contempo l'accuratezza della corrispondenza esatta della citazione.

Metodologia
Gli autori hanno condotto una valutazione comparativa a quattro bracci utilizzando il modello Qwen2.5-7B-Instruct come base. Lo studio ha utilizzato un dataset personalizzato derivato dal RTA e dall'O. Reg. 516/06, poiché non esiste un dataset pubblico di coppie domanda-citazione per questa giurisdizione.

1. Costruzione dei Dati:

   • Dati di Addestramento: 2.148 coppie sintetiche domanda-citazione generate parafrasando le sezioni statutarie. I dati sono stati suddivisi per evitare il leakage (per gruppo di sezione/Parte), risultando in un set di addestramento di 1.473, un set di test sintetico di 345 e un segmento di sezioni non viste di 330.
   • Set di Valutazione: Un piccolo set reale di 27 domande estratte da siti di diritto per inquilini, che citano esplicitamente le sezioni del RTA. Questo set è in attesa di verifica umana.
   • Corpus: Il RTA e il regolamento sono stati analizzati in 358 disposizioni, con ogni disposizione che funge da singolo chunk-aware per il RAG. Questo inventario funge anche da whitelist deterministica per i controlli sulle allucinazioni.

2. Bracci Sperimentali:

   • Base (Zero-Shot): Il modello instruct senza fine-tuning o recupero.
   • Solo SFT: Un LoRA (Rank 32, $\alpha=64$) di supervised fine-tuning sulle coppie sintetiche, senza recupero.
   • Solo RAG: Il modello base istruito a citare solo dal contesto recuperato utilizzando un recuperatore ibrido BM25 + bge-small. Un guardrail "cite-from-context" funge da controllo rigoroso di esistenza.
   • Ibrido SFT+RAG: Il modello sottoposto a fine-tuning LoRA istruito a selezionare la citazione corretta tra i candidati recuperati.

3. Ablazioni e Variabili:

   • Profondità di Recupero ($k$): Testata a $k=5$ e $k=10$.
   • Forza del Recupero: Confronto tra il leggero ibrido bge-small e una pipeline più pesante utilizzando bge-large + un reranker cross-encoder.
   • Scala di Addestramento: Testato un set di addestramento migliorato/più grande (2.645 coppie).

4. Metriche:

   • Corrispondenza Esatta della Citazione (Exact-Match): Richiede la corrispondenza di strumento, sezione e sottosezione. Le corrispondenze solo della sezione ricevono un credito parziale (0.5).
   • Tasso di Allucinazione: Controllo deterministico rispetto all'inventario fissato; qualsiasi citazione non presente nell'inventario è un'allucinazione.
   • F1: Calcolato su set di citazioni predette rispetto a quelle reali (gold).

Risultati Chiave
Lo studio riporta i risultati sul set di valutazione reale di 27 elementi (stime puntuali a singola esecuzione, preliminari a causa del piccolo $n$).

• Modello Base: Ha fallito completamente (0.00 exact-match) con un tasso di allucinazione dell'81%.
• Solo SFT: Ha appreso il formato della citazione ma ha avuto difficoltà con i numeri di sezione specifici, ottenendo uno 0.148 di exact-match e riducendo le allucinazioni al 14,8%. Non è riuscito a memorizzare efficacemente i numeri di sezione esatti.
• Solo RAG: Si è dimostrato essenziale. Ha ottenuto uno 0.44 di exact-match (a $k=5$) e ha portato le allucinazioni a 0.00 per costruzione (grazie al guardrail di controllo dell'esistenza).
• Ibrido SFT+RAG: Ha ottenuto il punteggio più alto di 0.481 exact-match (0.574 F1) con 0.00 allucinazioni a $k=10$.
  • L'effetto "SFT×k": Aumentare la profondità di recupero ($k$) ha danneggiato il modello RAG zero-shot (scendendo da 0.44 a $k=5$ a 0.37 a $k=10$), probabilmente a causa dei distrattori. Al contrario, il modello SFT è migliorato con un $k$ più alto (da 0.333 a $k=5$ a 0.481 a $k=10$), suggerendo che l'SFT insegni una selezione robusta da set di candidati con maggiore richiamo e più rumorosi.
• Risultati sull'Efficienza:
  • Sostituire il leggero recuperatore bge-small con una pipeline più pesante bge-large + cross-encoder reranker non ha migliorato le prestazioni (sia RAG-only che Hybrid hanno ottenuto 0.37 con il recuperatore pesante).
  • Aumentare la dimensione dei dati di addestramento non ha prodotto guadagni misurabili (0.444 vs 0.481).

Significatività e Rivendicazioni
Il documento fornisce una risposta misurata ed empirica al dibattito "addestrare vs recuperare" nel contesto della citazione statutaria:

1. Il Recupero è Essenziale: Il fine-tuning da solo è insufficiente per la corretta citazione statutaria; il recupero è necessario per ancorare il modello e eliminare le allucinazioni.
2. Superiorità dell'Ibrido (Condizionata): L'ibrido SFT+RAG è il migliore, principalmente perché l'SFT rende il modello più robusto al "rumore" di set di candidati più ampi che confondono il modello RAG zero-shot.
3. Efficienza rispetto alla Complessità: Per corpus di leggi brevi come il RTA, modelli di recupero specializzati costosi (embedder più grandi, reranker) e dataset di addestramento più grandi non forniscono miglioramenti misurabili rispetto a un ibrido leggero bge-small e dati sintetici standard.
4. Limitazioni e Obiettivi: Il sistema soddisfa tre dei quattro gate di successo: elimina le allucinazioni, fornisce un incremento significativo rispetto al modello base e risponde alla domanda dell'operatore. Tuttavia, non raggiunge l'obiettivo aspirazionale di 0.70 di exact-match, fermandosi a 0.481. Gli autori attribuiscono questo divario al tetto del richiamo del recupero (~0.89), alla difficoltà a livello di sottosezione e alle dimensioni ridotte del set di valutazione.

Conclusione
Gli autori concludono che, sebbene l'artefatto riesca a azzerare le allucinazioni e a superare la soglia di incremento rispetto al modello base, il punteggio di 0.481 di exact-match su un set di 27 elementi è preliminare. La distinzione fine tra gli approcci basati sul recupero (ad esempio, 0.481 vs 0.44) rientra nel rumore statistico. Il contributo principale è la dimostrazione che un approccio ibrido SFT+RAG leggero è sufficiente per questo compito, superando sia il puro fine-tuning che le pipeline di recupero più complesse, sebbene siano necessari ulteriori lavori per raggiungere obiettivi di accuratezza più elevati su un set di valutazione più ampio e verificato da umani.