Train, Retrieve, or Both? A Four-Arm Head-to-Head for Correct Statutory Citation on the Ontario Residential Tenancies Act

Technische Samenvatting: Trainen, ophalen, of beide? Een vierarmige head-to-head voor correcte statutaire citatie van de Ontario Residential Tenancies Act

Probleemdefinitie
Het artikel behandelt de specifieke taak van het begeleiden van zelfstandig handelende huurders, verhuurders en helpdeskmedewerkers naar de juiste wettelijke bepaling binnen de Residential Tenancies Act, 2006 (RTA) van Ontario en de bijbehorende kernverordening. Het doel is niet het genereren van vloeiend juridisch advies, maar het verstrekken van een precieze citatie (wet, sectie en subsectie) als reactie op een natuurlijke taalvraag. De kernonderzoeksvraag die de operator stelt is empirisch: is fine-tuning (SFT) voldoende voor deze taak, of is een hybride Retrieval-Augmented Generation (RAG) aanpak noodzakelijk? De studie beoogt hallucinaties (het citeren van niet-bestaande bepalingen) te minimaliseren terwijl de nauwkeurigheid van exacte overeenkomsten in citaties wordt gemaximaliseerd.

Methodologie
De auteurs voerden een vierarmige head-to-head evaluatie uit met behulp van het Qwen2.5-7B-Instruct model als basis. De studie maakte gebruik van een aangepaste dataset afgeleid van de RTA en O. Reg. 516/06, aangezien er geen publieke vraag-naar-citatie dataset bestaat voor deze jurisdictie.

1. Dataconstructie:

   • Trainingsdata: 2.148 synthetische vraag-naar-citatie paren gegenereerd door het parafraseren van statutaire secties. De data werd gesplitst om lekkage te voorkomen (groep-bewust per sectie/Deel), wat resulteerde in een trainingsset van 1.473, een synthetische testset van 345, en een segment van onbekende secties van 330.
   • Evaluatieset: Een kleine, real-world set van 27 vragen afkomstig van juridische websites voor huurders, die expliciet RTA-secties citeren. Deze set is "human-verification-pending" (menselijke verificatie wacht nog).
   • Corpus: De RTA en de verordening werden geparst in 358 bepalingen, waarbij elke bepaling diende als een enkele, op structuur gebaseerde RAG-chunk. Dit inventaris dient ook als een deterministische whitelist voor hallucinatiecontroles.

2. Experimentele Armen:

   • Base (Zero-Shot): Het instruct-model zonder fine-tuning of retrieval.
   • SFT-Only: Een LoRA (Rank 32, $\alpha=64$) supervised fine-tuning op de synthetische paren, zonder retrieval.
   • RAG-Only: Het basismodel dat wordt geprompt om alleen te citeren uit de opgehaalde context met behulp van een hybride BM25 + bge-small retriever. Een "cite-from-context" guardrail fungeert als een harde existentiecheck.
   • SFT+RAG Hybride: Het LoRA-gefinetunede model dat wordt geprompt om de correcte citatie te selecteren uit de opgehaalde kandidaten.

3. Ablaties en Variabelen:

   • Retrieval Diepte ($k$): Getest bij $k=5$ en $k=10$.
   • Retrieval Sterkte: Vergelijking tussen de goedkope bge-small hybride tegen een zwaardere pipeline met behulp van bge-large + een cross-encoder reranker.
   • Trainingsschaal: Getest met een verbeterde/grotere trainingsset (2.645 paren).

4. Metrieken:

   • Citatie Exact-Match: Vereist overeenstemming van instrument, sectie en subsectie. Alleen sectie-overeenkomsten krijgen gedeeltelijke krediet (0.5).
   • Hallucinatiepercentage: Deterministische controle tegen de vastgestelde inventaris; elke citatie die niet in de inventaris voorkomt, is een hallucinatie.
   • F1: Berekend over de voorspelde versus de gouden citatie-sets.

Belangrijkste Resultaten
De studie rapporteert resultaten op de 27-items tellende real evaluatieset (single-run punt schattingen, voorlopig vanwege kleine $n$).

• Base Model: Faalde volledig (0.00 exact-match) met een hallucinatiepercentage van 81%.
• SFT-Only: Leerde het citatieformaat aan, maar worstelde met specifieke sectienummers, wat resulteerde in een 0.148 exact-match en een reductie van hallucinaties naar 14.8%. Het slaagde er niet in om exacte sectienummers effectief te memoriseren.
• RAG-Only: Bleek essentieel. Het behaalde een 0.44 exact-match (bij $k=5$) en bracht hallucinaties terug naar 0.00 door constructie (vanwege de existentie-check guardrail).
• SFT+RAG Hybride: Behaalde de hoogste score van 0.481 exact-match (0.574 F1) met 0.00 hallucinaties bij $k=10$.
  • Het "SFT×k" Effect: Het verhogen van de retrieval diepte ($k$) schaadde het zero-shot RAG model (daling van 0.44 bij $k=5$ naar 0.37 bij $k=10$), waarschijnlijk door distractoren. Daarentegen verbeterde het SFT-model met een hogere $k$ (0.333 bij $k=5$ naar 0.481 bij $k=10$), wat suggereert dat SFT het model robuuster maakt voor het selecteren uit ruisiger, hogere-recall kandidaat-sets.
• Efficiëntiebevindingen:
  • Het vervangen van de goedkope bge-small retriever door een zwaardere bge-large + cross-encoder reranker veranderde de prestaties niet merkbaar (zowel RAG-only als Hybride scoorden 0.37 met de zware retriever).
  • Het vergroten van de omvang van de trainingsdata leverde geen meetbare winst op (0.444 vs. 0.481).

Significantie en Claims
Het artikel biedt een gemeten, empirisch antwoord op het "train vs. retrieve" debat in de context van statutaire citatie:

1. Retrieval is Essentieel: Fine-tuning alleen is onvoldoende voor accurate statutaire citatie; retrieval is vereist om het model te grondvesten en hallucinaties te elimineren.
2. Hybride Superioriteit (Conditioneel): De SFT+RAG hybride presteert het best, primair omdat SFT het model robuuster maakt tegen de "ruis" van grotere kandidaat-sets die zero-shot RAG-modellen in verwarring brengen.
3. Efficiëntie boven Complexiteit: Voor korte wetboek-corpora zoals de RTA bieden dure gespecialiseerde retrieval-modellen (grotere embedders, rerankers) en grotere trainingsdatasets geen meetbare verbeteringen ten opzichte van een lichtgewicht bge-small hybride en standaard synthetische data.
4. Beperkingen en Doelstellingen: Het systeem voldoet aan drie van de vier succespoorten: het elimineert hallucinaties, levert een significante verbetering ten opzien van het base model, en beantwoordt de vraag van de operator. Het faalt echter om de aspiratieve 0.70 exact-match target te halen, waarbij het stopt op 0.481. De auteurs schrijven deze kloof toe aan de retrieval recall-plafonds (~0.89), de moeilijkheidsgraad van subsecties en de kleine omvang van de evaluatieset.

Conclusie
De auteurs concluderen dat hoewel het artefact succesvol de hallucinaties tot nul heeft gereduceerd en de "lift-over-base" drempel heeft gehaald, de 0.481 exact-match score op een set van 27 items voorlopig is. De fijne ordening tussen de retrieval-dragende armen (bijv. 0.481 vs. 0.44) valt binnen de statistische ruis. De primaire bijdrage is de demonstratie dat een goedkope, hybride SFT+RAG aanpak voldoende is voor deze taak en zowel pure fine-tuning als complexere retrieval-pipelines overtreft, hoewel verdere arbeid nodig is om hogere nauwkeurigheidsdoelen te bereiken op een grotere, menselijk geverifieerde evaluatieset.