Train, Retrieve, or Both? A Four-Arm Head-to-Head for Correct Statutory Citation on the Ontario Residential Tenancies Act

Technisches Resümee: Trainieren, Abrufen oder Beides? Ein Vier-Arm-Head-to-Head für korrekte gesetzliche Zitierweise des Ontario Residential Tenancies Act

Problemdefinition
Die Arbeit befasst sich mit der spezifischen Aufgabe, selbstverwaltete Mieter, Vermieter und Helpdesk-Mitarbeiter zur korrekten gesetzlichen Bestimmung innerhalb des Residential Tenancies Act, 2006 (RTA) von Ontario und dessen Kernverordnung zu führen. Das Ziel ist nicht die Generierung rechtlicher Beratung in flüssiger Sprache, sondern die Bereitstellung einer präzisen Zitierung (Instrument, Abschnitt und Unterabschnitt) als Antwort auf eine natürliche Sprachfrage. Die zentrale Forschungsfrage des Betreibers ist empirischer Natur: Ist das Fine-Tuning (SFT) für diese Aufgabe ausreichend, oder ist ein hybrider Retrieval-Augmented Generation (RAG)-Ansatz notwendig? Die Studie zielt darauf ab, Halluzinationen (Zitierung nicht existenter Bestimmungen) zu minimieren und gleichzeitig die Genauigkeit der exakten Übereinstimmung (Exact-Match) der Zitierung zu maximieren.

Methodik
Die Autoren führten eine Vier-Arm-Head-to-Head-Evaluierung unter Verwendung des Qwen2.5-7B-Instruct Modells als Basis durch. Die Studie nutzte einen maßgeschneiderten Datensatz, der aus dem RTA und der O. Reg. 516/06 abgeleitet wurde, da kein öffentlicher Frage-zu-Zitierung-Datensatz für diese Gerichtsbarkeit existiert.

1. Datenkonstruktion:

   • Trainingsdaten: 2.148 synthetische Frage-Zitierung-Paare, die durch Paraphrasierung gesetzlicher Abschnitte generiert wurden. Die Daten wurden zur Vermeidung von Leakage (gruppenbewusst nach Abschnitt/Teil) aufgeteilt, was zu einem Trainingssatz von 1.473, einem synthetischen Testsatz von 345 und einem Slice mit ungesehenen Abschnitten von 330 führte.
   • Evaluationssatz: Ein kleiner, realer Datensatz aus 27 Fragen, die von Mieterrechts-Websites extrahiert wurden und explizit RTA-Abschnitte zitieren. Dieser Satz steht unter dem Vorbehalt der menschlichen Verifizierung („human-verification-pending“).
   • Korpus: Der RTA und die Verordnung wurden in 358 Bestimmungen zerlegt, wobei jede Bestimmung als ein einzelner, struktur-bewusster RAG-Chunk dient. Dieses Inventar dient auch als deterministische Whitelist für Halluzinationsprüfungen.

2. Experimentelle Arme:

   • Base (Zero-Shot): Das Instruct-Modell ohne Fine-Tuning oder Retrieval.
   • SFT-Only: Ein LoRA (Rank 32, $\alpha=64$) Supervised Fine-Tuning auf den synthetischen Paaren, ohne Retrieval.
   • RAG-Only: Das Basismodell, das angewiesen wird, nur aus dem abgerufenen Kontext zu zitieren, unter Verwendung eines hybriden BM25 + bge-small Retriever. Eine „Cite-from-context“-Leitplanke fungiert als harter Existenzcheck.
   • SFT+RAG Hybrid: Das LoRA-feinabgestimmte Modell, das angewiesen wird, die korrekte Zitierung aus den abgerufenen Kandidaten auszuwählen.

3. Ablationen und Variablen:

   • Retrieval-Tiefe ($k$): Getestet bei $k=5$ und $k=10$.
   • Retrieval-Stärke: Vergleich des kostengünstigen bge-small Hybriden mit einer schwereren Pipeline unter Verwendung von bge-large + einem Cross-Encoder Reranker.
   • Trainingsskalierung: Test eines verbesserten/größeren Trainingssatzes (2.645 Paare).

4. Metriken:

   • Citation Exact-Match: Erfordert die Übereinstimmung von Instrument, Abschnitt und Unterabschnitt. Übereinstimmungen nur auf Abschnittsebene erhalten Teilpunkte (0,5).
   • Halluzinationsrate: Deterministische Prüfung gegen das fixierte Inventar; jede Zitierung, die nicht im Inventar enthalten ist, gilt als Halluzination.
   • F1: Berechnet über die vorhergesagten vs. Gold-Zitierungs-Sets.

Wichtigste Ergebnisse
Die Studie berichtet Ergebnisse für den 27-Elemente-Real-Evaluationssatz (einmalige Durchlauf-Punktschätzungen, vorläufig aufgrund von kleinem $n$).

• Base Model: Versagte vollständig (0,00 Exact-Match) mit einer Halluzinationsrate von 81 %.
• SFT-Only: Erlernte das Zitierformat, hatte aber Schwierigkeiten mit spezifischen Abschnittsnummern, was zu einem Exact-Match von 0,148 führte und die Halluzinationen auf 14,8 % reduzierte. Es scheiterte daran, exakte Abschnittsnummern effektiv zu memorieren.
• RAG-Only: Erwies sich als essenziell. Es erreichte einen Exact-Match von 0,44 (bei $k=5$) und drängte Halluzinationen durch Konstruktion auf 0,00 (aufgrund der Existenzcheck-Leitplanke).
• SFT+RAG Hybrid: Erzielte den höchsten Wert von 0,481 Exact-Match (0,574 F1) mit 0,00 Halluzinationen bei $k=10$.
  • Der „SFT×k“-Effekt: Eine Erhöhung der Retrieval-Tiefe ($k$) verschlechterte das Zero-Shot RAG-Modell (Abfall von 0,44 bei $k=5$ auf 0,37 bei $k=10$), wahrscheinlich aufgrund von Distraktoren. Im Gegensatz dazu verbesserte sich das SFT-Modell mit höherem $k$ (0,333 bei $k=5$ zu 0,481 bei $k=10$), was darauf hindeutet, dass SFT das robuste Auswählen aus verrauschten, höher rezenten Kandidaten-Sets lehrt.
• Effizienz-Ergebnisse:
  • Der Ersatz des günstigen bge-small Retrievers durch einen schwereren bge-large + Cross-Encoder Reranker führte zu keiner Verbesserung der Leistung (sowohl RAG-only als auch Hybrid skorierten mit 0,37 mit dem schweren Retriever).
  • Die Erhöhung der Trainingsdatenmenge brachte keine messbaren Gewinne (0,444 vs. 0,481).

Bedeutung und Behauptungen
Das Paper liefert eine fundierte, empirische Antwort auf die „Trainieren vs. Abrufen“-Debatte im Kontext der gesetzlichen Zitierung:

1. Retrieval ist essenziell: Fine-Tuning allein reicht für eine genaue gesetzliche Zitierung nicht aus; Retrieval ist erforderlich, um das Modell zu erden und Halluzinationen zu eliminieren.
2. Überlegenheit des Hybriden (bedingt): Der SFT+RAG-Hybrid performt am besten, primär weil SFT das Modell robuster gegenüber dem „Rauschen“ größerer Kandidaten-Sets macht, die Zero-Shot RAG-Modelle verwirren.
3. Effizienz über Komplexität: Für kurz gefasste Korpora wie den RTA bieten teurere spezialisierte Retrieval-Modelle (größere Embedder, Reranker) und größere Trainingsdatensätze keine messbaren Verbesserungen gegenüber einem leichtgewichtigen bge-small Hybriden und Standard-Synthetikdaten.
4. Limitierungen und Ziele: Das System erfüllt drei von vier Erfolgsmetriken: Es eliminiert Halluzinationen, erzielt eine signifikante Steigerung gegenüber dem Basismodell und beantwortet die Frage des Betreibers. Es verfehlt jedoch das angestrebte Exact-Match-Ziel von 0,70 und bleibt bei 0,481 stehen. Die Autoren führen dies auf die Decke der Retrieval-Recall-Kapazität (~0,89), die Schwierigkeit auf Unterabschnittsebene und die geringe Größe des Evaluationssatzes zurück.

Fazit
Die Autoren kommen zu dem Schluss, dass das Artefakt zwar erfolgreich Halluzinationen auf Null reduziert und die Hürde der Steigerung gegenüber dem Basismodell nimmt, der Exact-Match-Wert von 0,481 auf einem 27-Elemente-Satz jedoch vorläufig ist. Die feingliedrige Differenzierung zwischen den Retrieval-basierten Armen (z. B. 0,481 vs. 0,44) liegt innerhalb des statistischen Rauschens. Der primäre Beitrag ist der Nachweis, dass ein kostengünstiger, hybrider SFT+RAG-Ansatz für diese Aufgabe ausreichend ist und sowohl reines Fine-Tuning als auch komplexere Retrieval-Pipelines übertrifft, wenngleich weitere Arbeit nötig ist, um höhere Genauigkeitsziele auf einem größeren, menschlich verifizierten Evaluationssatz zu erreichen.