Train, Retrieve, or Both? A Four-Arm Head-to-Head for Correct Statutory Citation on the Ontario Residential Tenancies Act

Résumé technique : Entraîner, Récupérer ou les deux ? Une évaluation comparative à quatre bras pour la citation réglementaire exacte de la Loi sur la location résidentielle de l'Ontario

Définition du problème
Le document traite de la tâche spécifique consistant à guider les locataires et propriétaires non représentés, ainsi que le personnel d'assistance, vers la disposition statutaire exacte de la Loi sur la location résidentielle, 2006 (RTA) de l'Ontario et de son règlement principal. L'objectif n'est pas de générer des conseils juridiques fluides, mais de fournir une citation précise (loi, article et paragraphe) en réponse à une question en langage naturel. La question de recherche fondamentale posée par l'opérateur est empirique : l'ajustement fin (SFT - Supervised Fine-Tuning) est-il suffisant pour cette tâche, ou une approche hybride de génération augmentée par récupération (RAG - Retrieval-Augmented Generation) est-elle nécessaire ? L'étude vise à minimiser les hallucinations (citer des dispositions inexistantes) tout en maximisant la précision des citations en correspondance exacte.

Méthodologie
Les auteurs ont mené une évaluation comparative à quatre bras en utilisant le modèle Qwen2.5-7B-Instruct comme base. L'étude a utilisé un ensemble de données personnalisé dérivé de la RTA et du R.O. 516/06, car aucun ensemble de données public reliant question et citation pour cette juridiction n'existe.

1. Construction des données :

   • Données d'entraînement : 2 148 paires synthétiques question-citation générées par paraphrase des sections statutaires. Les données ont été divisées pour éviter les fuites (par groupe de section/partie), ce qui a produit un ensemble d'entraînement de 1 473, un ensemble de test synthétique de 345 et un segment de sections non vues de 330.
   • Ensemble d'évaluation : Un petit ensemble réel de 27 questions extraites de sites de droit locatif, citant explicitement des sections de la RTA. Cet ensemble est en attente de vérification humaine.
   • Corpus : La RTA et le règlement ont été découpés en 358 dispositions, chaque disposition servant de bloc (chunk) structurellement conscient pour le RAG. Cet inventaire sert également de liste blanche déterministe pour les vérifications d'hallucinations.

2. Bras expérimentaux :

   • Base (Zero-Shot) : Le modèle instruct sans ajustement fin ni récupération.
   • SFT-Only (Uniquement SFT) : Un LoRA (Rang 32, $\alpha=64$) d'ajustement fin supervisé sur les paires synthétiques, sans récupération.
   • RAG-Only (Uniquement RAG) : Le modèle de base incité à citer uniquement à partir du contexte récupéré en utilisant un récupérateur hybride BM25 + bge-small. Un garde-fou de type « citer du contexte » agit comme une vérification d'existence stricte.
   • SFT+RAG Hybrid (Hybride SFT+RAG) : Le modèle ajusté via LoRA incité à sélectionner la citation correcte parmi les candidats récupérés.

3. Ablations et variables :

   • Profondeur de récupération ($k$) : Testée à $k=5$ et $k=10$.
   • Force de récupération : Comparaison du système léger bge-small contre un pipeline plus lourd utilisant bge-large + un réorganisateur (reranker) de type cross-encoder.
   • Échelle d'entraînement : Test d'un ensemble de données d'entraînement amélioré/plus large (2 645 paires).

4. Métriques :

   • Correspondance exacte de la citation : Nécessite de correspondre à l'instrument, à l'article et au paragraphe. Les correspondances de section uniquement reçoivent un crédit partiel (0,5).
   • Taux d'hallucination : Vérification déterministe par rapport à l'inventaire fixé ; toute citation non présente dans l'inventaire est une hallucination.
   • F1 : Calculé sur les ensembles de citations prédites versus les citations de référence (gold).

Résultats clés
L'étude rapporte les résultats sur l'ensemble d'évaluation réel de 27 éléments (estimations ponctuelles sur un seul passage, préliminaires en raison du faible $n$).

• Modèle de base : Échec total (0,00 correspondance exacte) avec un taux d'hallucination de 81 %.
• SFT-Only : A appris le format de citation mais a eu des difficultés avec les numéros d'articles spécifiques, atteignant 0,148 de correspondance exacte et réduisant les hallucinations à 14,8 %. Il n'a pas réussi à mémoriser efficacement les numéros d'articles exacts.
• RAG-Only : S'est avéré essentiel. Il a atteint 0,44 de correspondance exacte (à $k=5$) et a réduit les hallucinations à 0,00 par construction (grâce au garde-fou de vérification d'existence).
• SFT+RAG Hybrid : A obtenu le score le plus élevé de 0,481 de correspondance exacte (0,574 F1) avec 0,00 hallucination à $k=10$.
  • L'effet « SFT×k » : Augmenter la profondeur de récupération ($k$) a nui au modèle RAG zero-shot (passant de 0,44 à $k=5$ à 0,37 à $k=10$), probablement à cause des éléments de distraction. Inversement, le modèle SFT s'est amélioré avec un $k$ plus élevé (0,333 à $k=5$ contre 0,481 à $k=10$), suggérant que le SFT enseigne une sélection robuste à partir d'ensembles de candidats plus bruyants à haut rappel.
• Constats d'efficacité :
  • Le remplacement du récupérateur léger bge-small par un récupérateur plus lourd bge-large + un réorganisateur cross-encoder n'a pas amélioré la performance (les scores RAG-only et Hybrid étaient tous deux de 0,37 avec le récupérateur lourd).
  • L'augmentation de la taille des données d'entraînement n'a pas produit de gains mesurables (0,444 contre 0,481).

Signification et affirmations
Le document fournit une réponse mesurée et empirique au débat « entraînement vs récupération » dans le contexte de la citation statutaire :

1. La récupération est essentielle : L'ajustement fin seul est insuffisant pour une citation statutaire précise ; la récupération est nécessaire pour ancrer le modèle et éliminer les hallucinations.
2. Supériorité de l'hybride (conditionnelle) : L'hybride SFT+RAG est le plus performant, principalement parce que le SFT rend le modèle plus robuste face au « bruit » des ensembles de candidats plus larges qui confondent les modèles RAG zero-shot.
3. Efficacité plutôt que complexité : Pour des corpus de lois courts comme la RTA, les modèles de récupération spécialisés coûteux (plus gros embedders, réorganisateurs) et les ensembles de données d'entraînement plus vastes n'apportent pas d'améliorations mesurables par rapport à un système hybride léger bge-small et des données synthétiques standards.
4. Limites et objectifs : Le système respecte trois des quatre portes de succès : il élimine les hallucinations, offre une amélioration significative par rapport au modèle de base et répond à la question de l'opérateur. Cependant, il ne parvient pas à atteindre la cible ambitieuse de 0,70 de correspondance exacte, s'arrêtant à 0,481. Les auteurs attribuent cet écart au plafond de rappel de la récupération (~0,89), à la difficulté des paragraphes et à la petite taille de l'ensemble d'évaluation.

Conclusion
Les auteurs concluent que bien que l'artefact parvienne à annuler les hallucinations et à dépasser le seuil d'amélioration par rapport au modèle de base, le score de 0,481 de correspondance exacte sur un ensemble de 27 éléments est préliminaire. La distinction fine entre les bras comportant de la récupération (par exemple, 0,481 contre 0,44) est dans la marge d'erreur statistique. La principale contribution est la démonstration qu'une approche hybride légère SFT+RAG est suffisante pour cette tâche, surpassant à la fois l'ajustement fin pur et les pipelines de récupération plus complexes, bien que des travaux supplémentaires soient nécessaires pour atteindre des objectifs de précision plus élevés sur un ensemble d'évaluation plus large et vérifié par des humains.