Train, Retrieve, or Both? A Four-Arm Head-to-Head for Correct Statutory Citation on the Ontario Residential Tenancies Act

Resumen Técnico: ¿Entrenar, Recuperar o Ambos? Un enfrentamiento de cuatro brazos para la citación estatutaria correcta de la Ley de Arrendamientos Residenciales de Ontario

Definición del Problema
El documento aborda la tarea específica de guiar a inquilinos, propietarios y personal de atención al cliente que se representan a sí mismos hacia la disposición estatutaria correcta dentro de la Ley de Arrendamientos Residenciales de 2006 (RTA) de Ontario y su regulación principal. El objetivo no es generar asesoría legal fluida, sino proporcionar una citación precisa (instrumento, sección y subsección) en respuesta a una pregunta en lenguaje natural. La pregunta de investigación central planteada por el operador es empírica: ¿es suficiente el ajuste fino (SFT) para esta tarea, o es necesario un enfoque híbrido de Generación Aumentada por Recuperación (RAG)? El estudio busca minimizar las alucinaciones (citar disposiciones inexistentes) mientras maximiza la precisión de la citación de coincidencia exacta.

Metodología
Los autores realizaron una evaluación de cuatro brazos frente a frente utilizando el modelo Qwen2.5-7B-Instruct como base. El estudio utilizó un conjunto de datos personalizado derivado de la RTA y la O. Reg. 516/06, dado que no existe un conjunto de datos público de pregunta-a-citación para esta jurisdicción.

1. Construcción de Datos:

   • Datos de Entrenamiento: 2,148 pares sintéticos de pregunta-citación generados mediante la paráfrasis de secciones estatutarias. Los datos se dividieron para evitar la filtración (por grupo según sección/Parte), resultando en un conjunto de entrenamiento de 1,473, un conjunto de prueba sintético de 345 y una porción de secciones no vistas de 330.
   • Conjunto de Evaluación: Un pequeño conjunto de la vida real de 27 preguntas extraídas de sitios de derecho de inquilinos, que citan explícitamente secciones de la RTA. Este conjunto está "pendiente de verificación humana".
   • Corpus: La RTA y su regulación fueron analizadas en 358 disposiciones, donde cada disposición sirve como un fragmento (chunk) único y consciente de la estructura para RAG. Este inventario también sirve como una lista blanca determinista para las comprobaciones de alucinación.

2. Brazos Experimentales:

   • Base (Zero-Shot): El modelo instruct sin ajuste fino ni recuperación.
   • Solo SFT: Un ajuste fino supervisado (LoRA con Rango 32, $\alpha=64$) sobre los pares sintéticos, sin recuperación.
   • Solo RAG: El modelo base instruido para citar únicamente desde el contexto recuperado utilizando un recuperador híbrido BM25 + bge-small. Una salvaguarda de "citar desde el contexto" actúa como una comprobación de existencia estricta.
   • Híbrido SFT+RAG: El modelo ajustado con LoRA instruido para seleccionar la citación correcta de entre los candidatos recuperados.

3. Ablaciones y Variables:

   • Profundidad de Recuperación ($k$): Probada en $k=5$ y $k=10$.
   • Fuerza de Recuperación: Comparó el económico bge-small contra un pipeline más pesado que utiliza bge-large + un reordenador (reranker) de codificador cruzado (cross-encoder).
   • Escala de Entrenamiento: Probó un conjunto de entrenamiento mejorado/más grande (2,645 pares).

4. Métricas:

   • Coincidencia Exacta de Citación: Requiere coincidir el instrumento, la sección y la subsección. Las coincidencias solo de sección reciben crédito parcial (0.5).
   • Tasa de Alucinación: Comprobación determinista contra el inventario fijado; cualquier citación que no esté en el inventario es una alucinación.
   • F1: Calculado sobre los conjuntos de citación predichos frente a los reales (gold).

Resultos Clave
El estudio reporta resultados en el conjunto de evaluación real de 27 elementos (estimaciones de ejecución única, preliminares debido al pequeño $n$).

• Modelo Base: Falló completamente (0.00 de coincidencia exacta) con una tasa de alucinación del 81%.
• Solo SFT: Aprendió el formato de citación pero tuvo dificultades con los números de sección específicos, logrando una coincidencia exacta de 0.148 y reduciendo las alucinaciones al 14.8%. No logró memorizar los números de sección exactos de manera efectiva.
• Solo RAG: Resultó esencial. Logró una coincidencia exacta de 0.44 (en $k=5$) y llevó las alucinaciones a 0.00 por construcción (debido a la salvaguarda de comprobación de existencia).
• Híbrido SFT+RAG: Alcanzó la puntuación más alta de 0.481 de coincidencia exacta (0.574 F1) con 0.00 alucinaciones en $k=10$.
  • El Efecto "SFT×k": Aumentar la profundidad de recuperación ($k$) perjudicó al modelo RAG de cero disparos (cayendo de 0.44 en $k=5$ a 0.37 en $k=10$), probablemente debido a los distractores. Por el contrario, el modelo SFT mejoró con un $k$ más alto (0.333 en $k=5$ a 0.481 en $k=10$), lo que sugiere que el SFT enseña una selección robusta de conjuntos de candidatos con mayor recuperación pero más ruidosos.
• Hallazgos de Eficiencia:
  • Reemplazar el recuperador económico bge-small por uno más pesado de bge-large + reordenador de codificador cruzado no mejoró el rendimiento (tanto el modelo Solo RAG como el Híbrido puntuaron 0.37 con el recuperador pesado).
  • Aumentar el tamaño de los datos de entrenamiento no produjo mejoras mensurables (0.444 vs. 0.481).

Significado y Reivindicaciones
El documento proporciona una respuesta medida y empírica al debate "entrenar vs. recuperar" en el contexto de la citación estatutaria:

1. La Recuperación es Esencial: El ajuste fino por sí solo es insuficiente para la citación estatutaria precisa; se requiere la recuperación para fundamentar el modelo y eliminar las alucinaciones.
2. Superioridad Híbrida (Condicional): El híbrido SFT+RAG tiene el mejor desempeño, principalmente porque el SFT hace que el modelo sea más robusto ante el "ruido" de los conjuntos de candidatos más grandes que confunden al modelo RAG de cero disparos.
3. Eficiencia sobre Complejidad: Para corpus de estatutos cortos como la RTA, los modelos de recuperación especializados y costosos (embedders más grandes, reordenadores) y los conjuntos de datos de entrenamiento más grandes no proporcionan mejoras mensurables sobre un bge-small híbrido ligero y datos sintéticos estándar.
4. Limitaciones y Objetivos: El sistema cumple tres de cuatro puertas de éxito: elimina las alucinaciones, proporciona una mejora significativa respecto al modelo base y responde a la pregunta del operador. Sin embargo, no logra alcanzar el objetivo aspiracional de 0.70 de coincidencia exacta, deteniéndose en 0.481. Los autores atribuyen esta brecha a los techos de recuperación de la información (~0.89), la dificultad a nivel de subsección y el pequeño tamaño del conjunto de evaluación.

Conclusión
Los autores concluyen que, si bien el artefacto logra eliminar las alucinaciones y supera la barra de mejora respecto al modelo base, la puntuación de 0.481 de coincidencia exacta en un conjunto de 27 elementos es preliminar. El ordenamiento fino entre los brazos que poseen capacidad de recuperación (por ejemplo, 0.481 vs. 0.44) está dentro del ruido estadístico. La principal contribución es la demostración de que un enfoque híbrido ligero de SFT+RAG es suficiente para esta tarea, superando tanto al ajuste fino puro como a los procesos de recuperación más complejos, aunque se requiere más trabajo para alcanzar los objetivos de precisión más altos en un conjunto de evaluación más grande y verificado por humanos.