Train, Retrieve, or Both? A Four-Arm Head-to-Head for Correct Statutory Citation on the Ontario Residential Tenancies Act

Resumo Técnico: Treinar, Recuperar ou Ambos? Um Confronto de Quatro Braços para Citação Estatutária Correta da Lei de Locações Residenciais de Ontário

Definição do Problema
O artigo aborda a tarefa específica de orientar inquilinos, proprietários e pessoal de suporte que se representam sem advogado para a provisão estatutária correta dentro da Lei de Locações Residenciais de 2006 (RTA) de Ontário e seu regulamento principal. O objetivo não é gerar aconselhamento jurídico fluente, mas sim fornecer uma citação precisa (Lei, seção e subseção) em resposta a uma pergunta em linguagem natural. A questão central de pesquisa proposta pelo operador é empírica: o ajuste fino (SFT) é suficiente para esta tarefa, ou uma abordagem híbrida de Geração Aumentada por Recuperação (RAG) é necessária? O estudo visa minimizar alucinações (citar provisões inexistentes) enquanto maximiza a precisão de correspondência exata de citações.

Metodologia
Os autores conduziram uma avaliação de confronto de quatro braços utilizando o modelo Qwen2.5-7B-Instruct como base. O estudo utilizou um conjunto de dados personalizado derivado da RTA e do O. Reg. 516/06, uma vez que não existe um conjunto público de dados de pergunta-para-citação para esta jurisdição.

1. Construção de Dados:

   • Dados de Treinamento: 2.148 pares sintéticos de pergunta-para-citação gerados através do parafraseamento de seções estatutárias. Os dados foram divididos para evitar vazamento (consciente de grupo por seção/Parte), resultando em um conjunto de treinamento de 1.473, um conjunto de teste sintético de 345 e uma fatia de seções não vistas de 330.
   • Conjunto de Avaliação: Um pequeno conjunto real de 27 perguntas extraídas de sites de direito do inquilino, citando explicitamente seções da RTA. Este conjunto está com "verificação humana pendente".
   • Corpus: A RTA e o regulamento foram analisados em 358 provisões, com cada provisão servindo como um único fragmento (chunk) consciente de estrutura para RAG. Este inventário também serve como uma lista de permissões determinística para verificações de alucinação.

2. Braços Experimentais:

   • Base (Zero-Shot): O modelo de instrução sem ajuste fino ou recuperação.
   • Apenas SFT: Um LoRA (Rank 32, $\alpha=64$) de ajuste fino supervisionado nos pares sintéticos, sem recuperação.
   • Apenas RAG: O modelo base instruído a citar apenas do contexto recuperado usando um recuperador híbrido BM25 + bge-small. Uma salvaguarda de "citar-do-contexto" atua como uma verificação de existência rigorosa.
   • Híbrido SFT+RAG: O modelo ajustado via LoRA instruído a selecionar a citação correta entre os candidatos recuperados.

3. Ablações e Variáveis:

   • Profundidade de Recuperação ($k$): Testada em $k=5$ e $k=10$.
   • Força de Recuperação: Comparou o bge-small híbrido e barato contra um pipeline mais pesado usando bge-large + um reclassificador (reranker) de codificador cruzado (cross-encoder).
   • Escala de Treinamento: Testou um conjunto de dados de treinamento melhorado/maior (2.645 pares).

4. Métricas:

   • Correspondência Exata de Citação: Requer a correspondência do instrumento, seção e subseção. Correspondências apenas de seção recebem crédito parcial (0,5).
   • Taxa de Alucinação: Verificação determinística contra o inventário fixo; qualquer citação não presente no inventário é uma alucinação.
   • F1: Computado sobre os conjuntos de citações previstos versus os reais (gold).

Principais Resultados
O estudo reporta resultados no conjunto de avaliação real de 27 itens (estimativas de ponto de execução única, preliminares devido ao pequeno $n$).

• Modelo Base: Falhou completamente (0,00 de correspondência exata) com uma taxa de alucinação de 81%.
• Apenas SFT: Aprendeu o formato da citação, mas teve dificuldades com números de seção específicos, alcançando 0,148 de correspondência exata e reduzindo as alucinações para 14,8%. Falhou em memorizar efetivamente os números exatos das seções.
• Apenas RAG: Provou ser essencial. Alcançou 0,44 de correspondência exata (em $k=5$) e reduziu as alucinações para 0,00 por construção (devido à salvaguarda de verificação de existência).
• Híbrido SFT+RAG: Alcançou a pontuação mais alta de 0,481 de correspondência exata (0,574 F1) com 0,00 alucinações em $k=10$.
  • O Efeito "SFT×k": Aumentar a profundidade de recuperação ($k$) prejudicou o modelo RAG zero-shot (caindo de 0,44 em $k=5$ para 0,37 em $k=10$), provavelmente devido a distratores. Inversamente, o modelo SFT melhorou com maior $k$ (0,333 em $k=5$ para 0,481 em $k=10$), sugerindo que o SFT ensina uma seleção robusta a partir de conjuntos de candidatos com maior recall e mais ruidosos.
• Descobertas de Eficiência:
  • Substituir o recuperador bge-small barato por um pipeline mais pesado de bge-large + reclassificador de codificador cruzado não melhorou o desempenho (tanto o RAG-apenas quanto o Híbrido pontuaram 0,37 com o recuperador pesado).
  • Aumentar o tamanho dos dados de treinamento não gerou ganhos mensuráveis (0,444 vs. 0,481).

Significância e Alegações
O artigo fornece uma resposta medida e empírica ao debate "treinar vs. recuperar" no contexto de citação estatutária:

1. Recuperação é Essencial: O ajuste fino sozinho é insuficiente para a citação estatutária precisa; a recuperação é necessária para fundamentar o modelo e eliminar alucinações.
2. Superioridade Híbrida (Condicional): O híbrido SFT+RAG apresenta o melhor desempenho, principalmente porque o SFT torna o modelo mais robusto ao "ruído" de conjuntos de candidatos maiores que confundem o modelo RAG zero-shot.
3. Eficiência sobre Complexidade: Para corpora de estatutos curtos como a RTA, modelos de recuperação especializados e caros (embedders maiores, rerankers) e conjuntos de dados de treinamento maiores não proporcionam melhorias mensuráveis sobre um bge-small híbrido leve e dados sintéticos padrão.
4. Limitações e Metas: O sistema atende a três de quatro portões de sucesso: elimina alucinações, proporciona um aumento significativo sobre o modelo base e responde à pergunta do operador. No entanto, ele falha em atingir a meta aspiracional de 0,70 de correspondência exata, parando em 0,481. Os autores atribuem essa lacuna ao teto de recall de recuperação (~0,89), à dificuldade no nível de subseção e ao tamanho reduzido do conjunto de avaliação.

Conclusão
Os autores concluem que, embora o artefato tenha conseguido zerar as alucinações e superar a barra de incremento sobre o modelo base, a pontuação de 0,481 de correspondência exata em um conjunto de 27 itens é preliminar. A ordenação fina entre os braços que utilizam recuperação (ex: 0,481 vs. 0,44) está dentro do ruído estatístico. A principal contribuição é a demonstração de que uma abordagem híbrida SFT+RAG barata é suficiente para esta tarefa, superando tanto o ajuste fino puro quanto os pipelines de recuperação mais complexos, embora seja necessário mais trabalho para atingir metas de precisão mais altas em um conjunto de avaliação maior e verificado por humanos.