Train, Retrieve, or Both? A Four-Arm Head-to-Head for Correct Statutory Citation on the Ontario Residential Tenancies Act

기술 요약: 학습인가, 검색인가, 아니면 둘 다인가? 온타리오주 주거 임대차법(RTA)의 정확한 법령 인용을 위한 4개 실험군 헤드 투 헤드 비교

문제 정의
본 논문은 자가로 법률 서비스를 이용하는 세입자, 임대인 및 헬프 데스크 직원들이 온타리오주 주거 임대차법 2006(RTA) 및 그 핵심 규정 내의 정확한 법적 조항으로 안내받을 수 있도록 하는 특정 과제를 다룹니다. 본 연구의 목적은 유창한 법률 자문을 생성하는 것이 아니라, 자연어 질문에 대해 정밀한 인용(법률, 조, 항)을 제공하는 것입니다. 운영자가 제기한 핵심 연구 질문은 경험적입니다: 미세 조정(SFT)만으로 이 과업이 충분한가, 아니면 하이브리드 검색 증강 생성(RAG) 방식이 필수적인가? 본 연구는 환각 현상(존재하지 않는 조항 인용)을 최소화하는 동시에 정확한 일치(exact-match) 인용 정확도를 극대화하는 것을 목표로 합니다.

방법론
저자들은 Qwen2.5-7B-Instruct 모델을 베이스 모델로 사용하여 4개 실험군을 통한 헤드 투 헤드 평가를 수행했습니다. 공공의 질문-인용 데이터셋이 해당 관할 구역에 존재하지 않기에, 연구진은 RTA 및 O. Reg. 516/06에서 파생된 커스텀 데이터셋을 활용했습니다.

1. 데이터 구축:

   • 학습 데이터: 법령 섹션을 패러프레이징하여 생성한 2,148개의 합성 질문-인용 쌍을 사용했습니다. 데이터는 누수(leakage)를 방지하기 위해 (섹션/Part별로 그룹 인지 방식 적용) 분할되었으며, 결과적으로 1,473개의 학습 세트, 345개의 합성 테스트 세트, 그리고 보지 못한 섹션 슬라이스 330개로 구성되었습니다.
   • 평가 세트: 세입자 법률 사이트에서 추출한, RTA 섹션을 명시적으로 인용하고 있는 27개의 실제 질문 세트입니다. 이 세트는 "인간 검증 대기 중" 상태입니다.
   • 코퍼스(Corpus): RTA와 규정을 358개의 조항으로 파싱하였으며, 각 조항은 단일한 구조 인식 RAG 청크(chunk) 역할을 합니다. 이 인벤토리는 환각 체크를 위한 결정론적 화이트리스트 역할도 수행합니다.

2. 실험군(Experimental Arms):

   • Base (Zero-Shot): 미세 조정이나 검색 없이 사용된 인스트럭트(instruct) 모델.
   • SFT-Only: 합성 쌍을 이용한 LoRA (Rank 32, $\alpha=64$) 지도 미세 조정 모델로, 검색 없이 수행되었습니다.
   • RAG-Only: 하이브리드 BM25 + bge-small 리트리버를 사용하여, 검색된 컨텍스트로부터만 인용하도록 프롬프트된 베이스 모델입니다. "컨텍스트로부터 인용" 가드레일이 엄격한 존재 확인 역할을 합니다.
   • SFT+RAG Hybrid: 검색된 후보군 중에서 정확한 인용을 선택하도록 프롬프트된 LoRA 미세 조정 모델입니다.

3. 절제 실험(Ablations) 및 변수:

   • 검색 깊이 ($k$): $k=5$와 $k=10$에서 테스트되었습니다.
   • 검색 강도: 저렴한 bge-small 하이브리드 방식과 bge-large + 크로스 인코더 리랭커를 사용하는 무거운 파이프라인을 비교했습니다.
   • 학습 규모: 개선된/더 큰 규모의 학습 데이터 세트(2,645개 쌍)를 테스트했습니다.

4. 지표:

   • 인용 정확히 일치(Citation Exact-Match): 법률, 조, 항이 모두 일치해야 합니다. 조(section)만 일치하는 경우 부분 점수(0.5)를 부여합니다.
   • 환각율(Hallucination Rate): 고정된 인벤토리와의 결정론적 체크를 수행하며, 인벤토리에 없는 모든 인용은 환각으로 간주합니다.
   • F1 스코어: 예측된 인용 세트와 정답(gold) 인용 세트 간에 계산됩니다.

주요 결과
연구는 27개 항목의 실제 평가 세트에 대한 결과를 보고합니다 (단일 실행 점수 추정치이며, $n$이 작으므로 예비 결과임).

• Base 모델: 완전히 실패했습니다 (정확히 일치 0.00, 환각율 81%).
• SFT-Only: 인용 형식을 학습했으나 특정 조 번호에서 어려움을 겪었으며, 0.148의 정확히 일치 점수를 기록하고 환각을 14.8%로 줄였습니다. 이는 구체적인 조 번호를 효과적으로 암기하는 데 실패했음을 의미합니다.
• RAG-Only: 필수적임이 입증되었습니다. $k=5$에서 0.44의 정확히 일치 점수를 달성했으며, (존재 확인 가드레일 덕분에) 환각을 0.00으로 낮추었습니다.
• SFT+RAG Hybrid: $k=10$에서 0.481의 정확히 일치 점수(F1 0.574)를 기록하며 가장 높은 점수를 얻었습니다.
  • "SFT×k" 효과: 검색 깊이($k$)를 늘리면 제로샷 RAG 모델의 성능은 떨어졌으나 ( $k=5$에서 0.44에서 $k=10$에서 0.37로 하락), 이는 노이즈(distractors) 때문인 것으로 보입니다. 반대로, SFT 모델은 $k$가 높아짐에 따라 성능이 향상되었습니다 ( $k=5$에서 0.333에서 $k=10$에서 0.481로 상승). 이는 SFT가 노이즈가 많고 재현율(recall)이 높은 후보 세트로부터 선택하는 능력을 더 견고하게 만든다는 것을 시사합니다.
• 효율성 발견:
  • 저렴한 bge-small 리트리버를 무거운 bge-large + 크로스 인코더 리랭커로 교체해도 성능 향상이 없었습니다 (RAG-only와 Hybrid 모두 0.37 기록).
  • 학습 데이터 크기를 늘려도 측정 가능한 이득이 없었습니다 (0.444 vs 0.481).

의의 및 주장
본 논문은 법령 인용 맥락에서 "학습 대 검색" 논쟁에 대해 측정된 경험적 해답을 제공합니다:

1. 검색은 필수적이다: 미세 조정만으로는 정확한 법령 인용에 불충분하며, 모델을 근거에 기반하게 하고 환각을 제거하기 위해서는 검색이 필요합니다.
2. 하이브리드의 우월성 (조건부): SFT+RAG 하이브리드가 가장 우수한 성능을 보였는데, 이는 SFT가 제로샷 RAG 모델을 혼란스럽게 만드는 "노이즈"가 많은 후보 세트로부터 더 견고하게 작동하도록 만들기 때문입니다.
3. 복잡성보다 효율성: RTA와 같이 짧은 법령 코퍼스의 경우, 더 복나로운 전문 검색 모델(더 큰 임베더, 리랭커)이나 더 큰 학습 데이터셋이 가벼운 bge-small 하이브리드 및 표준 합성 데이터보다 측정 가능한 개선을 제공하지 않습니다.
4. 한계 및 목표: 시스템은 4가지 성공 관문 중 3가지를 충족합니다: 환각을 제거했고, 베이스 모델 대비 유의미한 상승을 보여주었으며, 운영자의 질문에 답했습니다. 그러나 지향점인 0.70 정확히 일치 목표에는 도달하지 못했으며(0.481 기록), 저자들은 이를 검색 재현율의 한계(~0.89), 항(subsection) 단위의 난이도, 그리고 작은 평가 세트 크기 때문으로 분석했습니다.

결론
저자들은 본 아티팩트가 환각을 제로로 만들고 베이스 모델 대비 상승치를 달 확보했지만, 27개 항목 세트에서의 0.481 정확히 일치 점수는 예비적 단계라고 결론짓습니다. 검색을 포함하는 실험군 간의 미세한 차이(예: 0.481 vs 0.44)는 통계적 노이즈 범위 내에 있습니다. 본 연구의 주요 기여는 저렴한 하이브리드 SFT+RAG 방식이 순수 미세 조정이나 더 복잡한 검색 파이프라인보다 이 과업에 더 적합하며 우수하다는 것을 입증한 데 있습니다. 다만, 더 높은 정확도 목표에 도달하기 위해서는 더 큰 규모의 인간 검증 평가 세트를 통한 추가 작업이 필요합니다.