Benchmarking Legal RAG: The Promise and Limits of AI Statutory Surveys

이 논문은 LaborBench 벤치마크를 활용하여 STARA 도구가 기존 RAG 및 상용 법률 AI(웨스트로, 렉시스) 보다 뛰어난 성능을 보였으며, 기존 DOL 변호사들의 실수를 보정했을 때 정확도가 92% 에 달한다는 사실과 함께 향후 법적 RAG 시스템 구축을 위한 설계 원칙을 제시합니다.

핵심

🏛️ 시나리오: 50 개 주의 법전 읽기 대결

상상해 보세요. 미국 전역의 50 개 주에 있는 거대한 도서관이 있습니다. 각 주마다 실업자가 돈을 받을 수 있는 조건이 조금씩 다른 수만 권의 두꺼운 법전이 쌓여 있죠.

과거에는 이걸 미국 노동부 (DOL) 의 변호사 팀이 6 개월 동안 밤을 새우며 수작업으로 하나하나 읽어서 정리했습니다. 이것이 바로 '정답 (Ground Truth)'으로 쓰인 자료입니다.

이번 연구팀은 이 정답을 기준으로 세 가지 'AI 검색 로봇'을 시험에 붙였습니다.

1. STARA (연구진이 만든 특수 로봇): 법전 구조를 아주 잘 이해하도록 특별히 훈련된 로봇.
2. Westlaw AI & Lexis+ AI (상용 AI): 법률 시장에서 유명하게 팔리는 상업용 AI 도구들. (마치 "우리는 50 개 주 법을 몇 분 만에 다 찾아드립니다!"라고 광고하는 제품들)

---

🏆 실험 결과: 누가 이겼을까?

1. 상용 AI 들의 실망스러운 성적표 (Westlaw & Lexis)

상업용 AI 들은 광고처럼 빠르지만, 정확도는 매우 낮았습니다.

• 비유: 마치 "모든 책을 다 읽었다"고 말하지만, 실제로는 책장을 넘길 때 중요한 페이지를 건너뛰거나 (찾지 못함), 완전 다른 책의 내용을 가져와서 헛소리를 하는 (할루시네이션) 학생들입니다.
• 결과: 100 점 만점에 58~64 점 정도밖에 받지 못했습니다. 심지어 "정답을 모두 'Yes'라고 찍는 무식한 기계"보다도 못 한 경우도 있었습니다.
• 이유: 질문의 맥락을 너무 짧게 줄여서 입력해야 하거나 (300 자 제한), 중요한 법 조항의 뉘앙스를 놓쳐서 엉뚱한 결론을 내렸습니다.

2. STARA 의 압도적인 승리

연구진이 만든 STARA는 훨씬 더 잘했습니다.

• 비유: 이 로봇은 법전의 **구조 (목차, 조문 번호, 인용 관계)**를 완벽하게 이해하도록 설계되었습니다. 마치 도서관 사서가 책의 등재 번호와 분류 체계를 완벽하게 외우고 있어, "실업자가 자영업을 할 때 돈을 받을 수 있는 주"를 찾으라고 하면, 관련 법조항을 정확히 찾아서 가져와주는 똑똑한 사서입니다.
• 결과: 초기 점수는 83 점으로 압도적이었습니다.

---

🕵️‍♂️ 놀라운 반전: "정답"이 틀렸다?

가장 흥미로운 부분은 STARA 가 '오답'으로 판정받은 사례를 다시 조사했을 때의 발견입니다.

• 상황: STARA 가 "A 주에는 이런 법이 있다"고 했는데, 기존 정답 (노동부 보고서) 에는 "없다"고 되어 있었습니다. 연구팀은 "아, STARA 가 틀렸구나"라고 생각했습니다.
• 반전: 하지만 연구팀이 직접 법전을 다시 확인해보니, STARA 가 맞았습니다! 노동부 변호사들이 6 개월 동안 일해도 놓친 숨겨진 법조항들이 실제로 존재했습니다.
• 비유: 시험에서 정답지가 "A 는 틀렸다"고 적혀 있는데, 사실은 정답지가 빠뜨린 것이었던 셈입니다. STARA 는 그 빠진 부분을 찾아낸 것입니다.
• 최종 점수: 이 '숨겨진 정답'들을 모두 반영하자, STARA 의 점수는 92 점으로 치솟았습니다.

---

💡 이 연구가 우리에게 주는 교훈

1. AI 는 아직 완벽하지 않다: "AI 가 모든 법을 몇 분 만에 다 찾아준다"는 광고는 과장일 수 있습니다. 특히 복잡한 법률 문맥을 이해하는 데는 한계가 있습니다.
2. 전문가는 실수할 수 있다: 6 개월 동안 일한 인간 전문가들도 중요한 법조항을 놓칠 수 있습니다. AI 가 오히려 인간이 놓친 것을 찾아낼 수도 있습니다.
3. 도구의 설계가 중요하다: 단순히 "책을 검색하는 AI"가 아니라, 법률의 구조와 논리를 이해하는 AI를 만들어야만 신뢰할 수 있습니다.

📝 한 줄 요약

"법률 AI 를 시험에 붙여보니, 유명 상용 AI 들은 엉뚱한 소리를 하고, 연구진이 만든 AI 는 인간 전문가조차 놓친 정답을 찾아냈습니다. AI 는 아직 완벽하지 않지만, 잘 설계하면 인간 전문가의 실수를 보완할 수 있는 강력한 도구가 될 수 있다는 것을 보여준 연구입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 미국 내 50 개 주의 실업 보험 (UI) 법규와 같은 다관할권 (Multi-jurisdictional) 법률 조사는 법률 연구, 정책 수립, 기업 준수에 필수적입니다. 현재 미국 노동부 (DOL) 는 6 개월 이상의 수작업과 전문 변호사 팀을 동원하여 매년 50 개 주의 법규를 비교·분석하는 보고서를 작성하고 있습니다.
• 문제:
  • 기존 AI 의 한계: 이전 연구 (LaborBench) 에 따르면, 일반적인 대규모 언어 모델 (LLM) 과 표준 검색 증강 생성 (RAG) 시스템은 복잡한 법률 조항, 계층적 구조, 교차 참조, 예외 조항 등을 처리하는 데 실패하여 70% 미만의 정확도를 보였습니다.
  • 상용 도구의 검증 부재: Westlaw AI 와 Lexis+ AI 와 같은 상용 법률 플랫폼이 "50 개 주 조사" 기능을 마케팅하고 있지만, 이러한 시스템의 실제 성능과 정확도에 대한 엄격한 벤치마킹은 부족했습니다.
  • Ground Truth 의 불완전성: 기존 벤치마크의 기준이 되는 DOL 보고서 자체가 인간 전문가의 실수로 인해 중요한 조항을 누락하고 있을 가능성이 제기되었습니다.

2. 연구 방법론 (Methodology)

• 벤치마크 (LaborBench): 이전 연구에서 개발된 LaborBench 를 기반으로, 50 개 주의 실업 보험 법규에 대한 1,647 개의 이진 분류 (True/False) 질문을 사용하여 시스템을 평가했습니다.
• 평가 대상 시스템:
  1. STARA (Statutory Research Assistant): 연구진이 개발한 도메인 특화 검색 도구. 계층적 구조를 보존하고, 정규식 (RegEx) 필터링과 LLM 분류를 결합하여 관련 조항을 추출합니다.
  2. Westlaw AI: 상용 법률 검색 플랫폼의 AI 기능 (300 자 쿼리 제한 존재).
  3. Lexis+ AI (Protege): 상용 법률 검색 플랫폼의 AI 기능 (5,000 자 쿼리 제한 존재).
• 평가 프로세스:
  • 각 시스템이 50 개 주의 법규를 스캔하여 특정 법률 조항의 존재 여부를 판단하게 함.
  • 시스템의 출력을 DOL 보고서 (Ground Truth) 와 비교하여 정확도 (Accuracy), 정밀도 (Precision), 재현율 (Recall), F1 점수를 산출.
  • 심층 오류 분석: 시스템이 "거짓 양성 (False Positive)"으로 판정한 사례를 실제 주법 (Statutes) 과 대조하여, 이것이 시스템의 오류인지 DOL 보고서의 누락인지 확인.

3. 주요 기여 (Key Contributions)

1. STARA 의 성능 입증: STARA 가 기존 RAG 모델보다 월등히 높은 성능을 보임.
2. 상용 플랫폼의 성능 평가: Westlaw AI 와 Lexis+ AI 의 첫 번째 체계적 벤치마킹 수행.
3. 오류 유형 분류: 추론 오류 (법적 개념 혼동, 예외 조항 오해) 와 검색 실패 (관련 조항 누락) 를 구분하여 분석.
4. Ground Truth 의 결함 발견: DOL 보고서 자체가 중요한 조항을 누락하고 있음을 발견. 이를 보정하면 STARA 의 실제 정확도가 크게 향상됨.
5. 법률 RAG 설계 원칙 제시: 다관할권 법률 조사를 위한 구체적인 설계 가이드라인 제안.

4. 주요 결과 (Results)

A. 성능 비교 (Performance Comparison)

시스템	정확도 (Accuracy)	F1 점수	비고
STARA (보정 전)	83%	0.81	기존 최상위 모델 대비 14%p 향상
Westlaw AI	58%	0.64	표준 RAG 보다 낮음
Lexis+ AI	64%	0.41	재현율이 매우 낮음 (0.29)
STARA (보정 후)	92%	0.91	DOL 누락 조항 반영 시

• STARA: 83% 의 정확도를 기록하며 상용 툴을 크게 앞질렀습니다.
• 상용 툴: Westlaw AI 는 많은 거짓 양성 (False Positive) 을 발생시켰고, Lexis+ AI 는 많은 거짓 음성 (False Negative) 을 발생시켜 재현율이 낮았습니다.
• Ground Truth 보정: STARA 가 "오류"로 간주된 135 건의 거짓 양성 중 135 건 (100% 에 가까움) 이 실제로는 DOL 보고서에 누락된 유효한 조항임을 확인했습니다. 이를 반영하면 STARA 의 실제 정확도는 **92%**로 상승합니다.

B. 오류 분석 및 원인

• STARA 의 오류:
  • DOL 누락 (75% 이상): 시스템이 찾아낸 조항은 실제 법전에 존재했으나 DOL 전문가가 놓친 경우 (예: 과다 지급 면제 사유, 자영업 지원 프로그램 등).
  • 추론 오류: 역사적 조항 (현재 효력 없음) 을 현재 조항으로 오인하거나, 정보 공유 조항을 공제 권한으로 오해하는 경우.
  • 검색 오류: 정규식 필터가 너무 엄격하여 변형된 표현의 조항을 놓친 경우 (False Negative).
• 상용 툴의 한계:
  • Westlaw AI: 300 자 쿼리 제한으로 인해 복잡한 법적 맥락이 생략됨. 관련 키워드는 있지만 무관한 조항을 인용하는 "할루시네이션"이 빈번함.
  • Lexis+ AI: 속도를 위해 완전성을 희생하여 중요한 조항을 누락 (재현율 저하).

5. 의의 및 시사점 (Significance & Implications)

1. 법률 AI 의 현실적 한계와 가능성:
   • 일반적인 LLM 은 복잡한 다관할권 법률 조사에 적합하지 않음.
   • **도메인 특화 설계 (Domain-Specific Design)**가 필수적임. 계층적 구조 보존, 교차 참조 처리, 명확한 쿼리 명세가 성능을 결정합니다.
2. Ground Truth 의 재정의:
   • 법률 분야에서 "Ground Truth"로 간주되는 전문가 보고서조차 불완전할 수 있음. AI 가 인간 전문가가 놓친 조항을 찾아낼 수 있음을 입증하여, AI 를 단순한 자동화 도구가 아닌 검증 및 보완 도구로 재평가해야 함을 시사합니다.
3. 상용 플랫폼에 대한 경고:
   • "수 분 만에 50 개 주 조사"라는 마케팅 문구는 실제 정확도 부족과 검증 비용 증가로 인해 위험할 수 있음. 투명성 부족과 블랙박스 알고리즘은 신뢰성을 떨어뜨립니다.
4. 설계 원칙 제안:
   • 정밀한 질문 명세: 시간적 범위, 폐기된 조항 처리, 예외 조건 등을 명확히 해야 함.
   • 전략적 코퍼스 선택: 전체 법전 검색보다는 관련 코드 제목/장 (Chapter) 으로 검색 범위를 제한하되, 의미론적 검색 (Semantic Search) 을 활용해야 함.
   • 투명한 인용: 답변의 근거가 되는 조항을 명확히 제시하여 검증 가능해야 함.
   • 비법률적 출처 인식: 법령뿐만 아니라 규정 (Regulation) 과 행정 해석도 포함해야 함 (현재 STARA 는 법령 위주로 검색하여 이 부분에서 누락 발생).

결론

이 연구는 법률 RAG 시스템의 벤치마킹이 얼마나 복잡하며, 기존 상용 AI 도구가 실제 법률 조사에서 얼마나 미흡한지를 실증적으로 보여줍니다. 동시에, 잘 설계된 도메인 특화 시스템 (STARA) 은 인간 전문가의 실수를 보완할 수 있을 만큼 높은 성능을 발휘할 수 있음을 입증했습니다. 향후 법률 AI 개발은 단순한 속도 경쟁이 아닌, 정확성, 투명성, 그리고 인간 전문가의 검증 과정과의 통합에 초점을 맞춰야 함을 강조합니다.