Beyond Case Law: Evaluating Structure-Aware Retrieval and Safety in Statute-Centric Legal QA

이 논문은 판례 중심의 기존 벤치마크를 넘어, 법령의 위계적 구조와 안전성 (할루시네이션 방지) 을 동시에 평가하는 'SearchFireSafety'라는 새로운 벤치마크를 제안하고, 그래프 기반 검색의 효과와 도메인 적응 모델의 안전성 트레이드오프를 실증적으로 분석합니다.

핵심

이 논문은 **"법률 질문을 할 때 AI 가 얼마나 똑똑하고 안전한가?"**를 테스트하는 새로운 방법과 그 결과를 이야기합니다.

기존의 법률 AI 연구는 주로 **"판례 (과거 법원 판결)"**를 찾는 데 집중했습니다. 마치 "내가 이런 사고를 당했는데, 비슷한 사례가 있을까?"라고 묻는 것과 비슷하죠. 하지만 이 논문은 **"법규 (법률 조항)"**를 다루는 영역, 특히 소방 안전 같은 분야에 주목했습니다.

이 내용을 일반인이 이해하기 쉽게 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 문제 상황: "보이지 않는 연결고리" (법률 정보의 단절)

비유: 거대한 레고 성
법률 정보는 하나의 두꺼운 책에 다 있는 게 아니라, 거대한 레고 성처럼 여러 개의 작은 블록 (법률, 시행령, 시행규칙, 기술 기준) 으로 나뉘어 있습니다.

• 사용자의 질문: "이 학교에 안전 난간을 설치할 때, 1.2 미터보다 높으면 창문으로 인정받나요?" (일상적인 말)
• 정답이 있는 곳: "창문의 높이 정의"는 '시행령'에 있고, '창문'의 구체적인 기준은 '기술 기준'에 있습니다. 이 두 문서는 서로 다른 책에 있는데, 오직 작은 주석 (인용) 하나만으로 연결되어 있습니다.

문제점:
기존의 AI 검색 엔진은 "키워드"나 "의미"만 보고 검색합니다. 사용자의 "난간"이라는 말과 법전의 "개구부 (창문)"라는 말은 서로 달라서 AI 는 정답이 있는 문서를 찾아내지 못합니다. 이를 논문에서는 **"법률 정보의 간극 (Statutory Retrieval Gap)"**이라고 부릅니다.

2. 해결책: "지도가 있는 탐험" (구조 인식 검색)

비유: 나침반 vs. 지도
기존 AI 는 나침반만 들고 있습니다. "비슷한 단어"가 있는 곳으로만 가다 보니, 정답이 있는 먼 곳 (다른 법률 문서) 에는 못 갑니다.
저희 연구팀은 법률 문서들 사이의 연결고리 (인용 관계) 를 그린 지도를 만들었습니다.

• 새로운 방법 (SAR): AI 가 검색할 때, 단순히 "비슷한 단어"만 찾는 게 아니라, **"이 문서는 저 문서를 가리키고 있어, 저 문서를 따라가 봐"**라고 **지도 (그래프)**를 따라가게 했습니다.
• 결과: 이렇게 하면, 사용자가 일상적인 말로 물어도 AI 는 정확한 법조항이 숨겨진 곳까지 찾아갈 수 있게 되었습니다.

3. 가장 중요한 발견: "모르는 척하는 용기" (안전성)

비유: 무식한 전문가 vs. 겸손한 전문가
이 논문에서 가장 충격적이고 중요한 발견은 **AI 의 '안전성'**에 관한 것입니다.

• 상황: AI 가 정답을 찾을 수 있는 모든 문서를 다 주지 않고, 중요한 문서 하나를 뺐다고 가정해 봅시다. (예: 정답이 있는 '기술 기준' 문서를 숨김)
• 기존 AI 의 반응: "아, 내가 이거 알고 있어!"라고 확신에 차서 엉뚱한 답을 지어냅니다 (할루시네이션). 소방 안전처럼 사람의 생명과 직결된 문제에서, 틀린 답을 확신 있게 말하는 것은 매우 위험합니다.
• 연구 결과:
  • 법률 전문 데이터로 더 많이 학습시킨 AI 일수록, 모르는 것을 모른다고 인정하지 않고 더 확신 있게 거짓말을 하는 경향이 있었습니다.
  • 반면, GPT-4o 같은 최신 모델은 정보가 부족하면 **"이건 알 수 없습니다"**라고 정직하게 답하는 경향이 더 높았습니다.

요약: 이 논문이 우리에게 주는 메시지

1. 법률 AI 는 '검색'이 핵심입니다. 단순히 머릿속에 지식을 많이 넣는 것 (학습) 보다, 정확한 법조항을 찾아내는 '검색' 기술이 더 중요합니다. 특히 법조항들이 서로 복잡하게 연결되어 있을 때는 연결고리를 따라가는 검색이 필수입니다.
2. 안전한 AI 는 '모른다고 말하는 AI'입니다. 소방 안전처럼 실수하면 큰일이 나는 분야에서는, AI 가 정보를 다 주지 않았을 때 "알 수 없다"고 정직하게 말하는 것이, 엉뚱한 답을 확신 있게 말하는 것보다 훨씬 안전합니다.
3. 새로운 기준이 필요합니다. 우리는 이제부터 AI 를 평가할 때, "정답을 얼마나 잘 찾았나?"만 볼 게 아니라, **"정보가 부족할 때 얼마나 안전하게 멈출 수 있는가?"**도 함께 봐야 합니다.

한 줄 요약:

"법률 AI 는 복잡한 법전 지도를 잘 읽을 줄 알아야 할 뿐만 아니라, 정보가 부족할 때는 자신감 있게 거짓말하지 않고 '모른다'고 말할 줄 아는 겸손함도 갖춰야 안전합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 기존 연구의 한계: 대부분의 법률 AI 벤치마크는 판례 (Case Law) 중심의 Common Law(영미법) 체계에 맞춰져 있습니다. 판례는 상대적으로 독립적인 문서 단위로 처리되지만, 법규 (Statute) 중심의 Civil Law(대륙법) 체계에서는 법적 의미가 여러 계층적 문서 (법률 → 시행령 → 시행규칙 → 기술기준) 간에 분산되어 있습니다.
• 법규 검색 격차 (Statutory Retrieval Gap):
  • 사용자의 질문은 상위 수준의 법조문과 어휘적으로 유사할 수 있으나, 정답은 하위 수준의 기술적 규격 문서에 존재하는 경우가 많습니다.
  • 이 두 문서는 명시적인 인용 (Citation) 관계로만 연결되어 있으며, 의미적 (Semantic) 거리는 매우 멀어 기존 밀집 검색기 (Dense Retriever) 가 이를 찾아내기 어렵습니다.
• 안전성 및 할루시네이션 문제: 화재 안전과 같은 규제 영역에서는 불완전한 문맥에서 답변을 생성하는 것 (할루시네이션) 이 치명적인 안전 사고로 이어질 수 있습니다. 따라서 모델은 정보가 부족할 때 답변을 거절 (Abstention) 할 수 있어야 하지만, 현재 모델들은 불확실성을 인식하지 못하고 확신에 찬 잘못된 답변을 생성하는 경향이 있습니다.

2. 제안된 벤치마크: SEARCHFIRESAFETY

한국 소방 안전 법규를 기반으로 한 구조 인식형 (Structure-Aware) 및 안전성 평가 벤치마크를 제안했습니다.

• 데이터 구성:
  • 법률 코퍼스: 2025 년 4 월 기준 최신 소방 관련 법령 131 개를 수집하고, 이미지/수식/첨부파일을 텍스트로 변환하여 4,467 개의 원자적 검색 단위로 분할했습니다.
  • 인용 그래프 (Citation Graph): 법령 간의 명시적 하이퍼링크와 텍스트 내 인용 (예: "전조") 을 파싱하여 문서 간 계층적 연결 구조를 구축했습니다.
• 데이터셋 구성 (Dual-Source):
  1. 실제 전문가 QA (Real-World Expert QA): 소방청 민원 포털의 실제 질의응답 876 건을 수집. 계층적 인용 체인을 추적해야 하는 다중 홉 (Multi-hop) 검색 능력을 평가합니다.
  2. 합성 다중 홉 QA (Synthetic Multi-hop QA): 3,395 개의 객관식 문제를 생성. 특정 문서 (B) 가 누락된 상황 (Partial Context) 에서 모델이 '답변 불가'를 선택할 수 있는지 (안전성) 를 평가합니다.

3. 방법론 (Methodology)

• 구조 인식형 재순위화 (Structure-Aware Reranking, SAR):

  • 기존 밀집 검색 (Dense Retrieval) 으로 초기 후보군을 추출한 후, 인용 그래프 (Citation Graph) 를 활용하여 재순위화합니다.
  • Robust Voting Mechanism: 초기 검색 결과 (Seed) 가 가진 의미적 점수를 명시적으로 연결된 이웃 문서로 전파합니다.
  • 이중 페널티 (Dual-Penalty): 너무 많은 문서를 인용하는 '허브' 문서나 너무 일반적인 문서를 과도하게 가중치 부여하지 않도록 로그 페널티를 적용하여 구조적 노이즈를 필터링합니다.
  • 잔여 융합 (Residual Fusion): 의미적 유사도가 낮은 '격차 (Gap)' 문서의 점수를 구조적 신호로 보정하여 검색 성능을 극대화합니다.

• 안전성 평가 프로토콜:

  • Zero-Shot: 문맥 없이 지식만으로 답변 (파라메트릭 지식 평가).
  • Full Context: 모든 관련 문서 제공 (이상적 조건에서의 추론 능력 평가).
  • Partial Context: 핵심 연결 문서가 누락된 상태 (불확실성 인식 및 거절 능력 평가).

4. 주요 실험 결과 (Results)

• 검색 성능 (Retrieval Performance):
  • 기존 BM25 및 밀집 검색기 (Qwen3-Emb, BGE-M3) 만으로는 '법규 검색 격차'를 해결하기 어려웠습니다.
  • 제안한 SAR (Structure-Aware Reranking) 을 적용한 결과, Recall@50 및 nDCG@50 에서 가장 높은 성능을 기록했습니다. 이는 의미적 유사도가 낮더라도 구조적 연결을 통해 정답 문서를 찾을 수 있음을 입증했습니다.
• 생성 및 안전성 성능 (Generation & Safety):
  • 안전성 트레이드오프: 도메인 특화 학습 (Continued Pretraining) 을 거친 모델은 완전한 문맥 (Full Context) 에서는 성능이 향상되었으나, 불완전한 문맥 (Partial Context) 에서는 오히려 거절 능력이 저하되어 할루시네이션을 더 많이 발생시켰습니다.
  • 모델 비교: GPT-4o 는 불확실한 상황에서 '답변 불가'를 선택하는 경향이 가장 뚜렷했으나, 오픈소스 모델들은 정보가 부족함에도 불구하고 확신에 찬 답변을 생성하는 경향이 강했습니다.

5. 핵심 기여 (Key Contributions)

1. SEARCHFIRESAFETY 벤치마크 도입: 판례가 아닌 법규 (Statute) 중심의 복잡한 계층적 구조와 안전성 (Safety) 을 동시에 평가하는 최초의 벤치마크를 제시했습니다.
2. 명시적 인용 그래프 주석 데이터셋: 법률 문서 간의 계층적 의존성을 체계적으로 평가할 수 있도록 인용 그래프가 주석된 대규모 데이터셋을 구축했습니다.
3. 구조적 검색의 중요성 입증: 의미적 유사도만으로는 해결되지 않는 법적 검색 격차를 인용 그래프 기반의 재순위화로 극복할 수 있음을 실험적으로 증명했습니다.
4. 안전성 경고: 규제 중심의 법률 AI 에서 도메인 적응 (Fine-tuning) 이 오히려 불확실성 인식 능력을 떨어뜨려 위험할 수 있음을 지적하고, 거절 (Refusal) 행동을 평가하는 것의 중요성을 강조했습니다.

6. 의의 및 결론 (Significance)

이 연구는 법률 AI 가 단순한 정보 검색을 넘어, 복잡한 법규 구조를 이해하고 안전성을 확보하는 방향으로 발전해야 함을 시사합니다. 특히 화재 안전과 같은 치명적 결과가 따를 수 있는 규제 영역에서는, 정답을 찾는 능력만큼이나 **"알 수 없을 때 침묵하는 능력"**이 필수적임을 강조합니다. SEARCHFIRESAFETY 는 이러한 안전한 법률 RAG(검색 증강 생성) 시스템 개발을 위한 중요한 기준이 될 것입니다.