기술 요약: 실제 규제 준수 질문 응답을 위한 인용-폐쇄 검색 및 규칙별 귀속

문제 정의

규제 준수를 위한 대규모 언어 모델 (LLM) 의 배포는 다단계 권한 구조에 걸친 엄격한 추적 가능성 요구사항이라는 치명적인 병목 현상에 직면해 있습니다. 엔티티 해결에 중점을 두는 전통적인 멀티홉 질문 응답 (QA) 이나 판례 추론을 중심으로 하는 표준 법률 QA 와 달리, 규제 준수 QA 는 구조화된 절차적 조회와 증거 집합의 폐쇄를 요구합니다.

현재의 검색 증강 생성 (RAG) 시스템은 다음과 같은 세 가지 주요 한계로 인해 이 분야에서 실패합니다:

1. 단순화된 인용 엣지: 그래프 기반 RAG 접근법은 명시적인 규제 인용을 일반적인 엔티티 - 관계 엣지로 축소하여, 법령에서 시행령, 그리고 운영 매뉴얼에 이르는 위계적 위임 구조를 탐색하는 데 필요한 의미적 구분을 제거합니다.
2. 분열된 검색: 쿼리 분해 또는 확장 기법은 종종 필요한 증거 집합을 통합하지 못하는 분리된 하위 쿼리를 생성하여, 불완전한 절차적 폐쇄로 이어집니다.
3. 취약한 사후 귀속: 생성 모델은 일반적으로 인용을 생성 후 추가되는 자유 형식의 각주로 취급합니다. 이러한 "사후 (post-hoc)" 접근법은 주장과 출처 간의 구조적 결합이 부족하여, 모델이 잘못된 규칙을 인용하거나 법적 조항을 조작하는 체계적인 귀속 환각을 초래합니다.

방법론

이러한 과제를 해결하기 위해 저자들은 RegOps-Bench와 RefWalk 프레임워크를 소개합니다.

1. RegOps-Bench: 새로운 벤치마크

RegOps-Bench는 다단계 절차적 탐색을 테스트하도록 설계된 평가 프레임워크입니다. 이는 법령부터 운영 매뉴얼까지 5 개의 권한 계층에 걸친 12 개의 문서로 구성된 한국 국가 R&D 규제 코퍼스를 통해 구체화됩니다.

• 운영 지식 그래프 (OKG): 코퍼스는 노드가 조항을 나타내고 엣지가 DELEGATES_TO(위임), SPECIFIES(구체화), REFERENCES(참조) 등 6 가지 특정 클래스로 유형화된 OKG 로 모델링됩니다. 이 결정론적 그래프 구성은 LLM 기반 색인화에 내재된 생성적 환각을 방지합니다.
• 축 분리 구성: 벤치마크는 질문 유형(실질적 의도) 과 난이도 수준(참조 집합의 구조적 복잡성) 을 분리하여 250 개의 QA 쌍을 생성합니다. 이를 통해 표면적 문구와 혼동하지 않고 절차적 논리 복잡성 (단일 홉 조회에서 조건부 멀티홉 교차 문서 탐색에 이르기까지) 을 독립적으로 제어할 수 있습니다.
• 정답 (Ground Truth): 정답은 "유형화된 인용 폐쇄"로 정의되며, 모든 관할 조항의 철저한 검색과 주장이 특정 규칙 문단에 정확히 매핑되는 것을 요구합니다.

2. RefWalk: 제안된 프레임워크

RefWalk는 검색과 생성을 통해 전파되는 공유 주제 앵커에 의해 구동되는 통합 RAG 프레임워크입니다.

• 주제 앵커 기반 다중 뷰 검색:

  • 고정된 LLM 이 쿼리에서 구조화된 주제 앵커(주제, 행위자, 시간적, 규모, 상황적 맥락) 를 추출합니다.
  • 이 앵커에서 세 가지 다른 검색 뷰가 구성됩니다:
    • q_narrow: 명시적 세부 사항의 밀집 의미 매칭을 위해 원본 질문을 사용합니다.
    • q_wide: 원본 질문을 제거하고 추상화된 주제와 조건에만 의존하여 구조적 멀티홉 참조를 포착합니다.
    • q_mid: 두 가지의 조합입니다.
  • OKG 확장: 초기 후보 풀은 OKG 내 인용을 가진 업을 따라 한 홉 확장됩니다.
  • RRM 퓨전: 표준 합계 기반 집계 (RRF 등) 대신 RefWalk 는 **상호 순위 최대 (RRM)**를 사용합니다. 이는 특정 "전문가"뷰 (예: 구조적 링크를 위한 q_wide) 로부터의 가장 강력한 신호를 희석하지 않고 보존하여, 특정 뷰에서 높은 순위를 받은 후보가 우선권을 유지하도록 보장합니다.

• 규칙별 귀속 스키마:

  • 귀속 환각을 제거하기 위해 RefWalk 는 생성 중에 엄격한 스키마 수준 결합을 강제합니다.
  • 모델은 JSON 스키마의 특정 rule_id 키에 바인딩된 배열 값으로만 주장을 생성하도록 제한됩니다.
  • 이로써 모델이 자유 형식 텍스트를 생성하고 사후에 인용을 추가하는 것이 방지됩니다. 대신 주장은 해당 관할 규칙의 속성으로 구조적으로 강제되어, 생성된 모든 주장이 본질적으로 그 출처에 바인딩되도록 보장합니다.

주요 기여

1. 규제 준수 QA 의 형식화: 본 논문은 해당 작업을 표준 멀티홉 또는 법률 QA 와 구별되는 다단계 규제 위계 구조의 결정론적 탐색 문제로 형식화합니다.
2. RegOps-Bench: 운영 지식 그래프와 축 분리 난이도 수준을 특징으로 하는 다단계 절차적 탐색을 평가하도록 특별히 설계된 최초의 벤치마크를 공개합니다.
3. RefWalk 프레임워크: OKG 탐색과 규칙별 귀속을 통합하는 새로운 RAG 아키텍처입니다. 이는 전문가 신호를 보존하기 위한 RRM 퓨전과 추적 가능성을 강제하기 위한 스키마 제약 생성을 도입합니다.
4. 실증적 검증: 이 프레임워크는 검색 재현율과 인용 정확도 모두에서 최신 베이스라인 (LightRAG, HippoRAG-2, PIKE-RAG 포함) 보다 상당한 개선을 보여주며, 특히 복잡한 교차 참조 작업에서 두드러집니다.

결과

실험은 RegOps-Bench 와 파생된 **HIPAA(미국 건강 준수)**데이터셋에서 수행되었습니다.

• 검색 성능: RefWalk 는 RegOps-Bench 에서 최첨단 결과를 달성했으며, 특히 FullCov@10(전체 정답 참조 집합이 검색된 쿼리의 비율) 에서 가장 큰 개선을 보였습니다. 기존 검색 방법은 평탄한 구조의 HIPAA 데이터셋에서는 포화 상태에 이르렀지만, 복잡한 교차 참조 RegOps 작업에서는 붕괴된 반면, RefWalk 는 견고한 성능을 유지했습니다.
• 엔드 투 엔드 생성: RefWalk 는 인용 F1에서 베이스라인을 크게 능가했습니다. 제거 실험 ("w/o schema") 은 규칙별 귀속 스키마를 제거하면 인용 정밀도가 급격히 떨어졌음을 보여주어, 스키마 제약이 귀속 환각을 완화하는 주요 동인임을 확인했습니다.
• 난이도 계층화: 성능 분석에 따르면 모든 모델이 단일 앵커 조회 (L1) 에 성공한 반면, 기존 검색은 L3(멀티홉/교차 문서) 및 L4(조건부 멀티홉) 수준에서 크게 실패했습니다. RefWalk 는 이러한 복잡한 계층에서 인용 F1 측면에서 상당한 상대적 개선을 보여주었습니다.
• 메커니즘 분석: RRM 퓨전의 사용이 결정적인 것으로 나타났습니다. 표준 합계 기반 집계 (RRF) 는 복잡한 교차 문서 참조에 필요한 구조적 신호를 희석시켜, 더 높은 난이도 계층에서 성능 저하를 초래했습니다.

중요성 및 주장

본 논문은 규제 준수 AI 가 광범위한 답변 생성에서 검증 가능하고 구조에 바인딩된 귀속으로의 패러다임 전환이 필요하다고 주장합니다. 저자들은 다음과 같이 주장합니다:

• 기존 RAG 시스템은 복잡한 다단계 위임 네트워크를 탐색하는 능력 부족과 사후 인용에 대한 의존성으로 인해 실제 규제 생태계에는 부적합합니다.
• RefWalk프레임워크는 주장과 출처 간의 구조적 결합을 강제함으로써 이러한 취약성을 성공적으로 완화하여, 고위험 분야에서 추적 가능한 AI 를 배포하기 위한 견고한 기반을 제공합니다.
• RegOps-Bench는 평탄한 구조 벤치마크를 넘어 시스템을 스트레스 테스트하는 데 필수적이며, 그렇지 않으면 발견되지 않았을 현재 방법론의 포화 상태를 드러냅니다.

저자들은 보수적인 스키마 제약에 내재된 정밀도 - 재현율 트레이드오프를 인정하며, 이는 준수에 필수적인 높은 인용 정밀도를 보장하지만 "기대적 인용 (eager-citing)" 베이스라인에 비해 일부 재현율을 희생할 수 있다고 지적합니다. 또한 결정론적 OKG 구성은 사용된 특정 규제 코퍼스의 공식적인 인용 패턴에 의존하므로, 하이브리드 추출 파이프라인 없이는 덜 구조화된 관할 구역으로 확장하는 데 어려움이 있음을 언급합니다.