Navigating Global AI Regulation: A Multi-Jurisdictional Retrieval-Augmented Generation System

"글로벌 AI 규제 탐색: 다관할권 검색 증강 생성 시스템"에 대한 상세 기술 요약입니다.

1. 문제 제기

68 개 이상의 관할권에서 인공지능 (AI) 규제가 급속히 확산됨에 따라 정책 입안자, 법률 전문가, 연구자들을 위한 규제 환경은 파편화되고 복잡해졌습니다. 기존에 존재하는 주요 과제는 다음과 같습니다.

• 정보 과부하: 수백 페이지에 달하는 방대하고 기술적인 문서 (법률, 전략, 백서) 를 탐색하는 것은 어렵습니다.
• 구조적 이질성: 규제 문서는 형식과 구조가 크게 다릅니다. EU AI 법이나 GDPR 과 같이 특정 조문 번호가 명시된 공식적이고 위계적인 법률부터 국가 전략과 같이 연속된 산문으로 작성된 비구조적 정책 문서까지 다양합니다.
• 기존 저장소의 한계: OECD AI 정책 관측소와 같은 기존 도구들은 정적 카탈로그화와 고수준 요약 기능을 제공하지만, 여러 관할권에 걸쳐 상호작용적이고 세분화된 질의를 수행하거나 비교 분석을 할 수 있는 기능은 부족합니다.
• RAG 의 과제: 표준 검색 증강 생성 (RAG) 시스템은 법적 도메인에서 다음과 같은 이유로 어려움을 겪습니다. 청킹 (chunking) 과정에서 위계적 구조가 파괴될 위험, 정확한 법적 인용의 필요성, 그리고 의미론적 검색이 1 차 법률보다 2 차 자료 (보고서 등) 를 우선시하는 경향 때문입니다.

2. 방법론

저자들은 이질적인 법적 코퍼스를 처리하도록 설계된 전문적인 다관할권 RAG 시스템을 개발했습니다.

A. 코퍼스 구축

• 규모: 북미, 유럽, 아시아, 아프리카, 남미, 오세아니아 및 국제 기구를 포함한 68 개 관할권의 242 개 규제 문서.
• 내용: 시행/발의된 법률 (예: EU AI 법, GDPR, 미국 법안) 과 정책 문서 (예: 국가 AI 전략) 포함.
• 메타데이터: 각 문서는 관할권, 제목, 연도, 언어, 상태 (시행/초안), 문서 유형으로 태깅됩니다.

B. 문서 전처리 및 청킹

구조적 이질성을 해결하기 위해 시스템은 유형별 청킹 전략을 사용합니다:

1. 구조화된 문서 (법률): 각 구조 단위 (조, 항, 목) 를 단일 청크로 처리하여 법적 위계 구조를 보존하고 정확한 인용을 가능하게 합니다. 단위가 2,000 자를 초과하는 경우에만 재귀적 분할을 적용합니다.
2. 비구조화된 문서 (정책/백서): 명시적인 구조 마커가 없는 상황에서 문맥의 연속성을 유지하기 위해 1,000 자 청크와 200 자 오버랩을 사용하는 RecursiveCharacterTextSplitter 를 사용합니다.

• 결과: 메타데이터를 모두 유지하여 필터링이 가능한 총 38,750 개의 청크.

C. 임베딩 및 인덱싱

• 모델: 강력한 의미 이해와 다국어 지원을 위해 all-mpnet-base-v2(768 차원) 사용.
• 인덱싱: Faiss 라이브러리를 평탄한 L2 인덱스로 구성. 코퍼스 크기가 작기 때문에 근사 최근접 이웃보다 완전 탐색 (정확도) 을 우선시했습니다.
• 저장: Faiss 문서 스토어는 메타데이터를 통합하여 관할권이나 문서 유형별로 필터링된 검색을 가능하게 합니다.

D. 조건부 검색 파이프라인

핵심 혁신은 질의 분석에 기반한 3 경로 조건부 라우팅 전략입니다:

1. 경로 A (직접 메타데이터 조회): 특정 조/항 참조 (예: "GDPR 제 17 조") 에 의해 트리거됩니다. 의미론적 검색을 완전히 우회하여 메타데이터 필터링을 통해 청크를 검색합니다.
2. 경로 B (개체 필터링 의미론적 검색): 단일 관할권 질의용입니다. 유사도 검색을 통해 후보를 검색한 후 대상 관할권으로 필터링하며, EU 회원국의 경우 국가별 결과가 누락될 경우 EU 수준 규제로 자동 확장하는 폴백 (fallback) 메커니즘을 적용합니다.
3. 경로 C (다관할권 검색): 비교 질의용입니다. 개체 필터링을 비활성화하여 의미론적 유사도가 여러 관할권의 문서를 순위 매기도록 합니다.

E. 재랭킹 전략

가장 관련성 높은 법적 소스를 제시하기 위해 다음과 같은 전략을 사용합니다:

• 우선순위 부스팅 (단일 개체): 시행된 법률이 가장 높은 점수 보정 (0.6 배) 을 받고, 이어 발의된 법률 (0.8 배) 이 따릅니다. 2 차 자료 (전략, 보고서) 는 원시 의미 점수에 의존합니다.
• 균형 있는 표현 (다관할권): 한 관할권이 결과를 지배하는 것을 방지합니다. 문서를 관할권별로 그룹화한 후, 결과 집합 ($k$) 이 채워질 때까지 각 관할권의 최상위 점수 청크를 반복적으로 선택합니다.

3. 주요 기여

1. 유형별 청킹: 공식 법률의 위계적 법적 구조를 보존하면서 비구조적 정책 문서를 효과적으로 처리하여 법적 조문의 파편화를 방지하는 새로운 접근법.
2. 조건부 검색 라우팅: 질의 의도에 따라 직접 메타데이터 조회, 개체 필터링 검색, 다관할권 검색 중 동적으로 선택하는 파이프라인 (EU 회원국에 대한 자동 폴백 포함).
3. 문맥 인식 재랭킹: 특정 질의에는 1 차 법률을 우선시하고 비교 질의에는 균형 잡힌 관할권 표현을 강제하여 표준 의미론적 검색의 '깊이 우선, 폭 부재' 편향을 완화하는 맞춤형 전략.

4. 결과 및 평가

시스템은 RAGAs 프레임워크를 사용하여 50 개의 테스트 질의로 평가되었으며, **신뢰성 (Faithfulness, 소스에 대한 근거)**과 **답변 관련성 (Answer Relevancy, 사용자 유용성)**을 측정했습니다.

• 전체 성능:

  • 평균 신뢰성:0.87
  • 평균 답변 관련성:0.84

• 단일 개체 질의 (n=25):

  • 신뢰성:0.86
  • 관련성:0.92
  • 관찰: 관할권이 올바르게 식별되고 커버될 때 시스템이 검색된 소스에 기반하여 답변을 효과적으로 생성함을 나타냅니다.

• 다관할권 질의 (n=25):

  • 신뢰성:0.88
  • 관련성:0.75
  • 관찰: 시스템은 검색된 텍스트에 대한 신뢰성은 유지하지만 관련성은 떨어집니다. 이는 검색 격차 때문입니다. 코퍼스의 희소성이나 의미론적 유사성 문제로 인해 요청된 모든 관할권의 문서를 동시에 찾을 수 없으면 비교를 완전히 수행할 수 없어, 높은 신뢰성에도 불구하고 관련성 점수가 낮아집니다.

• 사례 연구:

  • 성공: 일본의 "소프트 법 (soft law)" 접근 방식과 GDPR 의 "삭제권"을 성공적으로 검색 및 요약했습니다.
  • 실패 모드: 이집트와 인도의 비교에서 시스템은 이집트 전략에 대한 상세한 정보를 검색했지만 인도에 대한 언급은 간략했습니다. 시스템은 한계를 솔직하게 보고했습니다 (높은 신뢰성) 하지만 완전한 비교를 제공할 수는 없었습니다 (낮은 관련성).

5. 의의 및 향후 작업

• 의의: 이 연구는 복잡하고 이질적인 규제 코퍼스를 탐색하기 위해 도메인 특화 검색 전략이 필수적임을 입증했습니다. 이는 정적 저장소와 상호작용형 법률 분석 도구 간의 간극을 메워줍니다.
• 한계:
  • 코퍼스 희소성: 지역별 (예: 아프리카와 남미는 대표성이 부족함) 공식 규제 문서의 불균등한 가용성으로 인해 성능이 제한됩니다.
  • 의미론적 유사성 편향: 표준 의미론적 검색은 많은 관할권에서 하나의 청크 (폭) 보다 한 관할권의 여러 청크 (깊이) 를 선호하여 비교 분석을 방해합니다.
  • 평가 지표: 소스 텍스트와 단어별로 일치하지 않는 정확한 법적 종합을 자동 지표가 불이익하게 평가할 수 있습니다.
• 향후 방향:
  • 균형을 맞춘 검색을 위해 다관할권 질문을 하위 질의로 분해하는 질의 분해 구현.
  • 다양한 법적 명명 관례에 대한 개체 감지의 공식적 평가.
  • 비교 분석을 위해 특별히 설계된 검색 전략 개발.
  • 자동화된 지표를 넘어 실세계 유용성을 검증하기 위해 법률 전문가를 대상으로 한 사용자 연구 수행.

결론적으로, 제안된 시스템은 법적 텍스트의 구조적 복잡성을 성공적으로 처리하면서도 관할권 간 정보 검색의 고유한 과제를 강조하여 글로벌 AI 규제 탐색을 위한 견고한 기술적 기반을 제공합니다.