Retrieval-Augmented Large Language Models as Components of Cognitive Computing architecture for Regulatory Knowledge Management

기술 요약: 규제 지식 관리를 위한 인지 컴퓨팅 아키텍처의 구성 요소로서의 검색 증강 대규모 언어 모델(RAG-LLM)

문제 제로 (Problem Statement)
본 논문은 고도의 신뢰성이 요구되는 규제 및 법률 환경에서 독립형 대규모 언어 모델(LLM)을 배포할 때 발생하는 한계점을 다룬다. LLM은 고급 텍스트 처리 능력을 제공하지만, "환각"(근거 없는 내용 생성), 추적 가능성 결여, 재학습 없이 지식을 동적으로 업데이트할 수 없는 문제점을 안고 있다. 또한, 클라우드 기반 LLM 서비스에 의존하는 것은 데이터 주권, 개인정보 보호, 그리고 민감한 법률 또는 비즈니스 정보의 보안 측면에서 상당한 리스크를 초래한다. 저자는 혁신적인 RAG(검색 증강 생성) 연구와, 소비자급 하드웨어로 제한된 온프레미스 환경 내에서 인식론적으로 신뢰할 수 있는 인지 컴퓨팅 구성 요ton을 구축하려는 실제적 적용 사이의 간극을 식별하였다.

연구 방법론 (Methodology)
본 연구는 로컬에 배포된 LLM이 의미론적 처리 모듈로서 기능하고, 외부 RAG 레이어가 통제된 지식 검색을 보조하는 하이브리드 인지 아키텍처를 제안하고 검증한다.

• 하드웨어 및 환경: 구현에는 Apple M4 프로세서, 24GB 통합 메모리를 탑재한 소비자급 하드웨어(macOS 실행)가 사용되었다. 고성능 GPU 가속기는 사용되지 않았다.
• 모델: 두 가지 폴란드어 모델인 Bielik(1.5B 파라미터)과 PLLuM(12B 파라미터)을 테스트하였다.
• RAG 아키텍처:
  • 런타임: Ollama와 LM Studio가 실행 환경으로 사용되었다. LM Studio는 모델 컨텍스트 프로토콜(MCP)과 통합된 주요 인터페이스 역할을 수행하였다.
  • 검색 메커니즘: 본 연구는 두 가지 구별된 검색 전략을 채택하였다:
    1. 벡터 기반: 로컬 벡터 저장소로 ChromaDB를 사용하고, 의미론적 검색을 위해 BERT 기반 임베딩을 사용하였다.
    2. 도구 기반: 구조화된 서지 데이터베이스에 대한 체계적 접근을 위해 Zotero를 통합(MCP 경유)하였고, 웹 기반 법률 자원(예: Internetowy System Aktów Prawnych) 호출을 위해 Tavily를 통합(MCP 경유)하였다.
  • 오케스트레이션: 프롬프트 오케케스트레이션에는 LangChain이, 로컬 추론 서빙에는 vLLM이 사용되었다.
• 실험 설계: 연구는 폴란드 법률상 "부동산"의 정의 및 규제에 관한 네 가지 특정 연구 질문을 대상으로 두 차례의 테스트를 진행하였다:
  1. 1차 라운드: 독립형 LLM을 이용한 베이스라인 생성.
  2. 2차 라운드: RAG(검색, 확장 및 생성 단계)로 증강된 LLM을 이용한 생성.
• 평가: 생성된 텍스트는 Jasnopis.pl(가독성) 및 Logios.dev(구문 분석, Gunning FOG 지수, Plain Language 지수)를 사용하여 문법적 정확성, 가독성 및 문체적 특성을 분석하였다. 실질적 정확성은 법률 출처와 대조하여 수동으로 검증되었다.

주요 결과 (Key Results)

• 인식론적 신뢰성: RAG의 통합은 생성된 텍고의 사실적 일관성과 규범적 정밀도를 유의미하게 향상시켰다. RAG로 증강된 모델은 검색된 법령에 근거를 둠으로써 근거 없는 콘텐츠 생성의 위험을 성공적으로 감소시켰다.
• 언어적 특성:
  • 전문성: RAG 변체는 전문 용어 및 고난도 단어의 밀도가 더 높게 나타났다 (예: Bielik+RAG는 전문 용어 비율이 5.5%로, 베이스라인의 3.0%보다 높았다).
  • 복잡성: RAG 변체에서 Gunning FOG 지수가 상승하였다 (예: Bielik+RAG는 15.48에 도달). 저자들은 이것이 결함이 아니라 필요한 용어적 정밀성을 반영하는, 법률 텍스트에 있어 바람직한 특징이라고 주장한다.
  • 문체: PLLuM+RAG는 법규의 열거형 문체와 일치하는 더 긴 문장과 단락을 보여주었으며, Bielik+RAG는 보다 규범적이고 형용사가 풍부한 문체를 보였다.
• 실질적 오류: 개선에도 불구하고, 본 연구는 PLLuM+RAG 출력에서 결정적인 오류를 식별하였다. 구체적으로, 해당 모델은 부동산이 구성 부분이 될 경우 "동산"이 될 수 있다고 잘못 기술하였는데, 이는 동산과 부동산의 구분에 관한 기본 민법 원칙에 위배된다. 또한, 모델은 민법상의 부동산 정의와 행정 또는 세법에서 사용되는 기능적 정의를 구분하지 못하여 방법론적 혼란을 야기했다.
• 감사 가능성: RAG 아키텍처는 모델을 재학습시키지 않고도 사용자가 정보의 출처(특정 법령)를 확인할 수 있도록 추적 가능성을 성공적으로 도입하였다.

주요 기여 (Key Contributions)

1. 아키텍처 검증: 본 논문은 로컬에 배포된 LLM이 RAG와 결합될 때, 소비자급 하드웨어에서도 규제 관리를 위한 인지 컴퓨팅 인프라의 실행 가능한 구성 요소로 기능할 수 있음을 입증한다.
2. 하이브리드 인지 모델: LLM은 의미론적 해석 모듈로 작동하고, RAG 레이어는 지식 검색, 맥락화 및 출처 추적을 담당하는 '관심사의 분리'를 제안한다.
3. 온프레미스 실현 가능성: 본 연구는 클라우드 의존성이나 엔터프라이즈급 GPU 없이도 고품질의 규제 분석이 가능하다는 것을 입증하며, 이를 통해 데이터 주권을 보존하고 법률 저장소를 동적으로 업데이트할 수 있게 한다.
4. 법률 분야에서의 LLM에 대한 비판적 평가: 본 연구는 RAG가 사실적 근거를 개선하지만, 개념적 오류나 법령에 대한 정의적 권위의 오귀속 위험을 제거하지는 못한다는 점을 강조하며, 인간의 감독이 필요함을 역설한다.

의의 및 주장 (Significance and Claims)
본 논문은 LLM을 RAG로 증강하는 것이 이들을 "폐쇄형 상용 도구"에서 인지 컴퓨팅 인프라 내의 "의미론적 처리 모듈"로 변화시킨다고 주장한다. 이러한 변화는 법적 변동성이 높은 환경에서 운영되는 조직에 다음과 같은 이점을 제공한다:

• 동적 지식 관리: 모델을 재학습시키는 대신 문서 저장소를 수정함으로써 규제 정보를 즉각적으로 업데이트할 수 있는 능력.
• 강화된 통제: 데이터 처리에 대한 완전한 통제를 통해 데이터 주권 및 개인정보 보호 규정 준수를 보장함.
• 보완적 역할: 저자들은 LLM이 전문가의 지식이나 기호적 AI(인지 컴퓨팅)를 대체하는 것이 아니라, 이들과 상호 보완적인 관계여야 한다고 결론짓는다. LLM은 기억, 제어 및 검증 메커니즘을 포함하는 하이브리드 아키텍처 내에서 자연어 처리와 정보 합성을 위한 효과적인 인터페이스 역할을 수행한다.

본 연구는 RAG가 신뢰성을 높이기는 하지만, 모델이 여전히 진정한 인지적 이해가 부족하며 근본적인 법적 오류를 범할 수 있다는 점을 인정하며, 따라서 이들을 자율적 의사결정자가 아닌 의사결정 지원 도구로 사용해야 한다는 신중한 입장을 유지한다.