Neuro-Symbolic Verification of LLM Outputs for Data-Sensitive Domains (extended preprint)

기술 요약: 데이터 민감 분야를 위한 LLM 출력의 신경-상징적 검증

문제 제기
대규모 언어 모델(LLM) 은 의료 진단, 법률 검토, 규제 업무와 같은 고위험 데이터 민감 분야에 배포될 때 근본적인 신뢰성 문제를 직면합니다. 이러한 문제에는 할루시네이션 (신뢰할 수 있지만 거짓인 정보 생성), 불일치, 그리고 개인정보 유출 취약점이 포함됩니다. 이러한 맥락에서 오류는 법적, 재정적 또는 안전상의 결과를 초래하므로, 최첨단 모델에서 관찰되는 3~10% 의 할루시네이션률은 용납할 수 없습니다. 또한, 엄격한 규제 및 제도적 제약은 종종 데이터 주권을 보장하기 위해 로컬 데이터 처리를 의무화하여 클라우드 기반 API 와 범용 LLM 의 활용도를 제한합니다. 검색 증강 생성 (RAG) 이나 사고의 사슬 (chain-of-thought) 프롬프팅과 같은 기존 접근 방식은 특수한 환경에 필요한 보장을 제공하지 못하며, 자기 검증 방법은 검증하려는 모델이 가진 분포 편향을 그대로 계승합니다.

방법론
본 논문은 상호 보완적인 보장을 제공하기 위해 형식적 상징적 방법과 신경 의미 분석을 결합한 하이브리드 검증 아키텍처를 제안합니다. 이 시스템은 로컬 우선 처리, 상징적 구성 요소와 신경 구성 요소의 모듈식 분리, 액터 기반 결함 격리, 그리고 타입 인식 주장 검증이라는 네 가지 핵심 원칙을 중심으로 설계되었습니다.

1. 상징적 입력 검증 (전처리):
   아키텍처는 LLM 추론이 발생하기 전에 입력 제약 조건을 검증하기 위해 표 (tableaux) 기반 논리를 사용합니다. 이 방법은 검증 요구 사항을 구성 가능한 선언적 조건의 계층 구조로 분해합니다. 핵심 조건은 원자적 술어 (예: 메타데이터 존재 여부) 를 평가하는 반면, 고차원 메타 조건은 집합론적 관계 (예: 누적 의무 또는 대안적 충분성 경로) 를 표현합니다. 이 접근 방식은 구조화된 요구 사항에 대해 결정 가능하고 건전하며 완전한 보장을 제공하여, 중대한 위반 사항에 대해서는 '강제 정지 (hard stop)'로 작용하거나 경미한 불일치에 대해서는 단계별 경고 시스템으로 기능합니다.

2. 액터 기반 동시성:
   견고성과 결함 격리를 보장하기 위해 시스템은 액터 모델 (Erlang VM 에서 Elixir 를 통해 구현됨) 을 활용합니다. 검증 파이프라인은 공유 가능한 가변 상태를 갖지 않고 여러 이질적인 분석 스트림 (상징적 규칙 검증, 개체 추출, 신경 임베딩 비교) 을 동시에 실행합니다. 감독자 액터는 워커 프로세스를 모니터링하여 신경 추론 시간 초과와 같은 실패한 구성 요소를 자동으로 재시작하며, 광범위한 상징적 검증 상태를 손상시키지 않습니다.

3. 하이브리드 출력 검증 (후처리):
   아키텍처는 LLM 생성 콘텐츠에 대한 타입 인식 검증 전략을 구현합니다.

   • 구조화된 개체: 날짜, 식별자, 수치 값과 같은 결정론적 데이터의 경우, 시스템은 정확한 검증을 제공하기 위해 상징적 패턴 매칭과 정규식 기반 비교를 사용합니다.
   • 자유 텍스트 주장: 의미론적 콘텐츠의 경우, 시스템은 형식적 방법이 표현력이 부족할 때 맥락적 할루시네이션을 감지하기 위해 임베딩 기반 의미 유사성 (다국어 문장 인코더 사용) 을 사용합니다.
   • 병렬 통합: 상징적 및 신경 처리 스트림은 병렬로 실행됩니다. 검색 시나리오에서 상징적 필터링은 신경 랭킹 전에 검색 공간 (예: 섹션 유형 또는 보고서 ID 에 따라) 을 축소하여 로컬 배포 모델의 노이즈 및 토큰 사용량을 줄입니다.

4. 개인정보 보호 설계:
   시스템은 모든 추론, 임베딩 및 검증이 로컬 하드웨어에서 발생하도록 '로컬 우선' 처리를 강제합니다. 민감한 데이터는 전용 감독 하위 트리 내에서 격리되며, 벡터 임베딩은 색인화된 컬렉션을 위한 손실 변환으로 작용하여 정보 이론적 보호를 보장합니다.

시스템 구현: HAIMEDA
이 아키텍처는 도메인 전문가와 함께 수행된 액션 디자인 연구 (ADR) 를 통해 개발된 HAIMEDA(의료 기기 평가용 하이브리드 AI) 에 구체화되었습니다. HAIMEDA 는 엄격한 기밀 유지 및 데이터 주권 제약 하에서 선서된 전문가 증인이 손상 평가 보고서를 작성해야 하는 독일의 법적 맥락을 위해 설계되었습니다. 이 시스템은 다음을 통합합니다:

• 보고서 작성 모듈 (RAM): 미세 조정된 Llama3-DiscoLeo-Instruct-8B 모델을 통한 생성을 처리합니다.
• 연구 및 조사 모듈 (RIM): 도메인 지식 검색을 위한 하이브리드 축소를 실행합니다.
• 정보 무결성 검증 모듈 (IIVM): 소스 자료에 대한 다단계 검증을 수행합니다.

결과
평가 현실적인 로컬 배포 제약을 반영하기 위해 소비자급 하드웨어 (AMD Ryzen 9, NVIDIA RTX 4090) 에서 수행되었습니다.

• 할루시네이션 감지: 시스템은 구조화된 개체에 대해 (상징적 검사를 통해) 83% 이상, 의미론적 조작에 대해 (신경 유사성을 통해) 72% 의 감지율을 달성했습니다. 전처리 논리는 누락된 필수 조건에 대해 100% 의 감지율을 달성했습니다.
• 워크플로우 효율성: 도메인 전문가와의 실용적 평가 결과, 전체 보고서 작성 시간이 30% 단축된 것으로 나타났습니다. 구체적으로 콘텐츠 작성 시간은 50% 감소했고 문서 기반 연구 시간은 33% 감소했으나, 최종 검토 시간은 검증 프로세스로 인해 증가했습니다.
• 시스템 사용성: 시스템은 시스템 사용성 척도 (SUS) 점수 62.5 를 받았습니다.

의의 및 주장
본 논문은 신경-상징적 아키텍처가 순수 신경 접근법의 한계를 해결함으로써 데이터 민감 분야에서의 LLM 배포를 위한 원칙적인 보호 장치를 제공할 수 있다고 주장합니다. 주요 기여는 단일 기본 모델의 능력에 의존하기보다 상징적 검증을 통해 형식적 보장을 근거로 하는 모델 중립적 아키텍처입니다. 검증 작업을 그 성격 (결정 가능한 제약 vs 의미론적 모호성) 에 따라 분리함으로써, 이 시스템은 데이터 주권을 훼손하지 않고 정보 무결성을 보장하기 위한 확장 가능한 솔루션을 제공합니다. 저자들은 이 접근 방식이 점진적 해결책을 넘어 하이브리드 AI 를 위한 일반화 가능한 아키텍처 패턴을 제공하며, 규제 산업에 필수적인 결함 격리 및 로컬 배포 가능한 품질 관리 파이프라인을 가능하게 한다고 강조합니다. 논문은 도메인별 규칙 커버리지에 대한 의존성과 교차 도메인 전이 및 제거 연구에 대한 향후 작업 필요성과 같은 한계를 인정합니다.