기술 요약: Euclid-MCP

문제 정의

대규모 언어 모델(LLM)은 자연어 이해에는 뛰어나지만, 특히 안전이 중요하거나 규정 준수가 민감한 영역에서 다단계 논리 추론을 수행할 때 상당한 한계를 보입니다. 순수 신경망 접근 방식은 비결정론적인 출력, 환각(hallucination)에 대한 취약성, 그리고 충실한 추론 증명을 제공할 수 없는 능력을 갖추고 있습니다.

본 논문은 의미적 유사성에 의존하는 검색 증강 생성(RAG)이 규칙 중심의 작업에는 근본적으로 부적합하다고 주장합니다. 비즈니스 규칙 집행이나 보안 정책 검증과 같은 도메인에서 결정은 근사적인 텍텍스트 유사성이 아니라 명시적인 정책으로부터 논리적으로 도출되어야 합니다. 시맨틱 검색은 "유사한" 규칙을 검색할 수는 있지만, 논리적 충분성, 일관성 또는 파생된 결론에 대한 형식적 증명을 보장할 수는 없습니다. 뉴로-심볼릭(neuro-symbolic) 접근 방식이 존재하기는 하지만, 많은 방식이 맞춤형 통합을 요구하며 도구 증강 에이전트를 위한 표준화된 인터페이스가 부족합니다.

방법론

저자는 SWI-Prolog를 통해 결정론적 논리 추론을 제공하는 오픈 소스 모델 컨텍스트 프로토콜(MCP) 서버인 Euclid-MCP를 제안합니다. 이 시스템은 가벼운 LLM이 자연어 해석 및 문제 설명을 담당하고, 결정론적인 Prolog 엔진이 실제 연산을 수행하는 하이브리드 인지 아키텍처를 채택합니다.

핵심 구성 요소

1. Euclid-IR (중간 표현식):

   • LLM이 생성하기 쉽고 인간이 읽기 쉬운도록 설계된 Horn 절 논리 기반의 엔진 불가지론적(engine-agnostic) 선언적 언어입니다.
   • 구조: 사실(ground atoms), 규칙(IF, AND, NOT을 포함한 함의), 쿼리(? 접두사 사용), 산술 비교 및 와일드카드를 지원합니다.
   • 제약 사항: 결정론, 미니멀리즘, 다양한 백엔드로의 용이한 번역을 보장하기 위해 의도적으로 Horn 절 논리로 제한되었습니다(disjunction, cut, 복잡한 리스트 구문 제외).
   • 번역: 자동화된 레이어가 Euclid-IR을 실행 가능한 SWI-Prolog 코드로 컴파일하며, 변수(예: $x를 X로)와 연산자(예: IF를 :-로)를 매핑합니다.

2. MCP 통합 및 도구 인터페이스:

   • 서버는 LLM 클라이언트에 네 가지 상태 비저장(stateless) 도구를 노출하여 번역-실행-검사-수정(translate-run-inspect-repair) 루프를 촉진합니다:
     • reason: 연산을 실행하여 솔루션과 증명 트리(proof trees)를 반환합니다.
     • diagnose: 쿼리의 성공 또는 실패를 분석합니다 (모드: why, why_not, what_needs)하여 유도 체인을 설명합니다.
     • what_if: 지식 베이스에 수정 사항(사실 추가/삭제)을 적용하고 결과를 비교함으로써 시나리오 분석을 수행합니다.
     • check_kb: 실행 전 구문, 정의되지 않은 술어, 순환 규칙을 검증합니다.
   • 안전성: 번역 레이어는 허용된 술어를 제한하고, 입력 크기를 제한(500 KB)하며, 실행 타임아웃(30초)을 강제하는 새니타이제이션(sanitization)을 포함하여 임의의 시스템 명령 실행을 방지합니다.

3. 구현:

   • FastMCP를 사용하여 Python으로 구현되었으며, 외부 서브프로세스로 SWI-Prolog를 호출합니다.
   • 로컬 클라이언트를 위한 stdio 전송과 원격 자동화 플랫폼을 위한 HTTP API를 모두 지원합니다.
   • 백엔드 불가지론적으로 설계되었습니다. 현재는 Prolog를 대상으로 하지만, API 변경 없이 Datalog, Sment 솔버 또는 다른 엔진으로 낮출 수 있는 아키텍처를 갖추고 있습니다.

주요 기여

• Euclid-IR: 자연어와 형식 논리 사이의 간극을 메우기 위해 비즈니스 규칙 및 보안 정책을 표현하도록 설계된 고수준 선언적 언어입니다.
• 표준화된 추론 인터페이스: 형식적 추론 엔진을 맞춤형 통합을 넘어 첫 번째 클래스의 재사용 가능한 구성 요소로 노출하는 MCP 서버입니다.
• 하이브리드 아키텍처: LLM이 문제 프레이밍과 결과 해석을 유지하면서 추론을 결정론적 엔진에 위임함으로써, 논리적 정확성과 감사 가능성을 보장하는 시스템입니다.
• 진단 기능: 순수 신경망 추론의 "블랙박스" 특성을 해결하기 위해 구조화된 설명(증명 트리)과 반사실적 분석(what_if)을 제공하는 도구를 제공합니다.

평가 및 결과

시스템은 다층 정책(CIS 벤치마크, 내부 역할 계층, 데이터 분류)을 포함하는 현실적인 IT 보안 및 컴플라이언스 유스케이스와 두 가지 지식 베이스 크기(소규모 ~578개 사실, 대규모 ~3,872개 사실)를 통해 평가되었습니다.

벤치마크

연구는 세 가지 조건을 비교했습니다:

• A: 소규모 로컬 LLM (llama3.1:8b).
• B: 대규모 클라우드 LLM (qwen3-coder:480b).
• C: 소규모 LLM + Euclid-MCP.

결과:

• 소규모 규모 (5–50개 사실): 세 조건 모두 동일한 정확도(5/5)를 달성했습니다. Euclid-MCP는 IR 인코딩으로 인해 약간 더 높은 토큰 사용량을 기록했으나, 유사한 지연 시간을 유지했습니다.
• 대규모 규모 (1,000개 이상의 사실): LLM 단독 모델(8B 및 480B 모델 모두)은 체계적인 환각을 일으켰으며, 카운팅, 교집합 및 다단계 상속 쿼리(예: 8B 모델 정확도 2/5, 480B 모델 정확도 2/5)에서 실패했습니다.
• Euclid-MCP 성능: 대규모 작업에서 100%의 정확도를 전달했습니다. 또한 LLM이 복잡한 추론을 시도하는 대신 단순한 쿼리만 생성하므로 더 빠르고(963 ms vs ~7,000 ms) 토큰 효율적이었습니다.

시맨틱 RAG와의 비교

본 논문은 시맨틱 RAG와 Euclid-MCP를 대조하며, RAG가 관련 스니펫을 검색할 수는 있지만 규칙을 강제하거나 증명을 제공할 수는 없다고 지적합니다. Euclid-MCP는 결정론적 추론, 증명 트리를 통한 높은 감사 가능성, 그리고 반사실적 분석 지원을 제공하여 RAG가 불충분한 정책 집행에 적합합니다.

의의 및 주장

본 논문은 Euclid-MCP가 RAG 기반 어시스턴트와 에이전트 시스템 모두를 위한 **안정적이고 공유된 추론 기질(substrate)**을 제공함으로써 뉴로-심볼릭 AI의 중요한 격차를 해소한다고 주장합니다.

• 의미론보다 결정론: 핵심 논지는 시맨틱 RAG가 규칙 집행을 위한 잘못된 도구라는 것입니다. Euclid-MCP는 규칙 지식을 정형화되고 감사 가능한 표현(Euclid-IR)으로 외재화하여 결정이 특정 사실과 규칙에 추적 가능함을 보장함으로써 이 간극을 메웁니다.
• 확장성: 시스템은 지식 베이스가 LLM의 컨텍스트 윈도우 제한을 초 exceed하거나 정확한 논리적 연산이 필요할 때 그 가치를 입증합니다.
• 에이전트 안정성: 정책 로직을 외재화함으로써, Euclid-MCP는 서로 다른 에이전트 간에 일관되지 않고 임시적인 정책 구현이 축적되는 것을 방지하여 모든 쿼리가 단일하고 안정적인 진실의 원천(source of truth)을 기준으로 평가되도록 보장합니다.

저자는 LLM이 작은 데이터셋에 대한 얕은 추론에는 충분할 수 있지만, 복잡하고 대규모인 논리적 작업에는 결정론적 추론이 필수적이라고 결론짓습니다. Euclid-MCP는 유창하고 유연할 뿐만 아니라 정밀하고, 감사 가능하며, 신뢰할 수 있는 새로운 클래스의 애플리케이션을 가능하게 합니다.