기술 요약: 규제 대상 프로세스 자동화를 위한 뉴로-심볼릭 에이전트 (Neuro-Symbolic Agents)

1. 문제 정의

본 논문은 제약 제조 및 의료 기기 생산과 같이 고도로 규제된 산업 분야에서 대규모 언어 모델(LLM) 에이전트를 배포하는 문제를 다룹다. 이러한 도메인에서의 품질 관리(QM) 프로세스(예: 일탈 관리, 근본 원인 분석)는 밀집된 규제 프레임워크(EU-GMP, ISO 13485, EU AI Act)에 의해 통제되며 전자 품질 관리 시스템(eQMS)을 통해 실행된다.

현재의 배포 전략은 LLM 에이전트가 출력을 생성하면 이후에 "가드레일"(스키마 검증기, 거버넌스 모니터)이나 인간 참여(Human-in-the-Loop, HITL) 게이트를 통해 확인하는 사후 모니터링(post-hoc monitoring) 방식에 의존한다. 저자들은 이러한 접근 방식이 고위험 규제 프로세스에는 구조적으로 불충분하다고 주장하는데, 그 이유는 다음과 같다:

1. 의미론적 오류 vs 구조적 오류 (Semantic vs. Structural Failure): 가드레일은 의미론적 오류는 감지할 수 있지만, 제어 흐름 위반(예: 잘못된 순서, 승인 누락, 필수 단계 건너뛰기)을 구조적으로 방지할 수는 없다.
2. 규제적 결과 (Regulatory Consequence): 규제 환경에서 "감지되었으나 이미 발생한" 위반은 그 자체로 규제 지적 사항이 된다. 따라서 아키텍처는 발생 가능한 실패의 표면적(surface area)을 발생 전 단계에서 줄여야 한다.
3. 역량의 불일치 (Misalignment of Capabilities): 전통적인 비즈니스 프로세스 관리(BPM)는 결정론적 실행자 또는 신뢰할 수 있는 인간의 판단을 가정한다. 반면 LLM은 확률적이고 불투명하며, 구문론적으로는 유효하지만 의미론적으로는 틀린 출력을 생성할 수 있어 표준 프로세스 엔진이 이를 검증하기 어렵게 만든다.

핵심 문제는 심볼릭 규제 구조가 단순히 외부 모니터가 아니라, 에이전트의 추론과 행동 공간을 공동으로 구성하는 주요 아키텍처 구성 요소가 되는 아키텍처 패러다임의 부재이다.

2. 방법론 및 제안된 프레임워크

본 논문은 "구조에 의한 준수(Compliance-by-Construction)" 패러다임을 중심으로 한 **뉴로-심볼릭 아키텍처(Neuro-Symbolic Architecture)**를 제안한다. 이 접근 방식은 기존의 심볼릭 구조(규제, 타입화된 프로세스 모델, 준수 제약 조건)를 에이전트의 구조적 토대로 취급하는 한편, LLM은 맥락적 추론을 위한 뉴럴 실행자(neural executor) 역할을 수행하게 한다.

방법론은 두 계층의 챌린지 아키텍처(논문의 그림 1)로 구성된다:

A. 기초 계층 (Foundational Tier - 구조적 기반)

1. 규제 지식의 운용화 (Regulatory Knowledge Operationalization):
   • 목표: 자연어 규제(예: EU-GMP Annex 15)를 형식적이고 실행 가능한 제약 조건(시간적 속성, 상태 불변성, 전이 가드)으로 변환한다.
   • 메커니즘: LLM이 규제 텍스트로부터 후보 형식화를 생성하고, 심볼릭 방법론이 이들의 일관성과 규제 의도에 대한 충실도를 검증하는 하이브리드 파이프라인을 사용한다. 이는 단순한 추출을 넘어, 프로세스 엔진 내에서 동시에 검증 가능하고 실행 가능한 제약 조건을 생성하는 단계로 나아가는 것이다.
2. 심볼릭 프로세스 구조에 에이전트 접지 (Grounding Agents in Symbolic Process Structure):
   • 목표: 프롬프트 지시어가 아닌 프로세스 모델을 사용하여 에이전트의 행동 공간을 제한한다.
   • 메커니즘: 심볼릭 프로세스 상태와 뉴럴 실행자 사이에 **중재 계층(mediation layer)**을 배치한다.
     • 심볼릭 계층은 다음에 활성화될 활동(예: SEVERITY CLASSIFY)을 결정한다.
     • 중재 계층은 관련 맥락(SOP, 과거 데이터)과 엄격한 출력 스키마를 포함한 프롬프트를 구성한다.
     • LLM이 출력을 생성하면, 중재 계층은 이를 타입 스키마 및 불변성(예: "CRITICAL" 발생 시 필수 통보 트리거)과 대조하여 검증한다.
     • 출력이 심볼릭 계약을 충족하는 경우에만 프로세스 상태가 진행되며, 그렇지 않으면 재프롬프트(re-prompting) 또는 HITL 에스컬레이션을 트리거한다.

B. 역량 계층 (Capability Tier - 기능적 확장)

3. 불확실성을 인지하는 자율성 경계 (Uncertainty-Aware Autonomy Boundaries):
   • 목표: 에이전트의 확신도에 따라 인간의 감독 수준을 동적으로 조정한다.
   • 메커니즘: 정량화된 뉴럴 불확실성(Conformal Prediction 또는 앙상블 불일치를 통해)을 심볼릭 리스크 분류 로직과 통합한다. 특정 작업(예: 새로운 유형의 일탈)에 대해 LLM의 불확실성이 임계값을 초과하면, 심볼릭 계층은 기본 리스크 티어와 관계없이 해당 작업을 인간에게 자동으로 에스컬레이션한다.
4. 심볼릭 프로세스 메모리 학습 및 유지 (Learning and Maintaining Symbolic Process Memory):
   • 목표: 비정형 과거 데이터(조사 보고서, 이메일 등)를 구조화되고 쿼리가 가능한 지식 베이스로 변환한다.
   • 메커니즘: 이중 메모리 아키텍처를 사용한다:
     • 단기 메모리 (STM): 현재 가설을 위한 스크래치패드.
     • 장기 메모리 (LTM): 타입화된 엔티티(일탈, 배치, 공급업체)와 관계를 가진 케이스 그래프(Case Graph, 지식 그래프).
     • 뉴로-심볼릭 루프: 뉴럴 추출(NER, 관계 추출)이 그래프를 채우고, 심볼릭 온톨로지가 일관성, 출처 추적 및 시간적 유효성을 보장한다. 에이전트는 이 그래프를 쿼리하여 선례를 찾아내며, 이를 통해 공동 학습 역동성을 형성한다.
5. 뉴로-심볼릭 경계를 가로지르는 설명 가능성 (Explainability Across the Neuro-Symbolic Boundary):
   • 목표: 두 계층을 아우르는 감사 가능한 설명을 제공한다.
   • 메커니즘: 다음 요소들로 구성된 계층적 설명 프레임워크를 사용한다:
     • 심볼릭 프로세스 트레이스 (구조적 보장).
     • 뉴럴 증거 귀속 (LLM 추론 과정).
     • 계약 검증 기록.
     • 구조적으로 보장된 사실과 최선의 노력(best-effort)에 의한 뉴럴 귀속을 구분하는 명시적 충실도 주석.

3. 주요 기여

• 구조에 의한 준수 패러다임: 본 논문은 가드레일 기반 모니터링에 대한 보완적 패러다임을 정의한다. 가드레일이 의미론적 오류를 잡아낸다면, "구조에 의한 준수"는 에이전트의 행동 공간을 형식적 프로세스 모델에 결합함으로써 제어 흐름 위반을 구조적으로 방지한다.
• 구조화된 연구 과제 제시: 저자들은 이 아키텍처를 실현하기 위해 공동으로 해결해야 할 다섯 가지 구체적인 뉴로-심볼릭 연구 과제(기초 2개, 역량 3개)를 식별하였다.
• 도메인 특화 통합: 저자들은 규제 대상 프로세스 자동화가 심볼릭 구조가 이미 조직적 산물로서 존재하기 때문에, 연구 과제가 심볼릭 구조를 발견하는 것에서 이를 뉴럴 역량과 통합하는 것으로 전환되는 독특한 테스트베드라고 주장한다.
• 법적 정렬: 제안된 아키텍처는 고위험 AI 시스템에 대해 리스크 관리, 기술적으로 내재된 인간 감독, 문서화된 품질 관리를 요구하는 EU AI Act(특히 제9조, 13조, 14조, 17조)의 요구사항에 명시적으로 부합한다.

4. 결과 및 주장

본 논문은 포지션 페이퍼이자 연구 아젠다로서, 실험적 결과나 구축된 시스템을 제시하지 않는다. 대신, 저자들의 "결과"는 이론적이고 구조적이다:

• 실행 가능성 논거: 필요한 구성 요소들(뉴로-심볼릭 플래닝, LLM을 위한 Conformal Prediction, 프로세스 마이닝, 규제 NLP)은 개별적으로 성숙해 있으나 현재 파편화되어 있다는 점을 논증한다.
• 격차 식별: 장기 실행되고 다수 당사자가 참여하며 규범적 제약을 받는 프로세스를 처리하기 위해 이러한 구성 요소들을 연결하는 통합 프로그램이 부족하다는 점을 식별한다.
• 상호 보완성: 계층적 접근 방식(구조적 토대 + 가드레일)이 서로 다른 실패 모드(결정론적 제어 흐름 vs 확률적 의미론적 오류)를 다룸으로써 "심층 방어(defense in depth)"를 제공함을 입증한다.

5. 의의 및 동기

본 논문은 세 가지 측면에서 의의를 주장한다:

1. 아키텍처적 필연성: 규제 대상 프로세스 자동화는 실패의 대가(환자 안전, 규제 벌금)가 크기 때문에 뉴로-심볼릭 통합의 복잡성을 정당화할 만큼 구조적으로 요구된다.
2. 법적 시급성: EU AI Act의 고위험 의무가 2026년 8월 2일에 효력을 발휘함에 따라, 형식적 보장을 갖춘 뉴로-심볼릭 아키텍처는 제약 및 의료 기기 제조 분야에서 법적 필수 사항이 되고 있다.
3. 커뮤니티 참여: 저자들은 뉴로-심볼릭 커뮤니티가 학습과 추론의 통합이 단순히 유익한 수준을 넘어 필수적인 고영향력 도메인으로서 규제 대상 프로세스 자동화에 참여할 것을 촉구한다.

저자가 인정한 한계점:

• 이 접근 방식은 사전에 존재하는 권위 있는 형식적 프로세스 모델을 가정한다(모든 맥락에 존재하지 않을 수 있음).
• 추가된 복잡성이 저위험 프로세스에는 정당화되지 않을 수 있다.
• "표현력-검증 가능성 트레이드오프(expressiveness-verifiability tradeoff)"는 여전히 미해결 과제이다. 즉, 매우 유용한 의미론적 사후 조건(예: "CAPA가 근본 원인을 해결함")은 형식적 검증이 어려우며 정교하게 보정된 인간의 에스컬레이션에 의존한다.
• 본 논문은 연구 아젠다이며, "구조에 의한 준수" 시스템 전체의 실제 구현 가능성은 향후 연구를 통해 증명되어야 한다.