기술 요약: eGovernment를 위한 설명 가능하고 정확한 대화형 에이전트를 위한 하이브리드 AI

문제 정의

eGovernment 및 법률 사례 관리와 같은 고위험 공공 부문에서 대규모 언어 모델(LLM)을 배포하는 것은 신뢰성, 정확성 및 설명 가능성과 관련된 결정적인 장벽에 직면해 있다. 검색 증강 생성(RAG) 아키텍처는 LLM의 사실적 근거를 개선해 왔으나, 여전히 확률적 시스템으로서 '환각(hallucination)' 현상과 그럴듯하지만 사실적으로 틀린 법적 추론을 생성하는 문제에 취약하다. 엄격한 법령 및 절차적 기한을 준착해야 하는 법률 맥락에서, 확률적 근사치는 불충분하다. 더욱이 신경망의 "블랙박스" 특성은 설명 가능성의 간극을 만들어낸다. LLM은 추론의 검증 가능한 흔적을 제공할 수 없으며, 이는 결정이 올바른 법적 조항으로부터 도출된 것인지 아니면 단순히 학습 데이터로부터 합성된 것인지를 감사하는 것을 불가능하게 만든다. 이러한 책임성의 결여는 검증되지 않은 챗봇 출력물에 대해 책임을 질 수 없는 정부 기관과 사례 담당자들에게 상당한 위험을 초래한다.

반대로, 순수 기호적 AI 접근 방식(예: 논리 프로그래밍)은 일관성과 감사 가능성을 제공하지만, 역사적으로 "지식 습득 병목 현상"으로 어려움을 겪어 왔다. 이들은 자연어 법령을 정식 코드로 변환하는 데 막대한 수동 노력이 필요하기 때문에 확장성에 어려움을 겪으며, 종종 모호한 사용자 입력을 처리하지 못하거나 행정 프로세스의 동적, 시간적 특성을 다루지 못하는 취약한 시스템을 초래한다.

방법론: 대화형 하이브리드 AI (CHAI)

저자들은 LLM의 유연성과 기호적 AI의 엄격함 사이의 간극을 메우는 대화형 하이브리드 AI (CHational Hybrid AI, CHAI) 아키텍처를 제안한다. 핵심 원칙은 역할 분담이다. LLM은 경계가 있는 대화형 인터페이스(비정형 자연어 해석) 역할을 수행하고, 규칙 기반의 기호적 컨트롤러는 논리 모델을 실행한다.

1. 기호적 핵심: DCR 그래프

시스템은 동적 조건 응답(Dynamic Condition Response, DCR) 그래프를 기호적 모델링 언어로 활용한다. DCR 그래프는 의무/금지(deontic), 가변적(defeasible) 및 시간적 논리 속성을 표현하도록 설계된 선언적 프로세스 모델링 언어이다.

• 구조: 노드는 활동/이벤트를 나타내며, 엣지는 논리적 제약 조건(조건, 응답, 제외 및 마일스톤)을 나타낸다.
• 상태 관리: DCR 그래프는 프로세스의 상태(실행됨, 대기 중, 제외됨, 기한 등)를 추적하는 "마킹(marking)"을 유지한다. 이를 통해 시스템은 행동의 순서와 시간에 따라 규칙이 변하는 동적인 행정 프로세스(예: "단계 A는 단계 B보다 먼저 발생해야 하지만, 기한 C가 지나지 않은 경우에만 해당됨")를 모델링할 수 있다.
• 실행: DCR 실행 엔진(RESTful API를 통해 접근 가능)은 대화의 권위 있는 상태를 관리하며, 현재 마킹을 바탕으로 어떤 활동이 활성화, 대기 또는 제외될지를 결정한다.

2. 뉴로-심볼릭 통합 (Neuro-Symbolic Integration)

CHAI 아키텍처는 DCR 실행 엔진을 LLM 기반의 자연어 처리(NLP) 해석기와 미들웨어 레이어를 통해 연결한다.

• 상호작용 흐름:
  1. 기호적 엔진은 현재 프로세스 상태를 기반으로 다음에 활성화될 이벤트(질문)를 식тера identifies 한다.
  2. 사용자는 자유 형식의 자연어로 응답한다.
  3. NLP 해석기(LLM)는 현재 이벤트와 법적으로 허용 가능한 값의 집합("제한된 가설 공간")의 맥락 내에서 발화를 분석한다.
  4. 해석기는 자유 텍스트를 구조화된 이벤트-값 쌍으로 매핑한다.
  5. 인간 참여형(Human-in-the-Loop): 시스템은 추론된 값을 기호적 엔진에 확정하기 전에 사용자에게 명시적 확인을 위해 제시한다. 사용자는 이전 답변을 수정할 수 있으며, 이는 오류의 연쇄 작용을 방지하기 위해 추론된 값을 초기화한다.
• 안전 메커즘: 기호적 엔진은 타입 수준의 검증과 제약 의미론을 강제한다. 이는 어떤 상태 전이도 인코딩된 법적 규칙을 위반하지 않도록 보장하며, 초기 사용자 의도 해석이 완벽하지 않더라도(사용자가 이를 수정하는 경우를 전제로) 최종 결론이 DCR 그래프와 논리적으로 일치함을 보장한다.

3. 구현 및 프로토타입

저자들은 프로토타입을 구현하고 두 가지 뚜렷한 가이드라인을 사용하여 검증하였다.

• 코로나19 밀접 접촉자: 감염된 사람과 접촉한 후 시민들이 취해야 할 행동을 안내하는 결정 트리. DCR 그래프는 신체적 접촉 및 거주 환경에 관한 복잡한 분기 로직을 포함한 11페이지 분량의 가이드라인을 인코딩했다.
• 장애 학생 지원금: 보조 학습 지원금을 위한 21페이지 분량의 공식 가이드라인. 프로토타입은 의료 정보 교환, 기한 설정, 무응답에 따른 결과(예: 신청 거절)를 포함하는 하위 프로세스를 모델링했다.

시스템은 그래프 관리 및 실행을 위해 DCR Active Repository API를 사용하며, 해석을 위해 NLP 엔드포인트를 사용한다. 아키텍처는 특정 NLP 모델에 구애받지 않지만, 프로토타입은 DCR Active Repository의 통합 기능을 활용한다.

주요 기여

1. CHAI 아키텍처: LLM을 엄격하게 기호적 컨트롤러의 경계 있는 인터페이스로 취급하여, 최종 결정이 확률적 생성이 아니라 기호적 엔진에 의해 도출된 유효한 논리적 증명의 자연어 기술이 되도록 하는 eGovernment를 위한 새로운 아키텍처 패턴을 제시한다.
2. 법률 프로세스를 위한 DCR 그래프: DCR 그래프를 동적인 행정 프로세스(시간적 제약 및 가변적 규칙 포함)를 인코딩하기 위한 적절한 계산 법률 언어로 입증하였다. 이는 정적 논리나 명령형 플로우차트로 모델링하기 어려운 부분이다.
3. 비정형 세계와 구조화된 세계의 가교: 자유 텍amp 입력이 사용자 확인 과정을 거쳐 어떻게 안전하게 구조화된 법적 이벤트로 매핑될 수 있는지 보여주는 실질적인 구현을 통해, 환각의 위험을 완화하면서도 대화의 유창성을 유지하는 방법을 보여준다.
4. 개방형 API 및 툴링: 법적 프로세스의 프로그래밍적 실행과 외부 규칙 엔진의 통합을 가능하게 하는 DCR Active Repository API의 활용 및 설명을 제공한다.

결과 및 평가

본 논문은 대규모 경험적 연구보다는 **개념 증명(proof-of-concept)**을 제시한다.

• 기능적 프로토타입: 저자들은 코로나19 가이드라인과 학생 지원금 신청의 하위 프로세스를 안내하는 작동하는 챗봇을 성공적으로 시연하였다.
• 정확성: 시스템은 프로세스 흐름이 DCR 그래프 규칙을 엄격히 준수하도록 보장한다. 기호적 엔진은 유효하지 않은 단계를 실행하거나 의무를 건너뛰는 것을 방지한다.
• 설명 가능성: 시스템은 프로세스 상태(marking)와 거쳐온 논리적 경로를 명확한 추적(trace)으로 제공하여, 순수 LLM의 "블랙박스" 문제를 해결한다.
• 평가 전략: 저자들은 실제 사용자 상호작용에 대한 테스트가 현재 개인정보 보호 및 법적 제약으로 인해 제한적임을 인정하며, 다음과 같은 향-후 평가 전략을 제안한다:
  • 합성 벤치마크: 현실적인 행정 시나리오를 시뮬레이션하기 위해 도메인 전문가(사례 담당자)가 검토한 큐레이션된 합성 케이스 활용.
  • 인간 평가: 법적 정확성, 사용자 입력에 대한 충실도, 상호작용 명확성 평가.
  • 자동화된 평가: 테스트 규모를 키우기 위해 전문가 주석에 맞춰 조정된 "LLM-as-a-judge" 프로토콜 개발.

의의 및 주장

본 논문은 CHAI 아키텍처가 투명하고 정확하며 설명 가능한 eGovernment용 대화형 에이전트를 위한 실행 가능한 경로를 제공한다고 주장한다. 자연어 해석과 법적 논리 실행을 분리함으로써, 시스템은 엔드 투 엔드 LLM(신뢰성 부족)과 순수 기호적 시스템(경직성 및 자연어 인터페이스 부재)의 근본적인 한계를 해결한다.

저자들은 이 접근 방식이 책임성이 중요한 고위험 시나리오에서 특히 중요하다고 강조한다. 이는 정부 기관이 사례 담당자가 AI의 출력을 맹목적으로 신뢰할 필요 없이, 검증 가능한 논리적 추적을 제공하는 대화형 인터페이스를 배포할 수 있게 한다. 이 연구는 현재의 전자 양식을 초기 시민 문의부터 결정 집행에 이르기까지 전체 법률 사례 관리 라이프사이클을 지원하는 대화형 에이전트로 대체하거나 보완하는 것을 목표로 하는 XHAILe 프로젝트의 일환이다.

논문은 프로토타입이 타당성을 입증했으나, 복잡한 법률에 대한 DCR 그래프 모델링의 확장성 문제를 해결하고, 법률 텍스트를 DCR 그래프로 자동 변환하는 기능(현재는 인간 참여형 필요)을 개선하며, 시스템이 과도한 의존을 통해 사례 담당자의 숙련도를 저하시키지 않는지 보장하기 위해 실제 벤치마크를 통한 엄격한 평가가 추가로 필요함을 언급하며 겸허하게 결론을 맺는다.