A Risk-Oriented Verification and Validation Framework for Hallucination Detection in Public-Sector LLM Systems

기술 요약: 공공 부문 LLM 시스템의 환각 탐지를 위한 리스크 중심 검증 및 확인(V&V) 프레임워크

문제 정의
본 논문은 공공 부문의 행정 및 법률 시스템에 배포된 대규모 언어 모델(LLM)에서 발생하는 '환각(hallucination)'(유창하지만 사실적 근거가 없는 내용을 생성하는 현상)이라는 중대한 과제를 다룬다. 소비자용 애플리케이션과 달리, 공공 부문의 출력물은 법적 효력을 갖는다. 잘못된 절차적 안내, 허위 법률 인용, 또는 잘못된 권한 지정은 법적 확실성, 행정적 책임성, 그리고 시민의 신뢰를 저해할 수 있다.

저자는 기존 문헌이 환각을 주로 기술적 정확도 문제로 취급하며, 모델 중심의 탐지 방법(예: 자기 일관성 샘플링, 의미론적 엔트로피)이나 검색 증강 생성(RAG)에 의존하고 있다고 주장한다. 이러한 접근 방식은 블랙박스 형태의 LLM API를 사용하는 환경에서는 충족되기 어려운 조건들, 즉 내부 모델 상태에 대한 접근, 재학습 능력, 또는 특정 추론 파라미터에 대한 접근을 가정하는 경우가 많기 때문에 공공 부문 배포에는 적합하지 않다. 또한, 현재의 방법들은 탐지의 거버넌스적 함의보다는 탐지 정확도 자체에 집중하고 있어, 탐지된 리스크 신호를 운영적 결정(예: 언제 인간 담당자에게 에스컬레이션할 것인가)으로 전환하는 데 실패하고 있다.

방법론
본 논문은 환각을 모델 최적화 문제가 아닌, 관리 가능한 운영 및 거버넌스 리스크로 재정의하는 리스크 지향 검증 및 확인(V&V) 프레임워크를 제안한다. 이 방법론은 모델 불가지론적(model-agnostic)이며, 오직 관찰 가능한 출력물, 외부의 권위 있는 출처, 그리고 규칙 기반 제약 조건에만 의존하므로 블랙박스 환경에서도 적용 가능하다.

프레임워크는 다음의 네 가지 상호 연결된 단계로 작동한다:

1. 슬롯 기반 행정적 분해 (Slot-Based Administrative Decomposition):
   LLM 응답을 절차적 요소에 대응하는 다섯 가지 행정적 의미를 가진 "슬롯(slot)"으로 분해한다:

   • 필수 서류
   • 관할 당국
   • 처리 기한
   • 수수료
   • 법적 근거
     이러한 분해는 세밀한 리스크 국소화를 가능하게 하며, 고영향 슬롯(예: 법적 근거)에서의 오류가 저영향 슬롯(예: 지원 서류)에서의 오류보다 더 중대한 결과를 초래한다는 점을 인식한다.

2. 슬롯 수준 리스크 신호 탐지 (Slot-Level Risk Signal Detection):
   각 슬롯에 대해 세 가지 정량적 지표를 계산한다:

   • 슬롯 불안정성 점수 (Slot Instability Score, SIS): 동일한 질의에 대해 여러 개의 독립적인 응답을 생성하여 교차 샘플 간의 불안정성을 측정한다. 높은 변동성은 인식론적 불확전성을 나타낸다.
   • 인용 커버리지 점수 (Citation Coverage Score, CCS): 슬롯의 내용이 유효하고 권위 있는 출처(예: 법령 텍스트)에 의해 명시적으로 뒷받침되는지 평가한다. 고위험 슬롯에서 점수가 0인 경우 이를 결정적인 지표로 간주한다.
   • 규칙 위반 점수 (Rule Violation Score, RVS): 사전 정의된 구조적 및 관할권적 제약 조건(예: 인용된 법률의 존재 여부 또는 권한의 관할권 확인)에 대한 이진 체크를 수행한다.

3. 환각 리스크 지수(HRI)로의 집계:
   슬롯 수준의 신호들은 하나의 합성된 **환각 리스크 지수(Hallucination Risk Index, HRI)**로 집계된다. 이는 각 슬롯의 행정적 영향력을 반영하는 가중치($w_i$)를 가진 가중 합계이다. 공식은 불안정성, 인용 부족, 규칙 위반의 균형을 맞추기 위해 튜닝 계수($\alpha, \beta, \gamma$)를 포함한다:
   $$HRI = \sum_{i} w_i \cdot (\alpha \cdot SIS_i + \beta \cdot (1 - CCS_i) + \gamma \cdot RVS_i)$$
   HRI는 단순한 정답 확률이 아니라 운영 리스크 점수로서 기능한다.

4. 운영 결정 워크플로우 (Operational Decision Workflow):
   HRI는 사전에 정의된 임계값에 따라 다음과 같은 운영 상태로 매핑된다:

   • PASS (HRI < 0.20): 직접 전달.
   • WARN (0.20 ≤ HRI < 0.35): 명확한 설명이 포함된 조건부 응답.
   • DEFER (0.35 ≤ HRI < 0.50): 권위 있는 주장을 유보하고 고위험 슬롯을 격리함.
   • ROUTE (HRI ≥ 0.50): 인간 담당자에게 의무적 에스컬레이션.
   • Override Rules (오버라이드 규칙): 특정 조건(예: 법적 근거에 대한 RVS=1)은 통계적 집계에 의한 허위 확신을 방지하기 위해 전체 점수와 관계없이 즉각적인 에스컬레이션을 트리거한다.

5. ISO/IEC 스타일의 V&V 산출물:
   프레임워크는 명시적인 목적, 전제 조건, 정량적 수락 기준을 가진 테스트 케이스를 포함하여 환각 관리를 표준 소프트웨어 보증 산출물로 공식화함으로써 감사 가능성과 추적성을 보장한다.

주요 기여

• 거버넌스 재프레임화: "환각 탐지"에서 "환각 리스크 관리"로 패러다임을 전환하여, LLM 배포를 공공 부문의 책임성 및 감사 요구사항과 일치시킨다.
• 블랙박스 호환성: 모델을 재학훈련하거나 내부를 조사할 수 없는 환경에서 실행 가능한 검증 메커니즘을 제공한다.
• 세밀한 리스크 정량화: 이질적인 기술적 신호를 감사자와 의사결정자가 해석할 수 있는 거버넌스 지향적 지수로 변환하는 합성 지표인 HRI를 도입한다.
• 비례적 인간 감독: 리스크 수준에 비례하여 인간의 개입이 트리거되도록 하여, 운영 효율성과 제도적 안전성 사이의 균형을 맞춘다.
• 표준화: 환각 관리를 기존의 ISO/IEC 스타일 V&V 프로세스에 통합하여, 정부 조달 및 품질 보증 프레임워크 내에서의 채택을 용이하게 한다.

결과 및 평가
본 논문은 가족관계 등록, 인허가, 사회 복지 문의와 관련된 예시 시나리오를 통해 프레임워크를 제시한다. 평가는 프레임워크가 다음과 같이 시나리오를 처리하는 방식을 보여준다:

• 전통적인 모델 중심 체크에서는 "자기 일관성"을 통과할 수 있는 고위험 출력물(예: 조작된 법률 인용 또는 잘못된 권한)을 성공적으로 식별한다.
• HRI가 저영향 정보 불일치와 고영향 절차적 오류를 어떻게 구분하여 적절한 "DEFER" 또는 "ROUTE" 조치를 트리거하는지 보여준다.
• 본 연구는 프레임워크가 위험한 출력물을 공식 채널에 도달하기 전에 차단하여, 불투명한 모델 행동을 정량화 가능하고 통제 가능한 운영 리스크로 전환할 수 있음을 입증한다.

의의 및 주장
본 논문은 그 주요 의의가 법적 예측 가능성을 해치지 않으면서 공공 부문에 LLM을 배포하기 위한 실용적이고 거버넌스에 부합하는 접근 방식을 제공하는 데 있다고 주장한다. 저자는 다음과 같이 주장한다:

• 신뢰는 무결성이 아닌 통제 위에 구축된다: AI에 대한 제도적 신뢰는 완벽한 정확성에 대한 주장이 아니라, 실패를 식별하고 관리하기 위한 투명하고 감사 가능한 절차에 기반해야 한다.
• 리스크 차별화는 필수적이다: 모든 환각이 동일한 것은 아니다. 프레임워크의 슬롯 기반 접근 방식은 거버넌스 자원이 가장 중대한 영향을 미치는 절차적 요소에 집중되도록 보장한다.
• 통합은 가능하다: 환각 리스크를 표준 소프트웨어 보증 관행에 매핑함으로써, 본 프레임워크는 AI 채택의 제도적 장벽을 제거하여 공공 기관이 행정법 및 책임성의 원칙을 준수하면서 LLM을 활용할 수 있게 한다.

저자는 본 연구가 대규모 정량적 벤치마킹보다는 예시 시나리오에 의존하고 있으며, 본 프레임워크가 RAG와 같은 모델 수준의 완화 전략을 대체하는 것이 아니라 보완하는 것임을 겸허히 밝히고 있다. 향후 과제로 경험적 임계값 튜닝 및 멀티모달 컨텍스트로의 확장을 제안한다.