CareGuardAI: Context-Aware Multi-Agent Guardrails for Clinical Safety & Hallucination Mitigation in Patient-Facing LLMs

"CareGuardAI: 환자 대상 LLM 의 임상 안전성 및 환각 감소를 위한 컨텍스트 인식 멀티에이전트 가드레일"에 대한 상세 기술 요약입니다.

1. 문제 제기

환자 대상 의료 시스템에 대형 언어 모델 (LLM) 을 통합하는 작업은 기존 벤치마크와 완화 전략이 적절히 해결하지 못하는 두 가지 중대하고 상호 연관된 실패 모드를 직면합니다.

• 임상 안전성 위험: LLM 은 인간 임상가와 달리 불완전한 정보에서 위험을 추론할 수 있는 컨텍스트 인식이 부족하여, 조건부로 정확하지만 의학적적으로 부적절한 응답 (예: 임산부에게 약물 처방) 을 생성하는 경우가 많습니다.
• 환각 위험: 모델은 종종 근거가 없거나 일관성이 없거나 조작된 의학적 주장을 생성합니다.
• 격차: 현재 접근 방식은 일반적으로 안전성과 환각을 별개의 문제로 취급하거나, 실제 세계의 개방형이고 미구체화된 환자 질의를 반영하지 않는 정적 벤치마크 (예: USMLE 시험) 에 의존합니다. 또한, 훈련 단계의 정렬 (파인튜닝) 은 추론 시의 동적이고 컨텍스트에 의존하는 위험을 처리하기에 불충분합니다.

2. 방법론: CareGuardAI 프레임워크

CareGuardAI 는 멀티에이전트 파이프라인으로 설계된 위험 인식 추론 시 안전성 프레임워크입니다. 응답이 공개되기 전에 안전성을 강제하기 위해 컨트롤러, 생성기, 이중 평가자, 그리고 의사결정 레이어를 통합하여 작동합니다.

핵심 구성 요소

1. 컨트롤러 에이전트 (분류 및 선별):

   • 모델: 경량 소형 언어 모델 (SLM), 구체적으로 Phi-3.5-mini.
   • 기능: 위험 인식 쿼리 분류 및 취약성 선별을 수행합니다. 키워드 규칙과 모델 감지를 사용하여 누락된 환자 컨텍스트 (예: 임신 상태, 연령, 증상 심각도) 를 식별합니다.
   • 메커니즘: 쿼리가 미구체화된 경우, 컨트롤러는 생성 전에 중요한 컨텍스트를 이끌어내기 위해 표적화된 객관식 선별 질문을 생성합니다. 그런 다음 식별된 위험 카테고리에 기반하여 결정론적 안전 지시사항 (예: "처방하지 마십시오") 을 생성합니다.

2. 응답 생성기:

   • 모델: 대형 언어 모델 (GPT-4o-mini).
   • 기능: 환자 대상 응답을 생성합니다.
   • 제약: 생성은 컨트롤러가 제공하는 안전 지시사항과 컨텍스트 삽입에 조건부로 이루어집니다. 이는 특정 위험 프로파일에 맞춰진 행동 가드레일 (예: 진단이나 처방 거부) 을 강제합니다.

3. 이중 위험 평가자 (병렬 평가):

   • 모델: 양자화된 LLaMA-3.1-8B-Instruct(로컬에서 실행).
   • 임상 안전성 위험 평가 (SRA): ISO 14971에서 영감을 받은 이 에이전트는 실행 가능한 의학적 위험 (진단, 처방, 유해한 행동의 유효성 확인) 에 기반하여 응답을 1~5 점 척도 (1=최소, 5=치명적) 로 점수화합니다.
   • 환각 위험 평가 (HRA): HalluGuard에서 영감을 받은 이 에이전트는 데이터 기반 환각 (사실적 오류) 과 추론 기반 환각 (논리적 불일치) 을 구분하여 사실적 신뢰도를 1~5 점 척도로 점수화합니다.

4. 의사결정 레이어 및 정제 루프:

   • 논리: 응답은 $SRA \le 2$이고 $HRA \le 2$일 때만 공개됩니다.
   • 정제: 임계값을 초과하면 시스템은 반복적 정제 루프(최대 3 회) 를 트리거합니다. 평가자들은 생성기에 구조화된 피드백을 제공하여 응답을 수정합니다.
   • 대응 조치: 3 회 반복 후에도 응답이 안전하지 않으면 차단되고 안전한 거절 메시지가 반환됩니다.

시스템 아키텍처

• 하이브리드 설계: 빠르고 비용 효율적인 분류 및 평가를 위한 로컬 SLM 과 고품질 생성을 위한 클라우드 기반 LLM 을 결합합니다.
• 지연 시간: 쿼리당 평균 지연 시간은 약 13.8 초로, 실시간 배포가 가능합니다.

3. 주요 기여

1. 이중 축 안전성 프레임워크: 응답이 사실적으로 정확하지만 임상적으로 안전하지 않거나 그 반대의 경우일 수 있는 격차를 해결하기 위해, 임상 안전성 위험 (SRA) 과 환각 위험 (HRA) 을 상호 보완적인 실패 모드로 공동 모델링하는 새로운 접근법을 도입합니다.
2. 추론 시 제어 아키텍처: 누락된 환자 데이터 선별을 위한 분류 기반 컨텍스트 복구를 안전성 제약 생성 및 병렬 생성 후 평가와 통합하는 구조화된 파이프라인을 제안합니다.
3. 위험 경계 의사결정 메커니즘: 반복적 정제를 갖춘 임계값 기반 전략 ($SRA \le 2, HRA \le 2$) 을 구현하여 임상적으로 허용 가능한 출력만 배포되도록 보장합니다.
4. 종합 평가: PatientSafeBench, MedSafetyBench, MedHallu 세 가지 벤치마크를 통해 프레임워크를 검증하여 GPT-4o-mini 와 같은 강력한 베이스라인보다 상당한 개선을 입증했습니다.

4. 실험 결과

이 프레임워크는 PatientSafeBench(466 개 샘플), MedSafetyBench(450 개 샘플), **MedHallu(200 개 샘플)**에서 평가되었습니다.

• 안전성 및 신뢰성:

  • 배포 가능률: CareGuardAI 는 벤치마크 전반에 걸쳐 **98.7% – 99.8%**의 배포 가능률 (두 안전 임계값을 모두 충족하는 응답) 을 달성했으며, 베이스라인은 60–86% 였습니다.
  • 위험 감소: MedHallu 데이터셋에서 평균 SRA 는 베이스라인인 ~3.2 에서 2.02로 감소했고, HRA 는 ~2.9 에서 1.23으로 감소했습니다.
  • 위반 제거: 안전 위반 (예: 컨텍스트 없이 약물 처방) 은 베이스라인 **19.7%**에서 **2.8%**로 감소했습니다. 오진 오류는 30.3% 에서 **0.0%**로 감소했습니다.

• 정제 효율성:

  • 시스템은 쿼리당 평균 약 1.0 회의 반복으로 빠르게 수렴합니다.
  • MedSafetyBench 와 MedHallu 에서 초기에 안전하지 않았던 응답의 **100%**가 정제 후 안전한 수준으로 성공적으로 하향 조정되었습니다.
  • 시스템은 "안전하지만 환각된" 실패 모드를 성공적으로 제거했습니다 (결과에서 0% 발생).

• 절대 연구 (Ablation Study):

  • 컨트롤러를 제거하면 배포 가능률이 **39.0%**로 급감했습니다.
  • HRA 에이전트를 제거하면 환각 출력 비율이 **42.0%**에 달했습니다.
  • SRA 에이전트를 제거하면 높은 배포 가능률 (98%) 이 유지되었지만 **2.0%**의 임상적으로 안전하지 않은 응답 비율이 발생하여, 환각 제어만으로는 의학적 안전성을 보장하기에 불충분함을 입증했습니다.

5. 중요성 및 함의

• 컨텍스트 인식: CareGuardAI 는 임상적 분류를 시뮬레이션하여 정적 벤치마크의 중대한 한계를 해결하며, 시스템이 취약점 (예: 임신) 을 감지하고 조언을 생성하기 전에 누락된 컨텍스트를 요청할 수 있게 합니다.
• 규제 정렬: 이 프레임워크는 투명하고 감사 가능하며 결정론적인 의사결정 경로 (배포, 정제, 또는 차단) 를 제공함으로써 ISO 14971 위험 관리 원칙과 FDA 의 양호한 머신러닝 관행 (Good Machine Learning Practice) 과 정렬됩니다.
• 실용적 배포: 하이브리드 아키텍처 (로컬 SLM + 클라우드 LLM) 를 사용하여 고품질 생성과 저지연, 비용 효율적인 안전성 집행 사이의 균형을 달성함으로써, 챗봇과 원격 의료와 같은 실제 세계의 환자 대상 애플리케이션에 대한 실행 가능성을 확보했습니다.
• 패러다임 전환: 이 논문은 신뢰할 수 있는 의료 AI 를 위해서는 정적, 시험 형식 평가를 넘어 실제 세계 환자 상호작용의 불확실성과 컨텍스트 의존성을 고려하는 동적, 추론 시 감독으로 전환해야 한다고 주장합니다.

결론적으로, CareGuardAI 는 멀티에이전트, 위험 인식 프레임워크가 환자 대상 LLM 에서 임상 안전성 위험과 환각을 모두 효과적으로 완화할 수 있음을 보여주며, 의료 환경에서 더 안전하고 신뢰할 수 있는 배포를 가능하게 합니다.