기술적 요약: 해를 끼치지 않는가? 웹 배포 의료 대형 언어 모델의 환각 및 행위자 수준 남용

1. 문제 제기

OpenAI 스토어와 같은 상업적 플랫폼에 맞춤형 의료 대형 언어 모델 (MedGPT) 이 빠르게 배포되면서 종종 간과되는 중대한 안전 위험이 존재합니다. 이러한 모델들이 진단 제안과 건강 조언을 제공하지만, 두 가지 주요하고 상호 연결된 위협에 직면해 있습니다:

1. 임상적 환각: 사실적으로 부정확하거나 불완전하거나 조작된 의료 정보 (예: 안전하지 않은 치료, 잘못된 약물 조언) 를 유창하게 생성하는 현상. 일반적인 LLM 오류와 달리, 이러한 환각은 도메인 특화 언어를 사용하므로 비전문가 환자가 이를 탐지하기 어렵습니다.
2. 행위자 수준 남용: 개발자의 의도적인 설계 선택으로 인해 모델이 안전하지 않거나 비윤리적인 사용에 취약해지도록 만드는 것. 이는 기만적인 메타데이터 (이름, 설명), 도구 (예: 웹 브라우징) 를 통한 안전 장치 우회, 그리고 특히 '동작 (Actions)' (외부 API 호출) 이 활성화된 모델에서의 기능적 개인정보 보호 고지 부재를 포함합니다.

현재 문헌은 주로 기본 모델의 환각이나 범용 앱에서의 일반적 오용에 초점을 맞추고 있어, 콘텐츠 정확성과 개발자 주도 구조적 위험 모두에 관한 배포된, 사용자 대상 의료 GPT 의 체계적 평가에는 공백이 존재합니다.

2. 방법론

저자들은 OpenAI GPT 스토어에 대한 대규모 감사를 수행하며 이중 계층 평가 프레임워크를 도입했습니다.

데이터 수집

• 범위: 크롤러가 OpenAI 의 공개 검색 API 와 171 개의 의료 키워드로 구성된 도메인 특화 분류 체계를 사용하여 9,245 개의 고유 GPT 에서 메타데이터를 추출했습니다.
• 필터링: 의료 관련성을 보장하기 위해 수동 큐레이션을 거친 후, 6,233 개의 MedGPT로 구성된 최종 데이터셋이 확정되었습니다.
• 샘플링: 플랫폼 속도 제한으로 인해, 심층 평가를 위해 1,500 개의 MedGPT를 층화 표본으로 선정했습니다: 대화 수 기준 상위 1,000 개, 무작위 중간 250 개, 하위 250 개.
• 비교 그룹: 동일한 지표를 사용하여 10 개의 주요 오픈소스 의료 LLM (Galactica, PMC-LLaMA, MedAlpaca 등) 을 평가하여 비교했습니다.

평가 프레임워크

1. MedGPT-HEval (환각 탐지):

   • 입력: 각 모델에 MedQA 벤치마크의 표준화된 임상 시나리오를 5 회씩 쿼리했습니다.
   • 지표: 응답은 네 가지 보완적 지표를 사용하여 점수화되었습니다:
     • G-Eval: 사실적 정확성, 일관성, 인용 신뢰성을 평가하기 위해 Gemini 3.1 Pro 를 사용한 사고의 사슬 (chain-of-thought) 프레임워크.
     • BARTScore: 입력 프롬프트를 기반으로 생성된 텍스트의 가능성을 측정하여 충실도를 평가합니다.
     • 시맨틱 엔트로피: 모델 불확실성을 정량화합니다. 높은 값은 더 큰 불안정성과 환각 위험을 나타냅니다.
     • 코사인 유사도: BioBERT 임베딩을 사용하여 응답과 임상 입력 간의 시맨틱 정렬을 측정합니다.
   • 검증: 자동화된 점수는 층화된 하위 집합 (300 개 모델) 에 대한 인간 주석과 비교하여 검증되었으며, 90.5–94.0% 의 일치율 (Cohen's kappa = 0.8163) 을 달성했습니다.

2. 행위자 수준 남용 평가:

   • 방법: LLM-as-a-judge 파이프라인 (Gemini 3.1 Pro 사용) 이 메타데이터 (이름, 설명, 대화 시작어) 를 OpenAI 사용 정책과 비교하여 분석했습니다.
   • 범주: 위험은 건강 상담, 사기, 개인정보 침해, 불법 활동으로 분류되었습니다.
   • 임계값 설정: K-평균 클러스터링 ($k=2$) 을 오용 위험 점수에 적용하여 0.45의 준수 임계값을 결정했습니다. 이는 전문가 검토 (Cohen's kappa = 0.8188) 를 통해 검증되었습니다.
   • 개인정보 감사: 특히 '동작'이 활성화된 170 개 모델을 대상으로 연결된 개인정보 보호 정책의 접근성과 준수를 평가했습니다.

3. 주요 결과

임상적 환각

• 보편성: 모든 인기 계층의 MedGPT 중 25–30% 가 G-Eval 에서 0.8 미만의 점수를 받았습니다.
• 계층 간 차이: 하위 및 중간 계층 모델이 가장 높은 환각 위험과 가장 약한 문맥 정렬을 보였습니다. 상위 계층 모델은 더 잘 수행되었지만 여전히 상당한 편차를 보였습니다.
• 지표 세부 사항:
  • MedGPT 의 37.27% 만 BARTScore $\ge -3.5$를 달성했습니다.
  • 41.07% 만 코사인 유사도 $\ge 0.4$에 도달했습니다.
  • 59.87% 가 시맨틱 엔트로피 $< 2$를 보였으며 이는 중간 수준의 안정성을 나타내지만, 하위 계층 모델은 높은 변이성을 보였습니다.
• 사용자 인식: 사용자 참여 (대화 수, 별점) 와 환각 지표 (예: G-Eval 의 경우 $r \approx -0.03$) 간에는 거의 0 에 가까운 상관관계가 있었습니다. 사용자는 정확성이 아닌 활동을 보상하며, 덜 신뢰할 수 있는 모델이 종종 더 긍정적인 피드백을 받았습니다.

행위자 수준 남용 및 개인정보

• 오용률: 평가된 모든 MedGPT 의 49.8% 가 운영 정책을 위반했습니다.
  • 상위 1,000 개: 54.3% 미준수.
  • 중간 250 개: 48.0% 미준수.
  • 하위 250 개: 33.6% 미준수.
• 개인정보 격차: 동작이 활성화된 170 개 모델 중:
  • **57.06%**가 접근 가능한 개인정보 보호 정책이 없었습니다.
  • 접근 가능한 정책을 가진 42.94% 중 거의 **70%**가 준수 임계값 미달 (데이터 공유, 쿠키, 사용자 권리에 대한 고지 누락) 을 보였습니다.
  • 많은 정책이 깨진 링크, 일반적인 템플릿, 또는 관련 없는 도메인으로 리디렉션되는 것이었습니다.

오픈소스 vs 웹 배포 모델

• 정확성 vs 안정성: MedGPT 는 오픈소스 모델 (평균 G-Eval: 0.4558; 평균 코사인: 0.3731) 에 비해 더 높은 사실적 정확성 (평균 G-Eval: 0.9238) 과 시맨틱 정렬 (평균 코사인: 0.4054) 을 보여주었습니다.
• 일관성: 오픈소스 모델이 더 안정적이고 예측 가능했습니다 (시맨틱 엔트로피가 더 낮음: MedGPT 의 1.9272 대비 1.6129). 이는 웹 배포 모델이 커뮤니티 주도 대안에서 발견되는 안정성보다 일관성을 우선시할 수 있음을 시사하는 트레이드오프를 나타냅니다.

4. 주요 기여

1. HAA-MedGPT 데이터셋: 6,233 개의 맞춤형 웹 배포 MedGPT 에 대한 메타데이터, 상호작용 로그, 평가 점수를 포함한 첫 번째 대규모 구조화 데이터셋의 공개.
2. 이중 계층 안전 분석: 행위자 수준 오용 평가기와 결합된 MedGPT-HEval의 도입으로 출력 수준 오류와 설계 수준 위험 모두를 해결.
3. 시스템적 거버넌스 발견: 플랫폼 신뢰 지표 (평가, 리뷰) 가 안전성이나 정확성과 상관관계가 없으며, 배포된 모델의 거의 절반이 운영 정책을 위반한다는 실증적 증거.
4. 개인정보 위험 정량화: 동작이 활성화된 대부분의 의료 GPT 가 기능적 개인정보 보호 고지가 부족함을 보여주는 첫 번째 실증적 평가.

5. 중요성과 주장

이 논문은 오픈 마켓플레이스에서의 의료 LLM 배포가 시스템적 거버넌스 실패에 시달리고 있다고 주장합니다. 저자들은 다음과 같이 주장합니다:

• 인기는 안전의 대용물이 아님: 높은 대화 수와 긍정적인 리뷰는 사실적 신뢰성이나 안전 정책 준수를 나타내지 않습니다.
• 위험은 구조적입니다: 안전하지 않은 행동은 우발적인 생성 오류가 아니라 개발자에 의해 설계 단계에 종종 내재되어 있습니다 (예: 기만적인 이름, 누락된 개인정보 보호 정책).
• 다중 지표 평가가 필수적입니다: 단일 지표 (예: 정확성) 에 의존하는 것은 불충분합니다. 의료 LLM 안전성을 평가하려면 사실적 정렬, 시맨틱 안정성, 정책 준수의 조합이 필요합니다.
• 긴급한 안전 장치 필요: 이러한 발견은 모델이 공개적으로 배포되기 전에 예방적 안전 평가, 강제 가능한 정책 표준, 다중 지표 평가 프레임워크의 필요성을 강조합니다.

저자들은 이러한 개입이 없다면 인식된 신뢰성과 실제 안전성 사이의 '신뢰 격차'가 계속 환자를 임상적 및 개인정보 위험에 노출시킬 것이라고 결론지었습니다.