Standard guardrails impose a safety-critical omission tax on clinical large language models that a downstream verification layer reverses: a retrospective multi-cohort evaluation

기술 요약: 표준 가드레일은 임상용 대규모 언어 모델(LLM)에 안전 필수적 누락세(Safety-Critical Omission Tax)를 부과한다

문제 정의
의사결정 지원을 위해 배치된 임상용 대규모 언어 모델(LLM)은 두 가지 뚜렷한 안전 실패 모드를 겪는다: 위행(Commission)(확신에 찬 환각 또는 근거 없는 주장)과 안전 필수적 누락(Safety-critical omission)(지시된 검사, 금기 사항, 에스컬레이션 또는 고위험 감별 진단을 언급하지 못하는 현상). 헬스케어 시스템은 위행 오류를 완화하기 위해 "가드레일" 스택을 널리 구현하고 있지만, 이러한 가드레일이 누락률에 미치는 실질적인 영향은 여전히 제대로 규명되지 않았다. 이론적 프레임워크에 따르면, 환각은 트랜스포머 기반 모델의 구조적 특성으로서 모델 상단에 배치된 레이어로는 제거될 수 없으며, 안전성과 정확성은 서로 다른 스케일링 법칙(scaling laws)을 따른다. 결과적으로, 안전 속성은 생성 모델 외부의 레이어에 의해 강제되어야 한다. 본 연구는 표준 가드레일이 의도치 않게 누락률을 높이는지(즉, "누락세"를 부과하는지), 그리고 하류 검증 레이어(downstream verification layer)가 위행 오류를 재유입시키지 않으면서 이 효과를 역전시킬 수 있는지 조사한다.

방법론
저자들은 세 가지 최첨단 LLM 제품군인 GPT-5.5, Gemini 3.1 Pro, Claude Opus 4.7을 대상으로 사전에 정의된 회고적 다중 코호트 평가를 수행하였다. 연구는 8-gram 필터링을 통해 모델의 사전 학습 데이터와 중복되지 않음을 보장하는 1,363개의 임상 사례 및 프로브(probe)로 구성된 오염 제외 코퍼스를 활용하였다.

연구는 모델 전반에 걸쳐 세 가지 구성을 비교하였다:

1. 순수 모델(Bare Model): 개입 없는 직접 출력.
2. 표준 가드레일 스택(Standard Guardrail Stack): 임상 안전 시스템 프롬프트, 콘텐츠 모더레이션 필터, 인용 근거가 포함된 검색 증강 생성(RAG), 학습된 위험 분류기로 구성된 4개 요소 시스템.
3. 검증 프레임워크(Verification Framework): 표준 스택에 응답을 반환하기 전 응답을 수정하는 하류 검증 레이어를 추가한 형태. 이 레이어는 다음을 포함한다:
   • 큐레이션된 임상 규칙 라이브러리(3,162개 규칙)에 대한 논리 신경망(LNN) 인증서.
   • 트리아지 업그레이드를 위해 합의를 요구하는 6개의 전문가 검증 에이전트 패널(예: 약물 상호작용, 가이드라인 준수).
   • 잔차 기여 격차(residual-attribution-gap) 문장을 생성하는 개념 분해 모듈.

연구는 네 가지 주요 코호트(위험 계층화 사례 및 위행 프로브 포함)와 세 가지 보충 코호트(적대적 사례, 조작된 조건, 에이전트 절제 실험)에 대해 쌍체 비교를 수행하였다. 통계 분석에는 쌍체 데이터에 대한 McNemar exact test와 Newcombe 신뢰 구간을 사용하였다.

주요 결과

• 누락세(The Omission Tax): 표준 가드레일 스택은 위행 오류를 성공적으로 줄였으나, 안전 필수적 누락률을 유의미하게 증가시켰다. 921개의 쌍체 케이스 실행 결과, 누락률은 17.6%(순수 모델)에서 30.1%(표준 가드레일)로 상승하여, **12.5 퍼센티지 포인트의 "누락세"**를 나타냈다.
• 검증 레이어에 의한 역전: 검증 프레임워크는 누락률을 **17.1%**로 낮추어, 사실상 순수 모델 수준으로 복구시켰다. 가드레일 전용 구성과 검증 프레임워크 구성 간의 쌍체 절대 감소량은 16.46 퍼센티지 포인트였다 (Newcombe 95% CI 10.93 to 21.86; $P = 1.32 \times 10^{-23}$).
• 포착 및 미탐율(Catch and Miss Rates): 검증 프레임워크는 표준 가드레일이 놓친 안전 필수적 누락의 **49.0%**를 포착했다. 결정적으로, 이 프레임워크는 가드레일이 이미 포착한 누락을 단 하나도 놓치지 않았으며, 이는 포착 축(catch axis)에서 엄격한 가산적(additive) 동작을 보여준다.
• 위행 영향(Commission Impact): 검증 프레임워크는 위행을 증가시키지 않으면서 누락을 줄였다. 그러나 동일한 프레임워크를 생성 파이프라인을 수정하지 않고 단순히 권고 텍스트(advisory text)(출력에 부가되는 형태)로만 배포했을 경우, 위행 오류가 4.44 퍼센티지 포인트 증가했다 ($P=0.0015$). 이는 응답 생성 파이프라인을 수정하는 것이 안전을 위해 필수적임을 강조한다.
• 구성 요소 절제 실험(Component Ablation): LNN 인증서와 전문가 에이전트 패널 모두 개별적으로 표준 가드레일보다 포괄성을 개선했다. 전체 프레임워크는 두 구성 요소 각각을 단독으로 사용했을 때보다 엄격하게 우월한 성능을 보였으며, 이는 비중복적 신호(non-redundant signals)임을 나타낸다.
• 일반화 가능성: 결과 패턴은 세 가지 모델 제품군 모두에서 동일하게 나타났으며, 이는 결과가 특정 모델에 국한된 것이 아니라 구조적인 것임을 시사한다.

의의 및 주장
본 논문은 표준 가드레일 스택이 위행(hallucination)을 억제하는 데 효과적임에도 불구하고, 임상용 LLM에 상당한 안전 필수적 누락세를 부과한다는 첫 번째 경험적 증거를 제공한다고 주장한다. 연구는 하류 검증 레이어가, 단순히 텍스트를 덧붙이는 것이 아니라 응답 생성 파이프라인을 수정할 때, 위행률을 낮게 유지하면서 이 누락세를 역전시킬 수 있음을 입증한다.

저자들은 이러한 결과를 건축적 필연성으로 규정한다. 환각은 트랜스포머의 구조적 특성이므로, 안전 속성은 외부에서 강제되어야 하기 때문이다. 본 연구는 누락세가 단일 구성 요소의 산물이 아니라, 4개 요소로 구성된 가드레일 조합의 창발적 특성이라고 주장한다.

한계 및 향 향후 과제
저자들은 다음과 같은 몇 가지 한계점을 명시하였다:

• 본 연구는 회고적 연구이며, 임상적 종점은 직접적인 환자 위해(harm) 측정치가 아닌 대리 지표(누락/위행률)이다.
• 데이터는 단일 다주(multi-state) 미국 의료 기관의 Medicaid 케이스 믹스에서 추출되었으므로, 다른 인구 집단이나 전문 분야로의 일반화에 제한이 있다.
• 평가는 의사에 의해 보정된 LLM 판사(judge)에 의존하며, 이는 방법론적 타협점이다.
• 평가된 모델들은 연구 당시(2026년 4월) 사용 가능한 특정 최첨단 제품군이다.

본 논문은 결론적으로, 표준 가드레일 스택과 검증 프레임워크를 적용한 그룹 간의 임상적으로 유의미한 환자 결과(patient outcomes)를 비교하는 **전향적 무작위 대조 시험(prospective randomized controlled trial)**이 일상적 배포 전 반드시 선행되어야 할 단계라고 밝히고 있다. 현재의 연구는 SPIRIT-AI 및 CONSORT-AI 보고 표준을 준수하며 해당 시험을 위한 선행 작업 역할을 한다.