Deployment protocol and base model jointly determine residual risk in rule-based clinical LLM supervision

당신은 방금 의료 차트를 읽고 치료법을 제안할 수 있는 초지능형 로봇 비서를 만들었다고 상상해 보십시오. 당신은 매우 설레지만, 동시에 아무리 똑똑한 로봇이라도 때때로 사실을 지어내거나, 위험한 조언을 하거나, 까다로운 질문에 혼란을 느낄 수 있다는 점도 알고 있습니다. 이것이 바로 **임상용 대규모 언어 모델(Clinical LLMs)**의 세계입니다. 의사를 돕기 위해 설계된 강력한 AI 도구들이지만, 환자에게 해를 끼칠 수 있는 실수를 저지를 실제적인 위험을 안고 있습니다. 이를 안전하게 유지하기 위해, 과학자들은 로봇의 답변을 누군가가 보기 전에 검사하는 디지털 안전망인 '가드레일'을 구축해 왔습니다. 하지만 여기서 중요한 질문이 생깁니다. 안전망이 모든 로봇에게 동일한 방식으로 작동할까요? 그리고 만약 인간이라는 백업 플랜을 제거한다면 어떻게 될까요? 이 논문은 특정 규칙 기반의 안전 점검 방식이 서로 다른 AI 모델들을 얼마나 안전하게 유지할 수 있는지, 그리고 우리가 이들을 완전히 단독으로 운영하려고 할 때 얼마나 많은 위험이 남게 되는지를 테스트하며 바로 이 점을 깊이 파고듭니다.

연구진은 다섯 개의 서로 다른 게이트로 구성된 엄격하고 규칙을 따르는 심판인 디지털 '파수꾼(sentinel)'을 설정하여, 다섯 가지의 서로 다른 AI 모델(소규모 오픈 소스 모델부터 거대하고 최고 수준인 상용 모델까지)을 감시하도록 했습니다. 그들은 두 가지 유형의 의료 시나리오, 즉 AI를 속이기 위해 만들어진 가상의 사례와 병원 기록에서 가져온 실제 사례를 바탕으로 이 모델들을 테스트했습니다. 연구는 두 가지 매우 다른 모드로 진행되었습니다. 첫 번째 모드인 **"핸드오프 온(Handoff-On)"**은 로봇 옆에 인간 감독관이 바로 서 있는 것과 같습니다. 만약 파수꾼이 잘못된 답변을 포착하면, 이를 차단하고 인간 의사에게 보내 수정하거나 검토하게 합니다. 두 번째 모드인 **"핸드오프 오프(Handoff-Off)"**는 "자율" 모드입니다. 로봇이 스스로 모든 일을 처리해야 합니다. 이 모드에서는 파수꾼이 잘못된 답변을 잡아내더라도, 이를 구해줄 인간이 없으므로 원래의 잠재적으로 위험한 답변이 그대로 통과되거나 시스템이 그 문제를 처리해야만 합니다.

결과는 "좋은 소식"과 "주의, 신중히 진행할 것"이 뒤섞인 결과였습니다. 인간 감독관이 있을 때(Handoff-On), 안전망은 모든 모델에 대해 놀라울 정도로 잘 작동했습니다. 어떤 AI를 테스트하더라도 위험한 답변이 사용자에게 도달하는 비율은 6% 미만으로 유지되었습니다. 이는 마치 클럽의 문지기가 거의 모든 문제아를 잡아내는 것과 같았습니다. 하지만 이 안전의 대가는 천차만별이었습니다. 약한 모델들(Qwen 7B 및 Llama 8B)은 거의 절반에 가까운 경우에 중단되어 인간의 도움을 요청해야 했습니다. 반면 강력한 모델들(Sonnet 4.5 및 Gemma 4)은 도움이 거의 필요하지 않았으며, 답변의 99% 이상을 직접 통과시켰습니다.

하지만 인간 감독관을 끄면(Handoff-Off), 이야기는 완전히 달라졌습니다. 시스템의 안전성은 전적으로 어떤 로봇을 사용하느냐에 달려 있었습니다. 가장 강력한 모델들은 안전을 유지하며 위험한 답변 비율이 매우 낮게(약 0% ~ 2%) 나타났습니다. 하지만 약한 모델들은 어땠을까요? 그들의 안전성은 무너졌습니다. 인간이 잡아줄 사람이 없자, 위험한 답변의 비율이 13%에서 거의 50% 사이로 치솟았습니다. 이 논문은 이러한 차이의 핵심이 AI가 얼마나 잘 "자기 수정(self-correct)"할 수 있는지에 있다는 것을 발견했습니다. 파수꾼이 강력한 모델에게 "이봐, 실수했으니 다시 해봐"라고 말하면, 강력한 모델은 보통 이를 수정했습니다. 그러나 약한 모델들은 특히 답변의 기본 형식을 틀렸을 경우, 자신의 실수를 스스로 고치지 못하는 경우가 많았습니다.

연구진은 또한 모델을 특정 작업에 더 능숙하게 만들기 위해 "미세 조정(fine-tuning, 재학습)"을 시도했을 때 어떤 일이 일어나는지도 테스트했습니다. 놀랍게도, 이는 때때로 모델을 더 나쁘게 만들어 모델이 자신의 형식 규칙을 어기게 만들기도 했습니다. 그럼에도 불구하고, 규칙 기반의 파수꾼은 충분히 강력하여 오류를 잡아내고 최종 출력을 안전하게 유지했습니다. 그들은 심지가 세 곳의 병원에서 가져온 거의 3,000개의 실제 시나리오를 바탕으로 700억 개의 파라미터를 가진 거대 모델을 테스트하기도 했는데, 이는 기존의 경향을 확인해주었습니다. 즉, 인간의 백업이 있으면 완벽하게 안전했지만, 백업이 없으면 여전히 매우 안전하긴 하지만 최상위 상용 모델만큼 완벽하지는 않았습니다.

마지막으로 중요한 실험으로, 인간 의사가 AI의 최종 답변을 검토하는 과정이 포함되었습니다. 의사는 안전 규칙이 명백한 오류는 잡아내지만, 의료적 추론에서의 미묘하지만 위험한 실수는 놓친다는 것을 발견했습니다. 예를 들어, AI가 모든 안전 규칙을 완벽하게 따르더라도 검사 결과를 오해하여 잘못된 약물 용량을 제안할 수 있는 것입니다. 이는 규칙 기반의 파수꾼이 구조적 오류를 잡아내는 데는 훌륭한 안전망이지만, 의사의 두뇌를 대체할 수는 없음을 증명합니다. 이 논문은 만약 우리가 이 AI 도구들을 병원에서 사용하고자 한다면, 적절한 모델을 선택해야 하며, 인간이 개입할 준비가 되어 있는지에 대해 정직해야 한다고 결론짓습니다. 안전망이 모든 로봇에게 동일하게 작동한다고 가정해서는 안 되며, 가장 약한 로봇들이 혼자서 주도권을 잡도록 내버려 두어서도 절대 안 됩니다.