When Verification Passes the Wrong Calculator: A Human-Adjudicated Study of a Guarded Local LLM Pipeline

현대 의학의 세계에서 의사들은 가공되지 않은 환자 데이터를 명확한 해답으로 바꾸기 위해 전문적인 도구에 의존하는 경우가 많습니다. '임상 계산기(clinical calculators)'라고 알려진 이 도구들은 체중, 연령, 혈액 검사 결과와 같은 특정 숫자들을 가져와서, 정해진 일련의 규칙을 적용하여 치료를 안내하는 데 도움이 되는 점수나 범주를 만들어냅니다. 수년 동안 이러한 도구들은 항상 완벽한 수학적 결과를 보장하기 위해 엄격하고 변하지 않는 지침을 따르는 컴퓨터에 의해 실행되어 왔습니다. 최근에는 대규모 언어 모델(large language models)이라는 새로운 종류의 컴퓨터 프로그램이 등장했습니다. 이들은 방대한 양의 텍스트를 학습하여 환자의 이야기를 읽고, 맥락을 이해하며, 적절한 계산기를 선택해 대신 수학 계산을 수행할 수 있는 시스템입니다. 이러한 시스템이 혼란스러운 의료적 서사와 정밀한 수치적 결과 사이의 간극을 메우는 지능형 조수 역할을 할 수 있다는 기대가 있습니다. 그러나 한 가지 결정적인 질문이 남아 있습니다. 만약 컴퓨터 프로그램이 자신이 계산을 올바르게 수행했다고 말한다면, 그것이 애초에 그 작업에 적합한 도구를 제대로 선택했다는 것을 의미할까요?

미국 사우스 플로리다 대학교의 연구팀은 매우 신중하게 설계된 특정 유형의 컴퓨터 시스템을 사용하여 바로 이 질문을 테스트하고자 했습니다. 그들은 파이프라인 역할을 하는 '가드된 문지기(guarded gatekeeper)'를 구축했습니다. 환자의 사례가 제시되면, 시스템은 먼저 어떤 계산기를 사용할지 결정합니다. 그다음 텍크스트에서 필요한 숫자들을 추출하고, 오류가 없는 엄격한 컴퓨터 프로그램을 사용하여 계산을 실행한 뒤, 마지막으로 숫자가 여전히 일치하는지 확인하기 위해 답을 다른 방식으로 표현해 봄으로써 스스로의 작업을 검증합니다. 연구진은 이러한 내부적인 일관성 검사가 안전을 보장하기에 충분한지 알고 싶었습니다. 천 개 이상의 기록과 별도의 실제 의료 사례 보고서를 대상으로 한 이 연구는 놀랍고도 잠재적으로 위험한 결함을 드러냈습니다. 시스템이 모든 내부 검사를 통과하고 수학적으로 일관된 답을 내놓을 수 있었음에도 불구하고, 환자의 상태에 완전히 잘못된 계산기를 선택했을 수 있다는 사실이 밝혀졌습니다.

연구진은 자신들이 만든 시스템인 'CIBB-Guard'를 컴퓨터에게 직접 질문하는 표준적인 방식과 비교 평가했습니다. 대부분 합성 데이터이거나 컴퓨터로 생성된 천 개 이상의 기록을 포함한 대규모 테스트에서, 가드된 시스템은 훨씬 더 나은 성능을 보였습니다. 이 시스템은 약 60%의 사례에서 정답을 도출한 반면, 직접적인 접근 방식은 약 10%의 성공률만을 보였습니다. 이러한 개선은 규칙을 선택하고, 데이터를 추출하며, 수학을 검증하는 시스템의 능력 덕분이었습니다. 그러나 진짜 시험은 계산기가 전혀 사용되어서는 안 되는 사례들을 검토했을 때 찾아왔습니다. 연구진은 77개의 익명화된 의료 사례 보고서를 가져와 인간 전문가들이 이를 테스트 중인 계산기에 적합한지 여부에 따라 분류하도록 했습니다. 계산기가 적용되지 않는 경우, 가드된 시스템은 33건 중 21건의 사례에서 답변 제공를 거부함으로써 올바르게 작동했습니다. 하지만 나머지 12건의 경우, 시스템은 확신을 가지고 답변을 제공했으며, 그 답변은 자체적인 내부 검증 절차를 통과했습니다.

여기에 핵심적인 발견이 있습니다. 그 12건의 부적절한 사례들에서, 시스템은 환자의 이야기와 맞지 않는 계산기를 선택했음에도 불구하고 내부적으로는 일관된 수학적 결과를 보여주었습니다. 시스템은 숫자를 다른 형태로 표현하여 자신의 작업을 확인했고, 두 버전이 서로 일치했습니다. 이 일치는 컴퓨터가 선택한 규칙을 정확하게 실행했음을 확인해 주었지만, 그 규칙이 사용하기에 적절한 규칙이었는지는 확인해주지 못했습니다. 사실, 잘못된 답변들 중 거의 대부분에서 내부 검사가 성공적으로 통과되었습니다. 연구진은 시스템의 안전망이 계산 오류를 잡아내기 위해 설계되었음에도 불구하고, 도구 자체를 잘못 선택하는 오류에는 눈이 멀어 있다는 것을 발견했습니다. 시스템이 실제로 계산기가 적절한 사례들에 대해 테스트되었을 때, 44건 중 단 4건의 정답만을 만들어냈는데, 이는 직접적인 접근 방식과 통계적으로 차이가 없는 결과였으며, 이는 시스템이 환자의 이야기와 적절한 규칙을 매칭하는 복잡한 과업에서 여전히 어려움을 겪고 있음을 강조합니다.

연구진은 이러한 결과가 시스템이 쓸모없다는 것을 의미하는 것이 아니라, 아직 불완전하다는 것을 강조합니다. 이 연구는 고정된 단일 버전의 컴퓨터 모델과 12개의 특정 계산기 라이브러리를 사용했습니다. 결과는 시스템이 수학적 실행 능력을 향고시키고 무작위 오류를 줄일 수는 있지만, 인간의 감독 없이 계산기가 특정 환자에게 적용 가능한지를 판단할 수는 없음을 보여줍니다. 시스템이 잘못된 답변에 대해서도 내부 검사를 통과했다는 사실은, 수학적 일관성만을 신뢰하는 것이 임상적 안전을 보장하기에 충분하지 않다는 것을 시사합니다. 저자들은 이러한 시스템이 병원에서 사용되기 전, 선택한 계산기가 단순히 수학적 계산을 잘 수행하는지를 넘어, 실제로 해당 사례에 적절한 것인지를 검증하는 별도의 독립적인 확인 절차가 반드시 있어야 한다고 결론지었습니다. 이 연구는 컴퓨터가 맥락에 대해서는 완전히 틀릴 수 있으면서도 수학적으로는 완벽하게 일관될 수 있다는 경고의 메시지를 전달하며, 의료 현장에서는 올번 도구를 선택하는 것이 수학을 정확하게 하는 것만큼이나 중요하다는 점을 상기시킵니다.