← 최신 논문
💻 컴퓨터 과학

Numerical Consistency and Accuracy of Large Language Models in Risk Communication for Cardiovascular Prevention in Older Adults: A Cross-Sectional Multi-Model Paired Study

이 횡단적 다중 모델 연구는 현재의 주류 거대 언어 모델들이 고령층의 심혈관 위험 지표를 변환하는 데 있어 거의 천장 효과에 도달한 정확도를 달성했음을 입증하지만, 이들의 성능은 주로 실행 시마다의 일관성에 의해 차이가 나며, 특히 DeepSeek는 Doubao나 Kimi보다 유의미하게 낮은 안정성을 보이는 반면, 이러한 불일치는 임상적으로 유의미한 오류가 아닌 거의 전적으로 양호한 반올림 오차에서 기인한다는 점을 보여준다.

원저자: Yanhui Jiao, Jiaxin Li, Xiuzhen Xing, Lei Cao, Qing Li

게시일 2026-11-03
📖 4 분 읽기☕ 가벼운 읽기

원저자: Yanhui Jiao, Jiaxin Li, Xiuzhen Xing, Lei Cao, Qing Li

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

심장병은 여전히 전 세계적으로 가장 흔한 질병 및 사망 원인이며, 그 영향은 고령층에게 가장 무겁게 작다. 의사들이 이러한 문제가 시작되기 전에 예방하려고 노력할 때, 그들은 종종 스타틴과 같은 매일 복용하는 약물을 권장한다. 이러한 약을 복용할지 여부에 대한 결정은 환자와 의사 사이의 공유된 이해, 즉 이것이 얼마나 도움이 될 것인가와 위험은 무엇인가에 달려 있다. 이 대화는 숫자에 의존한다. 의사는 치료가 심장마비 확률을 특정 퍼센트만큼 낮춘다고 설명하거나, 약을 복용하는 100명 중 특정 인원이 나쁜 사건을 피하게 된다고 설명할 수 있다. 동일한 사실을 기술하는 이 서로 다른 방식들은 모두 수학적으로 동등하지만, 인간의 정신에는 매우 다르게 느껴질 수 있다. 하나의 숫자를 다른 숫자로 변환하는 데는 수리력(numeracy)이라 불리는 기술이 필요한데, 이는 일부 의료 전문가들조차 어려워하는 부분이다. 의료 분야에서 인공지능 도구가 점점 더 보편화됨에 따라, 많은 사람이 이제 이러한 설명을 얻기 위해 AI에 의존하고 있다. 하지만 컴퓨터가 오늘 환자에게 어떤 숫자를 주고 내일 똑같은 질문에 대해 약간 다른 숫자를 준다면, 그 도구에 대한 신뢰는 무너지기 시작한다.

한 연구팀은 세 가지 인기 있는 인공지능 시스템이 이 특정한 과업을 얼마나 잘 수행하는지 테스트하기 위해 연구를 시작했다. 그들은 이 모델들이 복잡한 의학 통계를 고령층을 위한 명확하고 단순한 숫자로 일관되적으로 변환할 수 있는지 확인하고자 했다. 연구는 환자가 심장 약물의 이점과 해악을 알아야 하는 시나리오에 집중했다. 연구진은 다양한 위험 요인을 가진 고령 환자를 포함한 80가지의 서로 다른 현실적인 의료 이야기를 만들었다. 각 이야기에서 AI는 네 가지 구체적인 값을 계산해야 했다: 치료가 심장 사건의 위험을 얼마나 줄였는지, 부작าย의 위험을 얼마나 높였는지, 한 명의 환자가 혜택을 보기 위해 몇 명의 사람이 약을 복용해야 하는지, 그리고 한 명의 환자가 해를 입기 위해 몇 명이 약을 복용해야 하는지였다. 공정한 테스트를 보장하기 위해, 연구진은 세 가지 AI 모델 각각에게 모든 질문에 대해 영어와 중국어로 각각 세 번씩 연속해서 답하도록 요청했다. 그 결과 수천 개의 응답이 생성되었으며, 이는 인간 전문가들이 만든 고정된 완벽한 정답지와 대조되었다.

결과는 이 시스템들이 어떻게 작동하는지에 대한 놀라운 진실을 드러냈다. 수학을 정확하게 맞히는 데 있어서 모델들은 거의 완벽했다. 그들은 거의 항상 정확한 숫자를 계산해 냈으며, 이는 이러한 유형의 구조화된 과업에 대해 그들의 계산 능력이 이미 최고 수준에 도달했음을 시사한다. 그러나 진짜 이야기는 일관성에 관한 것이었다. 동일한 질문이 동일한 모델에 세 번 던져졌을 때, 답변이 항상 일치하지는 않았다. 모델 중 하나인 DeepSeek은 항상 동일한 결과를 생성하도록 설정된 모드임에도 불구하고, 10% 이상의 사례에서 다른 숫자 세트를 제시했다. 나머지 두 모델인 Doubao와 Kimi는 훨씬 더 안정적이었으며, 거의 매번 스스로의 답변과 일치했다. 이러한 불일치는 모델들이 창의성을 발휘하려 하지 않을 때도 발생했다. 그들은 단순히 숫자를 계산하라는 지시를 따르고 있었을 뿐이었다.

연구진이 모델들이 서로 다른 답을 내놓은 경우를 면밀히 조사했을 때, 그 차이는 거의 항상 미미하고 무해하다는 것을 발견했다. 거의 모든 경우에 있어 불일치는 단지 반올림의 문제였다. 예를 들어, 계산 결과 한 명의 환자를 돕기 위해 스물세 번의 약 복용이 필요하다면, 어떤 실행에서는 이를 24로 올림하고, 다른 실행에서는 23으로 내림할 수 있다. 이러한 작은 변화는 의학적 권고나 해당 약을 복용할 가치가 있는지에 대한 결론을 바꾸지 않았다. 모델들은 본질적으로 같은 말을 하고 있었으며, 단지 라벨에 적힌 숫자가 약간 달랐을 뿐이다. 모델의 응답 중 정말 문제가 되는 경우는 0.2% 미만으로 극히 적었다. 이러한 드문 사례들은 모델이 완전히 다른 값을 제시하거나, 답변하는 데 실패하거나, 자신의 답이 맞는지에 대해 의견을 바꾸는 경우를 포함했다.

연구는 또한 사용된 언어가 중요한지를 점검했다. 모델들은 영어에서만큼이나 중국어에서도 잘 수행했으며, 두 언어 사이의 정확도에 유의미한 차이는 없었다. 이는 이러한 숫자를 다루는 능력이 특정 언어에 국한되지 않음을 시사한다. 그러나 연구진은 영어에서 일관성 문제가 발생한 모델이 중국어에서도 어려움을 겪었다는 점에 주목했는데, 이는 문제가 특정 언어가 아니라 특정 소프트웨어 엔진 자체에 있음을 나타낸다. 이 연구 결과는 AI를 "제로 템퍼러처(zero temperature)" 모드로 설정하면 항상 동일한 답을 얻을 수 있다는 일반적인 믿음에 도전한다. 이 연구에서, 그러한 설정에도 불구하고 시스템은 내부적으로 구축되고 실행되는 방식 때문에 때때로 다른 숫자를 제공했다.

궁극적으로, 이 연구는 인공지능이 의학 통계 계산에는 뛰어나지만, 그 신뢰성은 계산을 얼마나 일관되게 반복하느냐에 달려 있음을 보여준다. 삶과 죽음이 걸린 질문을 던지는 환자에게, 비록 그 숫자들이 기술적으로는 모두 옳다 하더라도, 매번 다른 숫자를 듣는 것은 신뢰할 수 없게 느껴질 수 있다. 저자들은 의료용 AI를 평가할 때, 단순한 정확도를 넘어 이 안정성에 주의를 기울여야 한다고 제안한다. 그들은 모델이 단순히 다른 답을 주는 것이 아니라 '위험할 정도로' 다른 답을 주는 경우가 얼마나 자주 발생하는지를 세어 봄으로써 신뢰성을 측정하는 새로운 방법을 제안한다. 이번 심장 질환 시나리오의 경우 모델들은 안전했지만, 이 연구는 이러한 도구들이 실제 임상 현장에서 신뢰받기 위해서는 정답을 아는 것뿐만 아니라, 매번 똑같은 방식으로 말할 수 있어야 한다는 점을 강조한다.

연구 분야의 논문에 파묻히고 계신가요?

연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.

Digest 사용해 보기 →