🤖 machine learning

Safety and accuracy follow different scaling laws in clinical large language models

본 논문은 SaFE-Scale 프레임워크와 RadSaFE-200 벤치마크를 도입하여 임상용 대규모 언어 모델의 안전성이 단순한 확장으로 인한 수동적 부산물이 아니라 배포에 의존하는 속성임을 입증하며, 고품질 증거가 위험한 오류를 현저히 감소시키는 반면 표준 검색과 연산량 증가는 이러한 안전성 향상을 재현하지 못함을 보여줍니다.

원저자: Sebastian Wind, Tri-Thien Nguyen, Jeta Sopa, Mahshad Lotfinia, Sebastian Bickelhaup, Michael Uder, Harald Köstler, Gerhard Wellein, Sven Nebelung, Daniel Truhn, Andreas Maier, Soroosh Tayebi Arasteh

게시일 2026-05-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sebastian Wind, Tri-Thien Nguyen, Jeta Sopa, Mahshad Lotfinia, Sebastian Bickelhaup, Michael Uder, Harald Köstler, Gerhard Wellein, Sven Nebelung, Daniel Truhn, Andreas Maier, Soroosh Tayebi Arasteh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 간단한 언어와 창의적인 비유를 사용하여 설명합니다.

핵심 아이디어: 더 크다고 해서 항상 안전한 것은 아닙니다

환자를 진단하는 데 도움을 주기 위해 의대생 팀을 고용한다고 상상해 보세요. 가장 '똑똑한' 학생 (가장 큰 AI 모델) 을 고용하거나, 그들이 읽을 거대한 도서관 (더 많은 데이터) 을 제공하면 자동으로 위험한 실수가 줄어들 것이라고 가정할 수 있습니다.

하지만 이 논문은 이 가정이 잘못되었다고 주장합니다. 고위험 의료 세계에서는 단순히 모델을 '더 똑똑하게' 또는 '더 크게' 만드는 것이 안전을 보장하지 않습니다. 평균적으로 매우 정확한 모델이라도 몇 가지 끔찍할 정도로 자신감 넘치는 위험한 실수를 저지를 수 있습니다.

연구진은 이러한 AI 시스템이 실제로 무엇을 통해 안전해지는지 확인하기 위해 RadSaFE-200이라는 새로운 테스트 장을 구축했습니다. 이는 의료 AI 를 위한 '안전 운전 시험'과 같은 것입니다. 연구진은 6 가지 다른 시나리오 하에서 34 개의 서로 다른 AI 모델을 테스트했습니다.

6 가지 시나리오: AI 를 어떻게 테스트했는가

연구진은 AI 에게 단순히 질문을 던진 것이 아니라, AI 가 답변할 수 있는 방식을 변경했습니다. 이를 시험을 보는 학생이 취할 수 있는 6 가지 다른 방식으로 상상해 보세요:

클로즈드북 (Closed-Book): 학생은 오직 기억만으로 답변해야 합니다. 메모는 허용되지 않습니다.
클린 증거 (Clean Evidence): 학생은 시험 직전 완벽하고 명확한, 의사가 작성한 사실 요약본을 받습니다.
충돌 증거 (Conflict Evidence): 학생은 완벽한 요약본을 받지만, 누군가 혼란스럽거나 모순되는 문장 하나를 슬쩍 끼워 넣습니다.
표준 검색 (RAG): 학생은 Radiopaedia(라디오파디아) 와 같은 정돈되지 않고 정리되지 않은 백과사전에서 답변을 찾아볼 수 있지만, 노이즈를 필터링하는 방법을 모릅니다.
에이전트 검색 (Agentic RAG): 학생은 백과사전을 검색하고 결과를 읽은 후 요약하여 학생에게 제공하는 똑똑한 조수 (어시스턴트) 를 가지고 있습니다.
최대 컨텍스트 (Max Context): 학생은 혼란 속에서 올바른 페이지를 찾을 수 있기를 바라며, 전체 백과사전이 무더기로 자신에게 쏟아져 들어옵니다.

놀라운 결과

1. '클린 증거'의 초능력

가장 큰 발견은 의사가 작성한 고품질의 사실 정보를 AI 에게 제공하는 것이 안전 문제를 진정으로 해결한 유일한 방법이라는 점입니다.

비유: 시험을 보는 학생을 상상해 보세요. 노벨상 수상 의사가 작성한 치트시트를 제공하면, 학생은 거의 모든 문제를 맞히고 위험한 실수를 거의 하지 않습니다.
데이터: AI 가 이 '클린 증거'를 받았을 때, 정확도는 73.5% 에서 94.1% 로 급증했습니다. 더 중요한 것은 위험한 오류가 12% 에서 불과 2.6% 로 감소했다는 점입니다.

2. '검색'의 함정

연구진은 AI 에게 인터넷 (검색/RAG) 이나 똑똑한 조수 (에이전트) 에 대한 접근 권한을 주면 안전해질 것이라고 생각했습니다.

비유: 이는 학생에게 지저분한 도서관을 주는 것과 같습니다. 올바른 책을 찾을 수도 있지만, 혼란스러운 블로그 글을 읽고 잘못된 답변에 대해 자신감을 가질 수도 있습니다.
결과: '검색' 방식은 정확도를 약간 향상시켰지만, 안전 문제를 해결하지는 못했습니다. AI 는 여전히 위험한 실수를 저질렀으며, 때로는 그 잘못된 답변에 대해 더 과신하게 되었습니다.

3. '큰 두뇌' 신화

연구진은 작고 거대하기까지 한 (수천억 개의 파라미터를 가진 것들 포함) 모델들을 테스트했습니다.

비유: 고등학생보다 박사 과정의 천재 학생이 더 안전할 것이라고 생각할 수 있습니다. 하지만 이 시험에서는 올바른 메모가 없다면 박사 과정 학생도 고등학생과 똑같은 구체적이고 위험한 실수를 저질렀습니다.
결과: 모델을 더 크게 만드는 것이 자동으로 더 안전하게 만들지는 않았습니다. 모델의 '두뇌' 크기보다 모델에 제공된 정보의 품질이 훨씬 더 중요했습니다.

4. 자신감의 함정

가장 무서운 발견 중 하나는 자신감에 관한 것이었습니다.

비유: 문제를 틀렸지만, 표정 하나 바꾸지 않고 "내가 100% 맞다"고 말하는 학생을 상상해 보세요.
결과: AI 는 틀렸을 때 종종 위험할 정도로 과신했습니다. 모델이 작든 크든 상관없이, 고위험 의료 실수를 저질렀을 때 보통 그 실수에 대해 매우 확신에 차 있었습니다. AI 가 안전한지 여부를 판단하기 위해 AI 의 '자신감 게이지'를 신뢰할 수 없습니다.

5. '군중심리' 문제

연구진은 서로 다른 3 개의 AI 를 모아 답변에 대해 투표하게 하는 (앙상블) 방식을 시도하여 서로의 실수를 잡아내기를 기대했습니다.

비유: 이는 세 명의 의사로 구성된 위원회와 같습니다. 한 명이 틀리면 다른 이들이 그들을 수정할 것이라고 생각할 수 있습니다.
결과: 때로는 세 AI 모두 정확히 같은 잘못된 실수를 동시에 저지릅니다. 이를 '동기화된 실패 (synchronized failure)'라고 합니다. AI 그룹이 잘못된 답변에 동의하면, 인간이 그 답변이 확실히 올바르다고 오인하게 만들어 상황을 더욱 위험하게 만듭니다.

결론

이 논문은 안전성이 AI 를 더 크거나 빠르게 만드는 수동적인 결과가 아님을 결론지었습니다.

**확장 (Scaling up, 모델을 더 크게 만드는 것)**은 약간 도움이 되지만, 안전 문제를 해결하지는 못합니다.
**연산 능력 추가 (AI 가 더 오래 생각하거나 여러 번 투표하게 하는 것)**는 핵심 문제를 해결하지 못합니다.
유일하게 작동한 것: 답변하기 직전에 AI 에게 정리된 고품질의 의사가 선별한 증거를 제공하는 것입니다.

핵심 교훈: 안전한 의료 AI 를 원한다면 단순히 가장 큰 모델을 구매하지 마십시오. 대신 AI 에게 가능하면 가장 최적이고 신뢰할 수 있는 정보를 공급하는 시스템을 구축하는 데 집중하십시오. AI 가 읽는 '메모'의 품질이 그것을 읽는 '학생'의 크기보다 더 중요합니다.

기술 요약: 임상 대규모 언어 모델에서 안전성과 정확성은 서로 다른 스케일링 법칙을 따릅니다

문제 제기
임상 대규모 언어 모델 (LLM) 은 의사결정 지원 목적으로 점점 더 많이 배포되고 있으며, 종종 모델 크기, 컨텍스트 길이 또는 추론 시간 컴퓨팅을 확장하는 것이 본질적으로 안전성을 향상시킬 것이라는 가정 하에 운영됩니다. 그러나 방사선과와 같은 임상 영역에서 안전성은 단순히 평균 정확도의 함수가 아닙니다. 모델이 높은 정확도를 달성하면서도 임상 관리 변경, 증거 모순, 또는 위험한 과신으로 전달될 수 있는 "고위험" 오류의 소수 하위 집합을 유지할 수 있습니다. 기존의 벤치마크는 모든 잘못된 답변을 동등하게 취급하여 경미한 오류와 심각한 임상적 결과를 초래하는 오류를 구분하지 못합니다. 저자들은 안전성과 관련된 오류가 희소하고, 비대칭적이며, 임상적으로 구조화되어 있다고 주장합니다. 이는 평균 성능을 향상시키는 스케일링 전략이 이러한 특정하고 중대한 실패 모드를 완화하지 못할 수 있음을 의미합니다.

방법론
이 격차를 해결하기 위해 저자들은 SaFE-Scale(확장에 대한 안전성 중심 평가) 을 도입했습니다. 이는 모델 규모, 증거 품질, 검색 전략, 컨텍스트 노출, 그리고 추론 시간 컴퓨팅에 따라 임상 LLM 의 안전성이 어떻게 변화하는지 측정하는 프레임워크입니다.

벤치마크 구축 (RadSaFE-200): 본 연구는 200 개의 객관식 질문으로 구성된 방사선과 안전성 중심 평가 벤치마크인 RadSaFE-200 을 활용합니다. 이 데이터셋은 이전에 출판된 세트 (RadioRAG, RaR) 와 새로 큐레이션된 사례에서 추출되었습니다. 핵심적으로 각 질문에는 다음이 포함됩니다:
- 임상가가 정의한 "정제된 증거"(간결하고 정확한 임상적 추론).
- "충돌 증거"(정제된 증거에 주의 분산 요소나 부분적으로 충돌하는 문장이 추가된 것).
- 특정 답변 선택지가 고위험 오류(잠재적인 임상적 해악), 불안전한 답변(표준 치료 지침에 위배), 또는 증거 모순에 해당하는지 여부를 나타내는 옵션 수준의 안전성 라벨.
실험 설계: 저자들은 0.5B 에서 685B 파라미터에 이르는 7 개 계열 (Qwen, Llama, Gemma, MedGemma, DeepSeek, Mistral, OpenAI-OSS) 의 34 개 로컬 배포 LLM 을 평가했습니다. 평가는 다음 6 가지 배포 조건에 걸쳐 완전 요인 설계 (fully factorial design) 로 수행되었습니다:
- 클로즈드북: 외부 증거 없이 제로샷 프롬핑팅.
- 정제된 증거: 큐레이션된 임상가가 작성한 증거를 포함한 프롬핑팅.
- 충돌 증거: 주의 분산 요소를 포함한 증거를 포함한 프롬핑팅.
- 표준 RAG: 고정된 파이프라인과 Radiopaedia 를 소스로 사용하는 검색 증강 생성.
- 에이전틱 RAG: 다단계 쿼리 재구성 및 합성을 포함하는 검색 및 추론 (RaR) 프레임워크.
- 최대 컨텍스트: 가능한 최대 컨텍스트 창을 포함한 프롬핑팅.
부가 실험에서는 자기 일관성(20 개 샘플에 대한 다수결 투표) 과 고정 3 모델 앙상블(이질적 모델 간 다수결 투표) 을 통해 추론 시간 컴퓨팅을 조사했습니다.
지표: 주요 결과는 고위험 오류율, 불안전한 답변율, 모순율, 그리고 위험한 과신(엔트로피 정규화 신뢰도 $\ge$ 0.80 인 잘못된 고위험 답변으로 정의됨) 이었습니다. 정확도는 보조 종결점으로 보고되었습니다.

주요 결과
본 연구는 안전성과 정확성이 다양한 배포 조건에서 크게 분리됨을 보여줍니다:

증거 품질의 지배적 영향: 정확도와 안전성 모두에서 가장 큰 개선은 정제된 임상가가 작성한 증거를 제공함으로써 이루어졌습니다. 이로 인해 모델 평균 정확도는 클로즈드북 기준 73.5% 에서 94.1% 로 상승했고, 고위험 오류는 12.0% 에서 2.6% 로 감소했습니다. 위험한 과신은 8.0% 에서 1.6% 로 하락했습니다.
검색 및 에이전틱 추론의 한계: 표준 RAG 와 에이전틱 RAG 는 클로즈드북 프롬핑팅 (각각 76.0% 와 78.1%) 보다 정확도를 향상시켰지만, 정제된 증거의 안전성 프로필을 재현하지는 못했습니다. 에이전틱 RAG 는 표준 RAG 보다 정확도를 향상시켰음에도 불구하고 더 높은 위험한 과신 (5.7% 대비 8.0%) 을 초래하여, 개선된 증거 통합이 자동으로 자신감 있는 고위험 오류를 제거하지는 못함을 시사합니다.
스케일링 및 컴퓨팅의 비효율성:
- 모델 규모: 모델 계열 내에서 더 큰 파라미터는 클로즈드북 기준선을 향상시켰지만 고위험 오류를 제거하지는 못했습니다. 정제된 증거는 계열 간 변이를 축소시켜, 안전성에 대한 모델 크기보다 증거 품질이 더 강력한 결정 요인임을 시사합니다.
- 컨텍스트 길이: 최대 컨텍스트 프롬핑팅은 지연 시간을 증가시켰습니다 (18.0 초 대비 27.0 초) 만 안전성 격차를 해소하지 못했으며, 클로즈드북 프롬핑팅과 유사한 정확도 (74.0%) 를 보였습니다.
- 추론 시간 컴퓨팅: 자기 일관성은 정확도 (+0.39%) 와 안전성에서 미미한 개선만 제공하여 고위험 오류를 유의미하게 감소시키지 못했습니다.
- 앙상블: 앙상블은 패널 평균에 비해 집계 정확도를 향상시켰지만, 세 구성원 모두 동일한 잘못된 옵션을 선택하는 동기화된 실패를 초래했습니다. 많은 앙상블 고위험 오류가 만장일치였으며, 앙상블은 항상 가장 안전한 개별 구성원보다 성능이 우수하지는 않았습니다.
신호로서의 신뢰도: 신뢰도는 신뢰할 수 없는 안전성 필터로 밝혀졌습니다. 모델은 고위험 또는 불안전한 오류를 생성할 때도 종종 85% 이상의 높은 신뢰도를 유지했습니다. 정답에 대한 신뢰도와 고위험 오류에 대한 신뢰도 간의 격차는 배포 필터로 작용하기에 너무 작았습니다.
최악의 경우 집중: 임상적으로 중대한 실패는 무작위적으로 발생하지 않았으며, 소수의 질문 집단에 집중되었습니다. 상위 15 개 최고 위험 질문은 모델 패널의 50% 이상에서 고위험 오류를 발생시켰으며, 일부 질문은 모든 34 개 모델에서 100% 실패율을 초래했습니다.

의의 및 주장
본 논문은 임상 LLM 의 안전성이 모델 크기, 컨텍스트, 또는 컴퓨팅과 같은 스케일링의 수동적 결과가 아니라, 증거 품질, 검색 설계, 그리고 컨텍스트 구성에 의해 형성되는 배포 속성이라고 주장합니다.

지표의 분리: 저자들은 정확도 스케일링 법칙이 안전성에는 적용되지 않는다고 주장합니다. 배포 전략 (예: 검색) 이 고위험 오류의 특정 성격을 다루지 않는다면, 시스템은 더 정확해지더라도 여전히 안전하지 않을 수 있습니다.
증거의 중요성: 안전성을 위한 주요 수단은 모델에 제공되는 정보의 품질입니다. 큐레이션된 임상가가 작성한 증거는 모델을 "안전한 배포 영역"(정확도 $\ge$ 90%, 고위험 오류 $\le$ 5%) 으로 이동시킨 유일한 조건입니다.
배포 전략의 재평가: 연구 결과는 임상 안전성을 위해 검색, 에이전틱 추론, 또는 앙상블에만 의존하는 것은 불충분함을 시사합니다. 이러한 방법은 평균 성능을 향상시킬 수 있지만, 임상적 위험을 초래하는 잔여적이고 높은 신뢰도의 오류를 남깁니다.
평가의 전환: 본 논문은 단일 지표 정확도 보고에서 고위험 오류, 모순, 그리고 동기화된 실패를 명시적으로 측정하는 다차원 안전성 프로파일링으로 임상 LLM 평가의 전환을 옹호합니다. RadSaFE-200 과 SaFE-Scale 은 이러한 세밀하고 배포별 안전성 분석을 가능하게 하는 도구로 제시됩니다.

저자들은 더 안전한 임상 AI 시스템이 모델 파라미터나 추론 시간 컴퓨팅의 스케일링에서 안전성이 자연스럽게 도출된다고 가정하는 대신, 증거 품질 통제를 통해 고위험 오류 감소를 우선시하는 배포 수준의 명시적 안전성 측정을 필요로 한다고 결론 내립니다.