💬 NLP

Consistent but Miscalibrated: Evaluating LLM Limitations for Risk Communication in Natural Language

본 연구는 확률적 위험 소통을 위한 사후 설명 도구로서 9개의 대규모 언어 모델을 평가하였으며, 이들이 전반적으로 일관되기는 하지만 특히 불확실성과 관련하여 여전히 현저하게 미교정된 상태임을 발견하였는데, 이는 이들이 수치적 예측을 자연어로 번역하는 데 있어 아직 신뢰할 수 있는 제로샷 도구가 아님을 나타낸다.

원저자: Diego Cerda-Mardini, Sarath Chandar, Sreenath Madathil

게시일 2026-07-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Diego Cerda-Mardini, Sarath Chandar, Sreenath Madathil

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 미래를 예측할 수 있는 수정구슬이 있다고 상상해 보세요. 하지만 이 구슬은 "예" 또는 "아니오"라고 명확하게 말해주는 대신, "73%의 확률"이나 "매우 불확실한 예측"처럼 숫자를 속삭입니다. 이제, 이 숫자를 평범한 사람을 위한 일상적인 영어로 번역하도록 똑똑한 로봇(대규모 언어 모델, 즉 LLM)에게 요청한다고 상상해 보세요. 당신은 숫자가 높을 때 로봇이 "비가 올 가능성이 매우 높습니다"라고 말하고, 숫자가 불확실할 때 "매우 불확실합니다"라고 말하기를 원합니다.

여기서 이 논문이 던지는 핵심 질문은 이것입니다: 이 로봇들이 실수 없이 그 일을 실제로 해낼 수 있을까?

연구진은 이 사실을 알아내기 위해 거대한 "번역" 게임을 설정했습니다. 그들은 단순히 로봇에게 추측하라고 시킨 것이 아니라, 특정하고 알려진 확률과 불확실성 수준을 가진 "수정구슬"(베타 분포라는 수학적 모델 사용)로부터 생성된 시뮬레이션된 예측값을 로봇에게 입력했습니다. 그런 다음 9개의 서로 다른 AI 모델에게 엄격한 선택지 메뉴(예: "매우 높은 가능성" 또는 "매우 불확실함") 중에서 완벽한 문구를 고르도록 했습니다. 이 과정은 '온도'(로봇이 얼마나 창의적이거나 무작위적인 선택을 할 수 있는지에 대한 설정)를 변경해가며 홍수 예측부터 도박꾼의 승리 여부를 추측하는 것까지 6가지의 다양한 실제 시나리오에서 반복되었습니다.

실험실에서 나온 결론은 다음과 같습니다: 로봇들은 일관적이지만, 보정(calibration) 능력은 형편없다.

이를 기상 예보관에 비유해 봅시다. 그 예보관은 당신이 물을 때마다 매번 똑같은 말을 하는 데는 매우 신뢰할 만하지만, 정작 그 말이 무엇을 의미하는지에 대해서는 완전히 틀린 경우와 같습니다.

일관성 (신뢰할 수 있는 로봇): 만약 당신이 같은 로봇에게 같은 질문을 열 번 한다면, 그 로봇은 거의 항상 똑같은 답을 내놓을 것입니다. 이는 마치 대본을 절대 잊지 않는 앵무새와 같습니다. 대부분의 모델은 여기서 매우 높은 점수를 받았으며, 최고 수준의 모델인 GPT-5.4는 완벽한 점수인 1.0을 기록했습니다. 그것은 결코 흔들리지 않았습니다.
보정 (진실을 말하는 자): 바로 이 지점에서 로봇들이 비틀거립니다. 보정이란 단어를 실제 수학적 수치와 일치시키는 것을 의미합니다. 만약 수학적으로 "95%의 확률"이라면 로봇은 "거의 확실함"이라고 말해야 합니다. 만약 "10%의 확률"이라면 "매우 낮음"이라고 말해야 합니다. 연구 결과, 대부분의 로봇은 보정이 잘못되어 있음이 드러났습니다. 그들은 수학적으로 "거의 불가능"하거나 "보장된" 상황임에도 불구하고, 상관없이 똑같이 중간 정도의 표현(예: "어느 정도 확실함")을 선택하는 경등이 있습니다. 이는 마치 주사위 눈이 무엇이 나오든 항상 "글쎄요"라고 말하는 사람과 같습니다.

이 논문이 명시적으로 배제한 것:
당신은 이렇게 생각할지도 모릅니다. "혹시 로봇이 수학을 못 하는 것 아닐까? 만약 우리가 가공되지 않은 데이터 대신 최종 숫자를 직접 준다면 제대로 할 수 있지 않을까?" 연구진은 이 아이디어를 정확히 테스트했습니다. 그들은 로봇에게 프롬프트에 '최빈값'(가장 가능성 높은 숫자)과 '표본 크기'(수학적 확신의 정도)를 직접 제공했습니다. 결과는 어땠을까요? 도움이 되지 않았습니다. 로봇은 여전히 숫자를 올바른 단어로 매핑하는 데 실패했습니다. 이는 문제가 로봇이 수학을 못 하는 것이 아니라, 번역 단계 자체에 있음을 시사합니다. 그들은 숫자를 단어로 연결하는 견고한 내부 사전이 없는 것입니다.

"온도"의 트레이드오프:
연구진은 또한 로봇의 선택을 얼마나 무작위로 만드는지를 조절하는 "온도" 설정을 가지고 실험했습니다.

낮은 온도: 로봇은 지루한 로봇이 됩니다. 매번 똑같은 안전한 단어를 선택합니다. 일관성은 높지만, 틀에 박혀 숫자에 잘 맞지 않게 됩니다.
높 높은 온도: 로봇은 조금 더 자유분방해집니다. 다양한 단어를 선택하기 시작하며, 이는 실제로 숫자에 더 잘 맞추는 데 도움을 주어(보정 능력 향상) 결과적으로 보정 능력을 개선하지만, 동일한 질문에 대해 다른 답을 내놓는 변덕스러운 로봇이 되어버립니다(일관성 파괴).

단 하나의 우수한 성적:
한 가지 예외가 있었습니다: GPT-5.4였습니다. 이 모델은 **가능성(likelihood)**을 설명하는 데 있어 괴물 같았습니다. 이 모델은 0.96이라는 완벽에 가까운 보정 점수와 1.0이라는 완벽한 일관성 점수를 얻었습니다. 이 모델은 "만약 숫자가 X라면, 나는 Y라고 말한다"라는 완벽하고 엄격한 규칙을 학습한 것처럼 보였습니다. 그러나 이 슈퍼 로봇조차 불확실성(uncertainty) 문제에서는 실패했습니다. 이 모델은 불확실성 과업에서 0.37이라는 점수를 기록하며, 다른 모델들과 마찬가지로 모호하고 중간적인 표현을 기본적으로 사용했습니다. 아무리 똑똑한 로봇이라도 수학에 맞춰 "정말 잘 모르겠다"라고 말하는 법은 알지 못한다는 것이 드러났습니다.

결론:
이 논문의 결론은 현재로서는 이 AI 모델들이 대중에게 위험을 설명하는 독립적인 도구로서 준비가 되지 않았다는 것입니다. 이들은 매우 유창하고 읽기 쉬운 문장을 만들어내지만, 그 단어들이 실제 의미와 일치하지 않는 언어를 사용하는 매우 일관적인 번역가와 같습니다. 만약 당신이 이들에게 의료적 위험이나 홍수 경보를 설명하게 한다면, 그들은 실제로는 오해의 소지가 있는 답변을 매우 자신감 있게 내놓을 수도 있습니다.

저자들은 이러한 모델들이 유창하고 읽기 쉬운 문장을 만드는 데는 뛰어나지만, 단순히 위험 계산기에 이 모델들을 연결하고 정확한 결과를 기대해서는 안 된다고 제안합니다. "병목 현상"은 수학이 아니라, 숫자를 신뢰할 수 있는 단어로 바꾸는 로봇의 능력에 있습니다. 이를 해결하기 전까지, 우리는 삶과 죽음이 걸린 상황의 확률을 AI가 설명하도록 두는 것에 대해 매우 주의해야 합니다.

기술 요약: 일관적이지만 미교정된: 자연어 리스크 커뮤니케이션을 위한 LLM의 한계 평가

1. 문제 정의

대규모 언어 모델(LLM)은 의료, 금융, 법률과 같은 고위험 영역에서 AI 생성 출력에 대한 사후 설명자(post-hoc explainers)로서 점점 더 많이 배치되고 있습니다. 모델의 예측을 신뢰할 수 있는지 나타내는 교정된 불확실성 점수(calibrated uncertainty scores)가 존재하지만, 최종 사용자는 통계적 정의와 직관적 이해 사이의 괴리로 인해 이러한 수치적 값을 해석하는 데 어려움을 겪는 경우가 많습니다.

본 연구가 다루는 핵심 문제는 LLM이 확률 정보(구체적으로 **우도(likelihood)**와 예측 불확실성(predictive uncertainty))를 **자연어 설명(NLEs)**으로 신뢰성 있게 변환할 수 있는지 여부입니다. 이 역할을 수행하기 위해 모델은 다음 두 가지 기준을 충족해야 합니다:

일관성(Consistency): 반복되는 쿼리에 대해 동일한 입력에 대해 동일한 언어적 기술어를 생성함.
교정(Calibration): 기저의 수치적 양을 정확하게 반영하는 기술어를 선택함 (예: 높은 확률의 사건에는 "매우 높음", 낮은 확률의 사건에는 "낮음"을 할당).

기존 문헌에 따르면 LLM은 불확실성을 표현하기보다 유용성과 결단성을 우선시하는 경 경향이 있어, 확률적 구어화(probabilistic verbalization)에서 체계적인 한계를 보일 수 있다고 제안됩니다. 그러나 여러 아키텍처, 도메인 맥락 및 생성 설정을 가로질러 교정과 일관성을 공동으로 측정하는 통제된 평가는 부족한 실정입니다.

2. 방법론

실험 설계

본 연구는 리스크 커뮤니케이션을 기술어 선택 작업으로 공식화합니다. 실험 파이프라인은 다음과 같습니다:

업스트림 시뮬레이션: 예측은 모드( $m$ , 우도를 나타냄)와 사전 샘플 크기( $k$ , 불확실성을 나타냄)에 의해 매개변수화된 **베타 분포(Beta distributions)**로부터 샘플링하여 시뮬레이션되었습니다. $m \in [0.05, 0.95]$ , $k \in [50, 950]$ 인 100개의 조합 그리드를 사용하여 우도와 불확실성의 체계적인 변화를 생성했습니다.
작업 구성: LLM은 정해진 순서의 NLE 세트(예: "거의 확실함"부터 "예외적으로 낮음"까지)로부터 시뮬레이션된 시나리오의 우도와 불확실성에 대한 최적의 언어적 기술어를 선택하도록 프롬프트되었습니다.
변수:
- 모델: 소규모 오픈 소스 모델(4B–8B 파라미터)부터 대규모 상용 및 오픈 모델(최대 32B 및 GPT-5.4)에 이르기까지 9개의 LLM을 평가했습니다.
- 도메인 맥락: 이해관계 수준(높음, 중간, 낮음)과 이벤트 범위(개인 vs. 집단)를 달리하여 견고성을 테스트하기 위해 6개의 맥락을 사용했습니다: 홍수 예측, 암 예측, 약물 아나필락시스, 도박, 레스토랑 추천, 오로라 하이킹.
- 온도(Temperature): 실험은 10가지 온도 설정(0.0 ~ 0.9)에 걸쳐 반복되었습니다.
- 반복: 일관성을 측정하기 위해 각 실험은 10회 반복되었습니다.
어블레이션 연구(Ablation Studies):
- 사전 계산된 통계량: 모드( $m$ )와 샘플 크기( $k$ )를 프롬프트에 직접 제공하여 병목 현상이 통계적 추론인지 아니면 구어화인지 확인했습니다.
- 메트릭 견고성: 전문가가 도출한 범위에 대한 외부 검증, 패널티 파라미터 변화, 대안적 불확실성 척도(분산, 엔트로피)를 포함한 6가지 추가 어블레이션을 통해 메트릭 민감도를 테스트했습니다.

평가 메트릭

일관성 점수(Consistency Score): 동일한 입력에 대해 10회의 반복 실행 동안 동일한 기술어 선택 빈도를 측정했습니다 (범위 [0, 1]).
교정 점수(Calibration Score): 존케-테르프스트라(Jonckheere-Terpstra, JT) 추세 검정을 응용했습니다. 모델의 기술어 선택이 기저 분포의 수치적 순서를 존중하는지 평가했습니다. 모델이 다른 곳의 "약한" 기술어보다 더 낮은 수치에 "강한" 기술어를 할당하는 경우 위반으로 간주되었습니다. 모델이 사용 가능한 어휘의 전체 범위를 활용하지 못하는 것에 대해 점수를 차감했습니다.
작업 정확도(pass@k): 모델이 $k=5$ 번의 시도 내에 올바른 형식의 출력을 생성할 확률을 측정하여, 포맷팅 오류가 교정 및 일관성 점수를 인위적으로 높이지 않도록 했습니다.

3. 주요 결과

일관성 vs. 교정

일반적 발견: LLM은 일반적으로 일관적이지만 미교정된(consistent but miscalibrated) 것으로 나타났습니다.
일관성: 대부분의 아키텍처는 우도 작업에 대해 높은 일관성 점수(평균 > 0.8)를 달려 얻었습니다. GPT-5.4는 우도와 불확실성 모두에서 완벽한 평균 일관성 점수인 1.0을 달성했습니다. 그러나 온도가 높아짐에 따라 일관성은 유의미하게 감소했습니다.
교정:
- 우도: 대부분의 모델은 미교정 상태였습니다. GPT-5.4가 예외였으며, 평균 우도 교정 점수 0.96을 달성했습니다. 다른 모델들은 0.07에서 0.78 사이였습니다.
- 불확실성: 모든 모델에서 교정이 상당히 취약했습니다. 어떤 아키텍처도 불확실성 작업에서 0.40 이상의 점수를 얻지 못했습니다 (GPT-5.4는 0.37, 다른 모델들은 0.07만큼 낮았습니다).

변수의 영향

온도: 온도를 높이는 것은 트레이드오프를 생성했습니다: 더 넓은 어휘 사용을 장려함으로써 교정 성능을 약간 개선했지만, 일관성을 크게 저하시켰습니다.
도메인 맥락: 맥락은 두 지표 모두에 영향을 미쳤으나, 모든 모델에 걸쳐 성능을 일률적으로 개선하거나 악화시키는 단일 도메인은 없었습니다. GPT-5.4는 도메인 맥락 변화에 거의 영향을 받지 않았습니다.
사전 계산된 데이터: 명시적인 수치 요약(모드 및 샘플 크기)을 제공하는 것이 모든 모델의 교정이나 일관성을 개선하지 못했습니다. 이는 병목 현상이 원시 샘플의 통계적 추론이 아니라 **구어화 단계(verbalization step)**에 있음을 시사합니다.
어휘 사용: 대부분의 모델은 사용 가능한 모든 기술어를 선택하는 데 실패했습니다. 모델들은 기저의 수학적 불확실성과 상관없이 좁은 범위의 중간 정도 기술어(예: "어느 정도 확실함")를 기본값으로 사용하는 경향이 있었으며, 극단적인 기술어는 거의 선택하지 않았습니다.

견고성

어블레이션 연구는 본 연구의 결과가 견고함을 확인해 주었습니다. 전문가가 도출한 범위에 대한 외부 검증 결과, GPT-5.4는 전문가 합의를 밀접하게 따랐으나 다른 모델들은 큰 절대 오차를 보였습니다. 사전 계산된 파라미터를 사용하는 것이 근본적인 미교정 문제를 변화시키지 않았다는 점은, 문제가 통계 계산 능력이 아니라 수치를 언어적 기술어로 변환하는 능력에 있음을 재확인시켜 줍니다.

4. 기여 및 의의

본 논문은 확률적 예측에 대한 사후 설명자로서의 LLM에 대한 체계적인 평가를 제공하며 다음을 확립합니다:

현재의 한계: 현재의 LLM은 신뢰할 수 있는 제로샷 독립형 리스크 커뮤니케이션 도구가 될 수 없습니다. 모델은 일관적이지만, 특히 예측 불확실성에 대해서는 심각하게 미교정되어 있습니다.
구어화의 병목 현상(The Verbalization Bottleneck): 리스크를 정확하게 전달하지 못하는 문제는 통계적 추론의 실패(그라운드 트루스 파라미터를 제공해도 도움이 되지 않았으므로)가 아니라, 알려진 수치적 양을 교정된 언어적 기술어로 매핑하는 과정에 존재합니다.
규모 및 아키텍처: 강력한 성능이 모든 아키텍처에서 균등하게 나타나지는 않았습니다. GPT-5.4는 우도에 대해 거의 완벽한 교정을 보여주었지만, 이러한 역량이 불확실성 작업으로 전이되지 않았으며, 이는 규모만으로는 확률적 개념에 대한 창발적 이해를 위해 충분하지 않을 수 있음을 시사합니다.
맥락적 민감도: 모델은 도메인 맥락에 민감하게 반응하며, 고위험 의료 또는 재난 시나리오에서 더 신중한 언어를 사용할 가능성이 있습니다. 이는 진정한 미교정과 사회적으로 적절한 헤징(hedging) 사이의 구분을 복잡하게 만듭니다.

5. 결론

저자들은 LLM이 유창하고 접근 가능한 언어를 생성하는 데는 여전히 유망하지만, 현재로서는 확률 정보와 NLE 사이의 충분히 안정적인 내부 매핑을 갖추지 못하고 있다고 결론짓습니다. 본 연구는 업스트림 통계 방법과 LLM을 결적으로 결합하는 것만으로는 교정 결핍을 해결할 수 없음을 강조하며, 구어화 단계에 특화된 개입의 필요성을 부각합니다. 이러한 결과는 리스크 커뮤니케이션이 매우 어렵고 전문적인 작업임을 재확인하며, 현재의 모델들이 확률적 예측을 정보에 입각한 의사결정을 위한 자연어로 신뢰성 있게 번역할 준비가 아직 되지 않았음을 보여줍니다.