MedCalc-Bench Doesn't Measure What You Think: A Benchmark Audit and the Case for Open-Book Evaluation

이 논문은 MedCalc-Bench 벤치마크에 존재하는 20 개 이상의 오류를 수정하고, 계산기 명세를 제공하는 '오픈북' 프롬프팅 방식을 통해 기존 RL 기반 모델의 성능을 압도하는 결과를 도출함으로써, 해당 벤치마크가 임상 추론이 아닌 공식 암기 및 도구 사용 능력을 측정하는 것임을 규명했습니다.

핵심

🏥 1. 문제의 시작: "공식 암기"라는 함정

지금까지 의료 AI 를 평가할 때, "의사처럼 복잡한 의학 공식을 머릿속으로 외워서, 주어진 환자 정보를 보고 직접 계산해 내는 능력" 을 시험했습니다.

• 비유: 마치 "주어진 재료 (환자 정보) 로 요리를 하라"고 하면서, "레시피 (의학 공식) 는 절대 보고 안 된다. 무조건 머릿속에 외운 레시피대로 해라" 라고 하는 것과 같습니다.
• 현실: 실제 병원에서는 어떤 의사도 APACHE-II 같은 복잡한 공식을 외워서 계산하지 않습니다. 모두 계산기나 앱을 켜고 숫자를 입력합니다.
• 결과: AI 들은 이 '암기 시험'에서 매우 낮은 점수 (약 35%~50%) 를 받았습니다. AI 가 멍청해서가 아니라, 시험 방식이 현실과 동떨어져 있었기 때문입니다.

🔍 2. 저자의 첫 번째 발견: "시험지 자체가 엉망이었다"

저자는 먼저 이 시험을 내는 데 사용된 계산기 프로그램 (데이터) 자체를 꼼꼼히 점검했습니다. 그랬더니 놀라운 사실이 드러났습니다.

• 발견: 공식에 숫자가 틀렸거나, 계산 로직에 버그가 있는 경우가 20 개 이상이나 있었습니다.
• 비유: "수학 문제를 풀 때, 정답지 (계산기) 에 이미 오답이 적혀 있거나, 계산기가 고장 난 상태" 에서 시험을 본 것과 같습니다. AI 가 아무리 잘해도 정답을 맞출 수 없었던 것입니다.
• 조치: 저자는 이 오류들을 모두 수정했습니다.

📖 3. 두 번째 발견: "책 보고 풀면 (Open-Book) 점수가 폭등"

저자는 가장 중요한 실험을 했습니다. AI 에게 "공식을 외우지 말고, 문제지 옆에 공식 (계산기 설명서) 을 보여주고 풀어라" 라고 지시한 것입니다. 이를 '오픈북 (Open-Book) 방식' 이라고 부릅니다.

• 실험 결과:
  • 공식 암기 (Closed-Book): 점수 약 36% ~ 52% (엉망)
  • 공식 제공 (Open-Book): 점수 81% ~ 85% (급상승!)
• 비유: "공식을 외우지 않아도, 옆에 있는 참고서 (공식) 를 보며 문제를 풀면 AI 는 거의 만점을 맞는다" 는 뜻입니다.
• 의미: AI 가 의학을 못 하는 게 아니라, 공식을 외우라는 시험 방식이 틀렸던 것입니다. AI 는 공식을 보고 계산하는 '도구 사용 능력'은 이미 매우 뛰어납니다.

🏆 4. 결론: AI 는 "계산기"를 잘 다룰 줄 안다

이 논문의 결론은 매우 명확합니다.

1. 지금의 시험은 잘못됐다: MedCalc-Bench 라는 시험은 AI 의 '임상적 추론 능력 (환자를 진단하는 능력)'을 재는 게 아니라, '공식 암기 능력'과 '소수점 계산 정확도' 를 재는 시험이었다.
2. 해결책: AI 를 평가할 때는 공식을 외우게 하지 말고, 공식 (계산기) 을 제공한 채로 '환자 정보를 잘 추출해서 계산기에 넣는 능력'을 평가해야 한다.
3. 최고 점수: 만약 가장 똑똑한 AI (GPT-5.2 등) 가 이 방식 (오픈북 + 도구 사용) 으로 시험을 본다면, 95% 이상의 점수를 받을 수 있다.

💡 한 줄 요약

"의사들은 공식을 외우지 않고 계산기를 쓰는데, 왜 AI 에게는 공식을 외우라고 시험을 보는가? AI 가 계산기를 잘 쓰는 능력을 제대로 평가하려면, 공식 (참고서) 을 보여주고 문제를 풀게 해야 한다."

이 연구는 AI 가 의료 현장에서 실제로 어떻게 쓰여야 하는지 (도구 사용), 그리고 어떻게 평가해야 하는지에 대한 새로운 기준을 제시합니다.

기술 요약

1. 문제 정의 (Problem)

MedCalc-Bench는 임상 계산기 (Clinical Calculators, 예: CKD-EPI, APACHE-II, MELD 등) 태스크에서 LLM 의 성능을 평가하기 위해 널리 사용되는 벤치마크입니다. 그러나 현재 이 벤치마크는 다음과 같은 근본적인 한계를 가지고 있습니다.

• 비현실적인 평가 기준: 실제 임상 현장에서는 의사가 공식을 암기하지 않고 계산기를 사용합니다. 하지만 현재 벤치마크는 모델에게 공식 암기 (Formula Recall) 와 정밀한 산술 연산 (Arithmetic Precision) 을 동시에 요구합니다.
• 낮은 성능: 최신 모델들 (Direct prompting 기준) 의 정확도는 Verified 분할에서 약 35% 에 머무르며, 강화학습 (RL) 이나 에이전트 프레임워크를 적용한 최첨단 접근법조차 74% 를 넘지 못합니다.
• 측정 오류: 벤치마크의 난이도가 '임상 추론 (Clinical Reasoning)' 능력 부족이 아니라, 공식 암기 부재와 소수점 단위 산술 오차로 인해 발생하고 있을 가능성이 큽니다.
• 데이터 오류: 공식적인 계산기 구현체에 20 개 이상의 치명적인 오류 (공식 계수 오류, 런타임 버그, 키 타이포 등) 가 포함되어 있어, Ground Truth(정답) 자체가 부정확할 수 있습니다.

2. 방법론 (Methodology)

저자는 세 가지 주요 접근을 통해 벤치마크를 재평가하고 개선했습니다.

가. 벤치마크 감사 (Benchmark Audit)

• MedCalc-Bench 에 포함된 55 개 계산기 구현체를 임상 소스 (원문 논문, MDCalc 등) 와 교차 검증했습니다.
• 자동화 테스트, 수동 검토, LLM 보조 코드를 활용하여 20 개 이상의 오류를 식별하고 수정했습니다.
  • 오류 유형: 공식 계수 오류 (CKD-EPI, MELD-Na 등), 누락된 점수 기준, 키 이름 오타 (예: liver_diease), 파일 경로 오류 등.
  • 영향: 이러한 오류는 Ground Truth 라벨 자체를 왜곡시켜 평가의 신뢰성을 떨어뜨렸습니다.

나. 오픈북 프롬프팅 (Open-Book Prompting)

• 개념: 임상 현장과 유사하게, 모델이 공식을 암기하는 대신 계산기 명세 (공식, 파라미터 정의, 점수 규칙) 를 프롬프트에 포함시켜 제공하는 방식입니다.
• 구현:
  • Baseline: 공식 제공 없이 기존 프롬프트 사용.
  • Open-book: 계산기 명세 (Python 구현체 및 docstring 기반) 를 프롬프트에 추가.
  • Open-book + Guidance: 명시적인 추출 및 계산 단계 (Chain-of-Thought) 를 추가.
• 목적: 공식 암기 단계를 제거하고, 모델이 파라미터 추출과 주어진 공식을 적용하는 능력만 평가하도록 변경.

다. 상한선 분석 (Upper-Bound Analysis)

• 오픈북 방식으로도 실패한 198 개의 사례에 대해 GPT-5.2-Thinking(고도 추론 모드, 검색 및 도구 사용 가능) 을 적용하여 모델의 한계와 데이터의 한계를 분리했습니다.

3. 주요 기여 (Key Contributions)

1. 벤치마크 감사 및 수정: NeurIPS 에서 출판된 데이터셋의 20 개 이상의 중대한 오류를 발견하고 수정된 구현체와 Ground Truth 를 공개했습니다.
2. 오픈북 프롬프팅의 유효성 입증: 미세 조정 (Fine-tuning) 이나 복잡한 에이전트 프레임워크 없이, 단순히 계산기 명세를 프롬프트에 추가하는 것만으로도 성능이 비약적으로 향상됨을 증명했습니다.
3. 벤치마크의 재정의 제안: MedCalc-Bench 는 현재 '임상 추론'을 측정하기보다 '공식 암기 및 산술 정확도'를 측정하는 도구임을 지적하고, 이를 '도구 사용 (Tool-Use)' 벤치마크로 재포지셔닝할 것을 제안했습니다.

4. 실험 결과 (Results)

성능 향상 (Accuracy Improvement)

• GLM-4.6V:
  • Vanilla (Baseline): 51.9%
  • Open-book: 81.5% (약 29.6%p 상승)
  • Open-book + Guidance: 82.0%
• GLM-4.7:
  • Vanilla: 36.0%
  • Open-book: 85.5%
• 비교: 오픈북 방식의 성능 (81~85%) 은 기존에 발표된 RL 기반 시스템 (DeepSeek-R1 MedCalc-R1: 74%) 이나 에이전트 프레임워크 (RiskAgent: 67.7%, Claude Opus 4.5: 61.3%) 를 모두 능가했습니다.

오류 분석 및 상한선

• Vanilla 실패 원인: 공식 버전 혼동, 실수 연산 오류, 잘못된 참조 날짜 추출.
• Open-book 잔여 오류: 공식 암기 오류는 사라졌으며, 주로 파라미터 추출 실패와 산술 정밀도 문제로 전환되었습니다.
• 상한선 (Upper Bound): GPT-5.2-Thinking 을 통해 잔여 오류 중 70.7% 를 해결했습니다. Ground Truth 오류와 모호성을 보정할 경우, **이론적 최대 정확도는 94.7%~97.4%**에 달할 것으로 추정됩니다.

5. 의의 및 결론 (Significance & Conclusion)

• 측정 대상의 재정의: MedCalc-Bench 는 현재 임상 추론 능력을 측정하지 못합니다. 대신 공식 암기 능력과 엄격한 허용 오차 범위 내의 산술 정확도를 측정합니다.
• 실무 적합성: 실제 임상에서는 의사가 공식을 암기하지 않고 도구를 사용합니다. 따라서 LLM 평가도 파라미터 추출 및 적절한 계산기/단위 변환기 선택 능력에 초점을 맞춘 '오픈북' 방식으로 전환되어야 합니다.
• 연구 효율성: 이 연구는 단일 연구자가 다양한 LLM(GPT-5.2, Claude Opus, GLM 등) 을 조합하여 수행했습니다. 저렴한 모델로 대량 평가를, 고성능 모델로 심층 분석을 수행하는 워크플로우가 자원 제약이 있는 연구 프로젝트의 새로운 표준이 될 수 있음을 시사합니다.

요약하자면, 이 논문은 MedCalc-Bench 가 현재로서는 LLM 의 임상 능력을 제대로 평가하지 못하며, 단순한 프롬프트 개선 (오픈북) 만으로도 기존 RL 기반 최첨단 모델보다 뛰어난 성능을 낼 수 있음을 증명했습니다. 이는 벤치마크의 설계 철학을 '암기'에서 '도구 활용'으로 근본적으로 바꿔야 함을 강력히 주장합니다.