MRI-Eval: A Tiered Benchmark for Evaluating LLM Performance on MRI Physics and GE Scanner Operations Knowledge

MRI-Eval 기술 요약: MRI 물리 및 GE 스캐너 운영 지식 평가에 대한 LLM 성능을 위한 계층형 벤치마크

문제 제기

대형 언어 모델 (LLM) 이 프로토콜 설계, 매개변수 선택, 문제 해결을 위한 MRI 연구에서 점점 더 활용되고 있지만, 도메인 특화 역할에서의 신뢰성은 아직 검증되지 않았습니다. 1995 년 기술자 검토 서적을 기반으로 한 기존 MRI 벤치마크는 최상위 독점 모델 (예: o1 Preview 가 94% 점수 획득) 의 성능 한계에 도달하여 차별화 능력이 제한적입니다. 특히, 일상적인 연구 MRI 작업의 핵심인 특정 벤더 운영 콘텐츠, 즉 구체적인 프로토콜 매개변수, 펄스 시퀀스 동작, 콘솔 운영에 대한 LLM 의 체계적인 평가는 이루어진 바가 없습니다. 또한, 높은 객관식 문제 (MCQ) 점수는 진정한 생성적 회상이 아닌 옵션 인식을 반영할 수 있으며, 이는 이전 MRI 특화 평가에서 테스트되지 않은 구분점입니다.

방법론

본 연구는 9 가지 기술 범주와 3 가지 난이도 계층에 걸쳐 1,365 개의 채점 항목 (1,355 개의 객관식 문제와 10 개의 오개념 질문) 으로 구성된 계층형 벤치마크인 MRI-Eval을 소개합니다.

• 데이터 출처: 항목은 권위 있는 교과서, GE SIGNA Works 스캐너 애플리케이션 매뉴얼, GE EPIC 프로그래밍 과정 자료, 그리고 지식 격차를 해소하기 위해 전문가가 생성한 35 개의 질문에서 발췌되었습니다.
• 범주: 9 가지 범주에는 GE 스캐너 운영/프로토콜 (n=406), 펄스 시퀀스 (n=330), GE 도메인 지식 (n=155), 안전, k-공간/영상 형성, 아티팩트, T1/T2 이완, SNR/영상 품질, 그리고 병렬 영상이 포함됩니다.
• 난이도 계층: Tier 1(83.1%) 은 단일 개념 회상을 테스트하며, Tier 2(15.6%) 는 개념 간 통합을 요구하며, Tier 3(1.3%) 은 전문가 통합 시나리오를 제시합니다 (표본 크기가 작아 제한 사항으로 명시됨).
• 평가된 모델: 서로 다른 계열의 5 개 모델이 테스트되었습니다: GPT-5.4, Claude Opus 4.6, Claude Sonnet 4.6, Gemini 2.5 Pro, Llama 3.3 70B.
• 평가 조건:
  1. 주요 객관식 (MCQ): 제로샷, 4 지선다 형식이며 정답 순서가 무작위로 섞여 있습니다.
  2. 문제 지문만 (자유 서술형): 보기를 제거하고 모델이 자유 서술형 응답을 생성하도록 하여 독립적인 LLM 심사관 (Grok) 이 채점했습니다. Gemini 2.5 Pro 는 필수 추론 토큰이 포맷팅에 영향을 미쳐 이 부분에서 제외되었습니다.
  3. 프레이밍 진단 (Primed Diagnostic): 모델에게 잘못된 답변 주장을 제시하고 동의/반대 여부를 묻어 아첨성 반응이나 검색 보조를 테스트했습니다.
• 채점 및 분석: 통계 분석에는 윌슨 점수 신뢰 구간, 쌍별 비교를 위한 맥네마 검정, 그리고 재현성을 위한 코헨의 카파가 포함되었습니다. 사후 감사에서 보편적인 옵션 길이 단서 (정답 옵션이 84.9% 의 항목에서 평균 오답 옵션 길이의 1.3 배 이상이었음) 가 발견되었습니다.

주요 기여

1. 계층형 벤치마크 구축: 지식 경계를 파악하도록 설계된, 소외된 벤더 특화 (GE) 운영 콘텐츠를 포함한 전문 데이터셋.
2. 보완적 평가 형식: 옵션 인식과 생성적 회상 간의 격차를 정량화하기 위해 객관식 문제와 함께 문제 지문만 있는 조건을 포함하고, 프레이밍 진단 조건을 추가했습니다.
3. 엄격한 모델 비교: 쌍별 통계 검정과 실행 간 재현성 평가 (테스트된 모델의 코헨의 카파 0.983–0.998) 를 통한 5 개 모델 비교.
4. 재현성: 학습 데이터 오염을 방지하기 위해 전체 질문 은행은 공개하지 않으면서 평가 하네스와 분석 스크립트를 공개했습니다.

결과

• 객관식 문제 (MCQ) 성능: 전체 정확도는 높고 압축되어 **93.2%(Llama 3.3 70B)**에서 **97.1%(GPT-5.4)**까지 ranged. 최전선 4 개 모델 간의 편차는 2.4 퍼센트 포인트에 불과했습니다.
• 범주별 변동: GE 스캐너 운영은 모든 모델에서 가장 낮은 점수를 기록한 범주 (88.2%–94.6%) 였으며, 물리 기초 (예: T1/T2 이완) 는 성능 한계에 근접했습니다.
• 문제 지문만 조건에서의 성능 저하: 보기를 제거하자 모든 모델의 정확도가 급격히 하락했습니다. 최전선 모델은 **58.4%–61.1%**로 떨어졌으며 (35.5–36.8 퍼센트 포인트 하락), Llama 3.3 70B 는 **37.1%**로 하락했습니다 (56.1 퍼센트 포인트 하락).
• 벤더 특화 회상: 문제 지문만 있는 조건에서 GE 스캐너 운영에 대한 정확도는 **13.8%–29.8%**로 붕괴되었으며, 이는 한계에 근접한 객관식 문제 성능이 벤더 특화 콘텐츠에 대한 강력한 자유 서술형 회상으로 이어지지 않았음을 시사합니다.
• 프레이밍 조건: 잘못된 답변 제안은 일반적으로 정확도를 높였습니다 (답변 단서 효과). 그러나 Llama 3.3 70B 는 프레이밍 하에서 더 높은 난이도 계층에서 정확도가 감소하여 지식이 부족할 때 약한 모델이 잘못된 프레이밍을 수용할 수 있음을 시사했습니다.
• 재현성: 모델 간 실행 간 재현성은 거의 완벽했으며, 이의는 GE 스캐너 운영 범주에 집중되었습니다.

중요성 및 주장

본 논문은 MRI 콘텐츠에 대한 강력한 객관식 문제 성능이, 특히 벤더 특화 운영 지식에 대해 약한 생성적 회상을 가릴 수 있다고 주장합니다. 이 벤치마크는 주로 역량이나 배포 준비 상태를 절대적으로 측정하기보다는 상대적 모델 비교 도구로 기능합니다.

주요 결론은 다음과 같습니다:

• 객관식 문제의 한계: 전문 도메인에서의 높은 객관식 문제 점수는 심층적 이해가 아닌 옵션 인식과 길이 단서를 반영할 수 있습니다.
• 운영적 위험: GE 특화 콘텐츠에 대한 문제 지문만 있는 조건에서의 급격한 성능 저하는 연구 환경에서 벤더 특화 프로토콜 지침에 원시 LLM 출력에 의존하는 것에 대한 경계를 뒷받침합니다.
• 향후 방향: 순수 매개변수 지식이 운영 작업에 불충분해 보이므로, 검색 증강 또는 문서 기반 시스템의 개발을 필수적인 다음 단계로 촉진합니다.
• 평가 기준: 표준 객관식 문제가 성능을 한계 근처로 압축하므로, 향후 도메인 특화 벤치마크는 모델을 더 잘 구분하기 위해 개방형 또는 문제 지문만 있는 형식을 포함해야 합니다.

저자들은 이러한 결과가 통제된 모델 간 비교에 기반한 것이며, 인간 전문가 성능에 대한 보정이나 임상 배포 준비 상태에 대한 직접적인 추정이 아님을 강조합니다.