Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring

기술적 요약: 임상 순서 점수를 위한 멀티모달 LLM 평가자 감사

문제 제기
멀티모달 대규모 언어 모델 (LLM) 이 임상 환경에서 자동 평가자 ("LLM-as-a-judge") 로 점점 더 많이 배포되고 있습니다. 그러나 순서형 임상 척도에서의 이들의 점수 부여 행동은 여전히 잘 이해되지 않고 있습니다. 평균 절대 오차 (MAE) 및 허용 범위 내 일치도와 같은 표준 평가 지표는 종종 체계적인 실패 모드를 숨길 수 있는 집계 통계에 의존합니다. 구체적으로, 평가자가 전체적인 합계 일치도는 강력하게 달성하면서도 척도의 극단 부분에서는 실패할 수 있습니다. 인지 장애 선별과 같은 임상적 맥락에서 이러한 극단 부분 (예: 심하게 손상된 환자를 정상으로 오분류하거나 그 반대의 경우) 의 오류는 하류 선별 결정에 불균형적으로 큰 결과를 초래합니다. 본 논문은 임상 순서형 점수 부여 작업에 적용될 때 LLM 이 체계적인 편향, 특히 "중앙 경향 효과 (점수가 척도 중앙으로 압축되는 현상)"를 보이는지, 그리고 이러한 편향이 프롬프트 엔지니어링을 통해 완화될 수 있는지 조사합니다.

방법론
본 연구는 시계 그리기 테스트 (CDT) 에서 GPT-5/GPT-5.4, Gemini-2.5-Pro, Claude-4-Sonnet 의 세 가지 최첨단 멀티모달 LLM 계열을 지도 학습 심층 학습 모델 (CNN 및 비전 트랜스포머) 과 비교 평가합니다.

• 데이터셋: 주요 평가는 개발 세트와 테스트 세트로 분할된 National Health and Aging Trends Study (NHATS) 의 597 개 이미지를 사용합니다. 외부 검증은 독립적인 태국 CDT 코호트 (386 개 이미지) 에서 수행됩니다.
• 작업: Shulman rubric 에 기반하여 정수 점수 $y \in \{0, \dots, 5\}$를 예측하는 작업으로, 여기서 0 은 인식 불가능한 그림을, 5 는 정확한 묘사를 나타냅니다.
• 모델:
  • 지도 학습 베이스라인: ResNet-101 CNN 과 두 가지 비전 트랜스포머 (ViT) 변형 (순서 분류 및 연속 회귀). 이들은 NHATS 데이터에서 완전히 파인튜닝됩니다.
  • LLM 평가자: 제로샷 및 퓨샷 멀티모달 LLM. 이러한 모델은 이미지와 6 단계 점수 수준을 설명하는 자연어 rubric 을 입력받지만, 대상 데이터셋에 대한 경사 기반 학습은 수행되지 않습니다.
• 평가 프로토콜:
  • 집계 지표: MAE, RMSE, 그리고 허용 범위 기반 일치를 나타내는 within-1 정확도.
  • 점수별 분석: 체계적인 중앙 압축을 감지하기 위해 예측 점수 분포, 방향성 오차 프로파일, 그리고 혼동 행렬을 검토합니다.
  • 프롬프트 제거 실험: 프롬프트 엔지니어링의 인공물과 고유한 모델 행동을 구분하기 위해 저자들은 다음을 테스트했습니다:
    1. 퓨샷 프롬프팅: 모델의 기준을 잡기 위해 30 개의 예시 이미지 (점수 수준당 5 개) 를 제공합니다.
    2. 임상 용어 제거 프롬프팅: "신경심리학"과 같은 의학적 용어를 제거하여 안전 메커니즘이 보수적인 점수 부여를 유발하는지 테스트합니다.

주요 결과

1. 집계 성능: 완전히 파인튜닝된 ViT-Ordinal 모델이 가장 좋은 보정 (MAE 0.52, within-1 정확도 91%) 을 달성했습니다. 제로샷 LLM 중에서는 GPT-5 가 가장 강력한 성능을 보였으며 (MAE 0.67, within-1 정확도 92%), 최상의 지도 학습 모델보다 절대 오차는 높았음에도 불구하고 경쟁력 있는 허용 범위 기반 일치를 보여주었습니다.
2. 중앙 경향 효과: 점수별 분석은 모든 LLM 계열에서 뚜렷한 체계적 편향을 드러냈습니다. 예측이 척도 중앙으로 압축되었습니다:
   • 하단 과예측: 실제 점수 0 이 자주 1 로 예측되었습니다.
   • 상단 과소예측: 실제 점수 5 가 자주 4 로 예측되었습니다.
   • 이로 인해 혼동 행렬의 (0→1) 및 (5→4) 셀에 오차가 집중된 결과, 지도 학습 모델보다 훨씬 완만한 보정 기울기가 나타났습니다.
3. 제거 실험 결과:
   • 퓨샷 프롬프팅은 집계 지표를 개선 (MAE 를 0.56 으로 감소) 하고 상단 정확도를 높였으나, 중앙 경향 효과를 제거하지는 못했습니다. 상당 부분의 극단 점수가 여전히 중앙 쪽으로 오분류되었습니다.
   • 임상 용어 제거 프롬프팅은 모든 지표에서 성능을 악화시켰고 편향을 줄이지 못했으며, 이는 임상 용어가 실제로 점수 부여의 충실도를 돕고 과도한 보수주의를 유발하지 않는다는 것을 시사합니다.
4. 외부 검증: 중앙 경향 패턴 (단말점 압축) 은 독립적인 태국 CDT 코호트에서도 재현되어 서로 다른 인구 집단 간에 발견의 견고성을 확인했습니다.

주요 기여

• 체계적 평가 프로토콜: 저자들은 집계 지표가 숨기는 실패 모드를 감지하기 위해 점수별 오차 분해와 보정 기울기 분석을 결합한 프로토콜을 제안합니다.
• 중앙 경향 편향의 식별: 본 연구는 멀티모달 LLM 이 임상 순서형 점수 부여에서 일관된 중앙 경향 효과를 보이며, 중간 점수를 선호하여 극단적 평가 (0 과 5) 를 체계적으로 회피함을 입증합니다.
• 편향 원인 규명: 표적 제거 실험을 통해 이 편향이 불충분한 프롬프팅이나 특정 임상적 프레임의 결과가 아니라 현재 멀티모달 LLM 의 고유한 행동 경향임을 규명했습니다.

의의 및 주장
본 논문은 최첨단 LLM 이 전문가 주석의 확장 가능한 대리 모델로서 가능성을 보이지만, 현재 점수 부여 행동은 척도 끝점을 정확하게 식별하는 것이 중요한 고위험 임상 선별 워크플로우에서 단독 배포에 적합하지 않다고 주장합니다. 중앙 경향 효과는 특정 위험을 초래합니다: 0 대신 1 을 예측함으로써 심한 인지 장애를 과소 감지하거나, 5 대신 4 를 예측함으로써 건강한 개인을 과도하게 의뢰할 수 있습니다.

저자들은 LLM-as-a-judge 편향에 대한 문헌을 NLP 평가에서 임상 평가로 확장합니다. 그들은 이 행동이 인간 피드백을 통한 강화 학습 (RLHF) 정렬에서 비롯되어 인간과 유사한 극단적 평가에 대한 혐오를 내면화했거나, 모델의 분포적 사전 지식일 수 있다고 가설을 세웁니다. 논문은 LLM 기반 평가자의 배포에는 보정 인식 평가가 필요하며, 이러한 도구가 임상 실정에 안전하게 통합되기 위해서는 사후 보정이나 LLM 을 선별에 사용하고 지도 학습 모델/인간을 최종 점수 부여에 사용하는 하이브리드 워크플로우가 필요하다고 결론지었습니다.