Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring

Resumen Técnico: Auditoría de Evaluadores de LLM Multimodales para Puntuación Ordinal Clínica

Enunciado del Problema
Los Modelos de Lenguaje Grandes (LLM) multimodales se despliegan cada vez más como evaluadores automatizados ("LLM como juez") en entornos clínicos. Sin embargo, su comportamiento de puntuación en escalas clínicas ordinales sigue siendo poco comprendido. Las métricas de evaluación estándar, como el Error Absoluto Medio (MAE) y el acuerdo dentro de la tolerancia, a menudo dependen de estadísticas agregadas que pueden ocultar modos de fallo sistemáticos. Específicamente, un evaluador podría lograr un fuerte acuerdo agregado mientras falla en los extremos de la escala. En contextos clínicos como el cribado de deterioro cognitivo, los errores en estos extremos (por ejemplo, clasificar erróneamente a un paciente gravemente deteriorado como normal, o viceversa) conllevan consecuencias desproporcionadas para las decisiones de cribado posteriores. El artículo investiga si los LLM exhiben sesgos sistemáticos, específicamente un "efecto de tendencia central" (compresión de puntuaciones hacia el medio de la escala), cuando se aplican a tareas de puntuación ordinal clínica, y si este sesgo puede mitigarse mediante ingeniería de prompts.

Metodología
El estudio compara tres familias de LLM multimodales de vanguardia (GPT-5/GPT-5.4, Gemini-2.5-Pro y Claude-4-Sonnet) con modelos de aprendizaje profundo supervisados (CNN y Vision Transformers) en la Prueba de Dibujo del Reloj (CDT).

• Conjuntos de datos: La evaluación principal utiliza 597 imágenes del Estudio Nacional de Tendencias de Envejecimiento y Salud (NHATS), divididas en conjuntos de desarrollo y prueba. Se realiza una validación externa en una cohorte independiente de CDT tailandesa (386 imágenes).
• Tarea: La tarea consiste en predecir una puntuación entera $y \in \{0, \dots, 5\}$ basada en la rúbrica de Shulman, donde 0 representa un dibujo irreconocible y 5 representa una representación precisa.
• Modelos:
  • Líneas base supervisadas: Una CNN ResNet-101 y dos variantes de Vision Transformer (ViT) (clasificación ordinal y regresión continua). Estos se ajustan completamente (fine-tuned) sobre los datos de NHATS.
  • Evaluadores LLM: LLM multimodales de cero disparos (zero-shot) y pocos disparos (few-shot). Estos modelos reciben la imagen y una rúbrica en lenguaje natural que describe los seis niveles de puntuación, pero no sufren entrenamiento basado en gradientes en el conjunto de datos objetivo.
• Protocolo de Evaluación:
  • Métricas Agregadas: MAE, RMSE y precisión dentro de 1 (acuerdo basado en tolerancia).
  • Análisis por Puntuación: Examen de las distribuciones de puntuaciones predichas, perfiles de error direccional y matrices de confusión para detectar la compresión sistemática hacia el centro.
  • Ablaciones de Prompt: Para distinguir entre artefactos de ingeniería de prompts y el comportamiento intrínseco del modelo, los autores probaron:
    1. Prompting de pocos disparos: Proporcionar 30 imágenes de ejemplo (5 por nivel de puntuación) para anclar el modelo.
    2. Prompting des-clinicalizado: Eliminar la terminología médica (por ejemplo, "neuropsicología") para probar si los mecanismos de seguridad desencadenan una puntuación conservadora.

Resultados Clave

1. Rendimiento Agregado: Los modelos ViT-Ordinal completamente ajustados lograron la mejor calibración (MAE 0.52, precisión dentro de 1 del 91%). Entre los LLM de cero disparos, GPT-5 fue el mejor rendimiento (MAE 0.67, precisión dentro de 1 del 92%), mostrando un acuerdo basado en tolerancia competitivo a pesar de un error absoluto mayor que el de los mejores modelos supervisados.
2. Efecto de Tendencia Central: El análisis por puntuación reveló un sesgo sistemático pronunciado en todas las familias de LLM. Las predicciones se comprimieron hacia el medio de la escala:
   • Sobre-predicción en el extremo bajo: Las puntuaciones reales de 0 se predijeron frecuentemente como 1.
   • Sub-predicción en el extremo alto: Las puntuaciones reales de 5 se predijeron frecuentemente como 4.
   • Esto resultó en una pendiente de calibración significativamente más plana que la de los modelos supervisados, con errores concentrados en las celdas (0→1) y (5→4) de la matriz de confusión.
3. Hallazgos de Ablación:
   • Prompting de pocos disparos mejoró las métricas agregadas (reduciendo el MAE a 0.56) y aumentó la precisión en el extremo alto, pero no eliminó el efecto de tendencia central. Una parte significativa de las puntuaciones extremas permaneció mal clasificada hacia el centro.
   • Prompting des-clinicalizado empeoró el rendimiento en todas las métricas y no logró reducir el sesgo, lo que indica que la terminología clínica en realidad ayuda a la fidelidad de la puntuación en lugar de desencadenar un conservadurismo excesivo.
4. Validación Externa: El patrón de tendencia central (compresión de puntos finales) se replicó en la cohorte independiente de CDT tailandesa, confirmando la robustez del hallazgo en diferentes poblaciones.

Contribuciones Clave

• Protocolo de Evaluación Sistemática: Los autores proponen un protocolo que combina la descomposición del error por puntuación y el análisis de la pendiente de calibración para detectar modos de fallo que las métricas agregadas ocultan.
• Identificación del Sesgo de Tendencia Central: El estudio demuestra que los LLM multimodales exhiben un efecto de tendencia central consistente en la puntuación ordinal clínica, evitando sistemáticamente las puntuaciones extremas (0 y 5) en favor de puntuaciones intermedias.
• Aislamiento de la Fuente del Sesgo: Mediante ablaciones dirigidas, el artículo aísla este sesgo como una tendencia conductual intrínseca de los LLM multimodales actuales, en lugar de un resultado de prompts insuficientes o un encuadre clínico específico.

Significado y Afirmaciones
El artículo argumenta que, si bien los LLM de vanguardia muestran promesa como proxies escalables para la anotación experta, su comportamiento de puntuación actual aún no es adecuado para el despliegue independiente en flujos de trabajo de cribado clínico de alto riesgo donde la identificación precisa de los puntos finales de la escala es crítica. El efecto de tendencia central plantea un riesgo específico: puede conducir a la sub-detección de deterioro cognitivo severo (prediciendo un 1 en lugar de un 0) o a la sobre-referencia de individuos sanos (prediciendo un 4 en lugar de un 5).

Los autores extienden la literatura sobre el sesgo de "LLM como juez" desde la evaluación de PLN hasta la evaluación clínica. Hipotetizan que este comportamiento puede derivar de la alineación mediante Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF), que internaliza una aversión similar a la humana hacia las puntuaciones extremas, o como un prior distribucional en el modelo. El artículo concluye que el despliegue de evaluadores basados en LLM requiere una evaluación consciente de la calibración y sugiere que la calibración post-hoc o flujos de trabajo híbridos (usando LLM para el preselección y modelos supervisados/humanos para la puntuación final) son necesarios antes de que estas herramientas puedan integrarse de forma segura en la práctica clínica.