Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring

Riepilogo Tecnico: Audit dei Valutatori LLM Multimodali per la Punteggiatura Ordinale Clinica

Enunciato del Problema
I Modelli Linguistici di Grande Dimensione (LLM) multimodali sono sempre più impiegati come valutatori automatizzati ("LLM-as-a-judge") in contesti clinici. Tuttavia, il loro comportamento di punteggio su scale ordinali cliniche rimane poco compreso. Le metriche di valutazione standard, come l'Errore Assoluto Medio (MAE) e l'accordo entro tolleranza, spesso si basano su statistiche aggregate che possono nascondere modalità di fallimento sistematiche. Nello specifico, un valutatore potrebbe ottenere un forte accordo aggregato fallendo però agli estremi della scala. In contesti clinici come lo screening del deterioramento cognitivo, gli errori a questi estremi (ad esempio, classificare erroneamente un paziente gravemente compromesso come normale, o viceversa) comportano conseguenze sproporzionate per le decisioni di screening a valle. Il documento indaga se gli LLM mostrino bias sistematici, in particolare un "effetto di tendenza centrale" (compressione dei punteggi verso la metà della scala), quando applicati a compiti di punteggio ordinale clinico, e se tale bias possa essere mitigato attraverso l'ingegneria dei prompt.

Metodologia
Lo studio confronta tre famiglie all'avanguardia di LLM multimodali (GPT-5/GPT-5.4, Gemini-2.5-Pro e Claude-4-Sonnet) con modelli di deep learning supervisionati (CNN e Vision Transformer) sul Test di Disegno dell'Orologio (CDT).

• Dataset: La valutazione principale utilizza 597 immagini dello National Health and Aging Trends Study (NHATS), suddivise in set di sviluppo e di test. La validazione esterna è stata eseguita su una coorte indipendente thailandese di CDT (386 immagini).
• Compito: Il compito prevede la previsione di un punteggio intero $y \in \{0, \dots, 5\}$ basato sulla rubrica Shulman, dove 0 rappresenta un disegno irriconoscibile e 5 una rappresentazione accurata.
• Modelli:
  • Baseline Supervisionate: Una CNN ResNet-101 e due varianti di Vision Transformer (ViT) (classificazione ordinale e regressione continua). Questi sono stati completamente fine-tunati sui dati NHATS.
  • Valutatori LLM: LLM multimodali zero-shot e few-shot. Questi modelli ricevono l'immagine e una rubrica in linguaggio naturale che descrive i sei livelli di punteggio, ma non subiscono alcun addestramento basato sul gradiente sul dataset target.
• Protocollo di Valutazione:
  • Metriche Aggregate: MAE, RMSE e accuratezza entro 1 (accordo basato sulla tolleranza).
  • Analisi per Punteggio: Esame delle distribuzioni dei punteggi previsti, dei profili di errore direzionali e delle matrici di confusione per rilevare la compressione sistematica verso il centro.
  • Ablazioni dei Prompt: Per distinguere tra artefatti dell'ingegneria dei prompt e comportamento intrinseco del modello, gli autori hanno testato:
    1. Prompting few-shot: Fornire 30 immagini esemplificative (5 per livello di punteggio) per ancorare il modello.
    2. Prompting de-clinicalizzato: Rimuovere la terminologia medica (ad esempio, "neuropsicologia") per verificare se i meccanismi di sicurezza attivino un punteggio conservativo.

Risultati Chiave

1. Prestazioni Aggregate: I modelli ViT-Ordinal completamente fine-tunati hanno ottenuto la migliore calibrazione (MAE 0,52, accuratezza entro 1 del 91%). Tra gli LLM zero-shot, GPT-5 è stato il performer più forte (MAE 0,67, accuratezza entro 1 del 92%), mostrando un accordo basato sulla tolleranza competitivo nonostante un errore assoluto più elevato rispetto ai migliori modelli supervisionati.
2. Effetto di Tendenza Centrale: L'analisi per punteggio ha rivelato un bias sistematico pronunciato in tutte le famiglie di LLM. Le previsioni erano compresse verso la metà della scala:
   • Sovrastima all'estremo basso: I punteggi reali di 0 sono stati frequentemente previsti come 1.
   • Sottostima all'estremo alto: I punteggi reali di 5 sono stati frequentemente previsti come 4.
   • Ciò ha portato a una pendenza di calibrazione significativamente più piatta rispetto a quella dei modelli supervisionati, con errori concentrati nelle celle (0→1) e (5→4) della matrice di confusione.
3. Risultati delle Ablazioni:
   • Il prompting few-shot ha migliorato le metriche aggregate (riducendo il MAE a 0,56) e aumentato l'accuratezza all'estremo alto, ma non ha eliminato l'effetto di tendenza centrale. Una porzione significativa dei punteggi estremi è rimasta classificata erroneamente verso il centro.
   • Il prompting de-clinicalizzato ha peggiorato le prestazioni su tutte le metriche e non ha ridotto il bias, indicando che la terminologia clinica aiuta effettivamente la fedeltà del punteggio piuttosto che attivare un eccessivo conservatorismo.
4. Validazione Esterna: Il pattern di tendenza centrale (compressione degli estremi) è stato replicato sulla coorte indipendente thailandese di CDT, confermando la robustezza del risultato su diverse popolazioni.

Contributi Chiave

• Protocollo di Valutazione Sistematico: Gli autori propongono un protocollo che combina la decomposizione dell'errore per punteggio e l'analisi della pendenza di calibrazione per rilevare modalità di fallimento che le metriche aggregate nascondono.
• Identificazione del Bias di Tendenza Centrale: Lo studio dimostra che gli LLM multimodali mostrano un effetto di tendenza centrale coerente nel punteggio ordinale clinico, evitando sistematicamente le valutazioni estreme (0 e 5) a favore di punteggi intermedi.
• Isolamento della Fonte del Bias: Tramite ablationi mirate, il documento isola questo bias come una tendenza comportamentale intrinseca degli attuali LLM multimodali piuttosto che il risultato di prompt insufficienti o di una specifica impostazione clinica.

Significato e Affermazioni
Il documento sostiene che, sebbene gli LLM all'avanguardia mostrino promesse come proxy scalabili per l'annotazione esperta, il loro attuale comportamento di punteggio non è ancora adatto al dispiegamento autonomo in flussi di lavoro di screening clinico ad alto rischio, dove l'identificazione accurata degli estremi della scala è critica. L'effetto di tendenza centrale comporta un rischio specifico: può portare alla sottodetectazione di gravi compromissioni cognitive (prevedendo un 1 invece di uno 0) o al sovrainvio di individui sani (prevedendo un 4 invece di un 5).

Gli autori estendono la letteratura sul bias "LLM-as-a-judge" dalla valutazione NLP alla valutazione clinica. Ipotesizzano che questo comportamento possa derivare dall'allineamento tramite Reinforcement Learning from Human Feedback (RLHF), che interiorizza un'avversione umana verso le valutazioni estreme, o come un prior distribuzionale nel modello. Il documento conclude che il dispiegamento di valutatori basati su LLM richiede una valutazione consapevole della calibrazione e suggerisce che sono necessarie calibrazioni post-hoc o flussi di lavoro ibridi (utilizzando gli LLM per il pre-screening e modelli supervisionati/umani per il punteggio finale) prima che questi strumenti possano essere integrati in modo sicuro nella pratica clinica.