Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring

Technische Samenvatting: Auditing van Multimodale LLM-beoordelaars voor Klinische Ordinale Scores

Probleemstelling
Multimodale Large Language Models (LLM's) worden steeds vaker ingezet als geautomatiseerde beoordelaars ("LLM-as-a-judge") in klinische settingen. Hun scoregedrag op ordinale klinische schalen blijft echter slecht begrepen. Standaard evaluatiemetrics, zoals Mean Absolute Error (MAE) en overeenstemming binnen tolerantie, vertrouwen vaak op geaggregeerde statistieken die systemische faalmodi kunnen verbergen. Specifiek kan een beoordelaar sterke geaggregeerde overeenstemming bereiken terwijl hij faalt aan de uitersten van de schaal. In klinische contexten zoals screening op cognitieve stoornissen dragen fouten aan deze uitersten (bijvoorbeeld het ten onrechte classificeren van een ernstig aangetaste patiënt als normaal, of omgekeerd) onevenredige gevolgen voor downstream screeningbeslissingen. Het artikel onderzoekt of LLM's systematische vertekeningen vertonen, specifiek een "centrale neigingseffect" (compressie van scores naar het midden van de schaal), bij toepassing op klinische ordinale scoretaken, en of deze vertekening kan worden verzacht door prompt engineering.

Methodologie
De studie benchmarkt drie frontier multimodale LLM-families (GPT-5/GPT-5.4, Gemini-2.5-Pro en Claude-4-Sonnet) tegenover supervised deep learning-modellen (CNN's en Vision Transformers) op de Clock Drawing Test (CDT).

• Datasets: De primaire evaluatie gebruikt 597 afbeeldingen uit de National Health and Aging Trends Study (NHATS), opgedeeld in ontwikkelings- en testsets. Externe validatie wordt uitgevoerd op een onafhankelijke Thaise CDT-cohort (386 afbeeldingen).
• Taak: De taak bestaat uit het voorspellen van een integer-score $y \in \{0, \dots, 5\}$ op basis van de Shulman-rubric, waarbij 0 een onherkenbare tekening voorstelt en 5 een accurate weergave.
• Modellen:
  • Supervised Baselines: Een ResNet-101 CNN en twee Vision Transformer (ViT)-varianten (ordinaire classificatie en continue regressie). Deze zijn volledig gefinetuned op NHATS-gegevens.
  • LLM-beoordelaars: Zero-shot en few-shot multimodale LLM's. Deze modellen ontvangen de afbeelding en een natuurlijke-taal rubric die de zes scoreniveaus beschrijft, maar ondergaan geen gradient-based training op de doeldataset.
• Evaluatieprotocol:
  • Geaggregeerde Metrics: MAE, RMSE en within-1 nauwkeurigheid (tolerantie-gebaseerde overeenstemming).
  • Per-score Analyse: Onderzoek van de verdeling van voorspelde scores, directionele foutprofielen en confusiematrices om systematische compressie naar het centrum te detecteren.
  • Prompt Ablaties: Om onderscheid te maken tussen artefacten van prompt engineering en intrinsiek modelgedrag, testten de auteurs:
    1. Few-shot prompting: Het verstrekken van 30 voorbeeldafbeeldingen (5 per scoreniveau) om het model te ankeren.
    2. De-klinicisatie prompting: Het verwijderen van medische terminologie (bijvoorbeeld "neuropsychologie") om te testen of veiligheidsmechanismen conservatieve scoring triggeren.

Belangrijkste Resultaten

1. Geaggregeerde Prestaties: Volledig gefinetunde ViT-Ordinal-modellen behaalden de beste kalibratie (MAE 0,52, within-1 nauwkeurigheid 91%). Onder de zero-shot LLM's was GPT-5 de sterkste performer (MAE 0,67, within-1 nauwkeurigheid 92%), met concurrerende tolerantie-gebaseerde overeenstemming ondanks een hogere absolute fout dan de beste supervised modellen.
2. Centrale Neigingseffect: Per-score analyse onthulde een uitgesproken systematische vertekening in alle LLM-families. Voorspellingen werden naar het midden van de schaal gecomprimeerd:
   • Onderaan overvoorspelling: Ware scores van 0 werden frequent voorspeld als 1.
   • Bovenaan ondervoorspelling: Ware scores van 5 werden frequent voorspeld als 4.
   • Dit resulteerde in een kalibratiesignatuur die significant ondieper was dan die van supervised modellen, met fouten geconcentreerd in de (0→1) en (5→4) cellen van de confusiematrix.
3. Ablatiebevindingen:
   • Few-shot prompting verbeterde de geaggregeerde metrics (verlaging van MAE naar 0,56) en verhoogde de nauwkeurigheid aan het hoge eind, maar elimineerde het centrale neigingseffect niet. Een significant deel van de extreme scores bleef verkeerd geclassificeerd naar het centrum.
   • De-klinicisatie prompting verslechterde de prestaties over alle metrics en slaagde er niet in de vertekening te verminderen, wat aangeeft dat klinische terminologie de scorenauwkeurigheid juist helpt in plaats van excessief conservatisme te triggeren.
4. Externe Validatie: Het patroon van centrale neiging (eindpuntcompressie) werd gerepliceerd op het onafhankelijke Thaise CDT-cohort, wat de robuustheid van de bevinding bevestigt over verschillende populaties heen.

Belangrijkste Bijdragen

• Systematisch Evaluatieprotocol: De auteurs stellen een protocol voor dat per-score foutdecompositie en kalibratiesignatuur-analyse combineert om faalmodi te detecteren die door geaggregeerde metrics worden verborgen.
• Identificatie van Centrale Neigingsvertekening: De studie toont aan dat multimodale LLM's een consistente centrale neiging vertonen bij klinische ordinale scoring, waarbij ze systematisch extreme ratings (0 en 5) vermijden ten gunste van intermediaire scores.
• Isolatie van Bron van Vertekening: Door gerichte ablaties isoleert het artikel deze vertekening als een intrinsiek gedragspatroon van huidige multimodale LLM's, in plaats van een gevolg van onvoldoende prompting of specifieke klinische framing.

Betekenis en Claims
Het artikel betoogt dat frontier LLM's, hoewel veelbelovend als schaalbare proxies voor expertannotatie, hun huidige scoregedrag nog niet geschikt is voor zelfstandige inzet in klinische screeningworkflows met hoge risico's, waar accurate identificatie van schaaluiteinden cruciaal is. Het centrale neigingseffect vormt een specifiek risico: het kan leiden tot onderschatting van ernstige cognitieve stoornissen (door het voorspellen van een 1 in plaats van een 0) of tot oververwijzing van gezonde individuen (door het voorspellen van een 4 in plaats van een 5).

De auteurs breiden de literatuur over LLM-as-a-judge-vertekening uit van NLP-evaluatie naar klinische beoordeling. Ze veronderstellen dat dit gedrag kan voortkomen uit Reinforcement Learning from Human Feedback (RLHF)-alignering, die een menselijke afkeer van extreme ratings internaliseert, of als een distributievoorwaarde in het model. Het artikel concludeert dat de inzet van op LLM gebaseerde beoordelaars kalibratiebewuste evaluatie vereist en suggereert dat post-hoc kalibratie of hybride workflows (het gebruik van LLM's voor voorscreening en supervised modellen/mensen voor definitieve scoring) noodzakelijk zijn voordat deze tools veilig in de klinische praktijk kunnen worden geïntegreerd.