WHBench: Evaluating Frontier LLMs with Expert-in-the-Loop Validation on Women's Health Topics

1. Il Problema: Il Divario nella Salute della Donna e nei Benchmark Esistenti

I modelli linguistici su larga scala (LLM) sono sempre più utilizzati per ottenere informazioni mediche, ma la loro affidabilità nel dominio della salute della donna è critica e sottostimata.

• Limitazioni dei benchmark attuali: Strumenti esistenti come MedQA, MedMCQA o MMLU si basano su domande a scelta multipla che premiano il riconoscimento di pattern piuttosto che il ragionamento integrativo necessario per consulenze cliniche aperte. Non valutano specificamente le modalità di fallimento tipiche della salute femminile, né includono criteri di equità sanitaria.
• Fattori di rischio specifici:
  • Guideline in evoluzione: Le linee guida cliniche (es. per la gravidanza o la tiroide) cambiano frequentemente; i modelli rischiano di basarsi su dati obsoleti.
  • Fattori individuali: Le decisioni terapeutiche dipendono da variabili complesse (età, BMI, storia riproduttiva, razza) che richiedono un ragionamento contestuale.
  • Divario di genere nei dati: La letteratura medica storica presenta un "gender data gap", portando i modelli ad ereditare punti ciechi sulle disparità di salute.
• Lacuna critica: Non esisteva un benchmark che valutasse se i modelli considerano le disparità di salute o forniscono consigli sicuri ed equi per popolazioni diverse.

2. Metodologia e Progettazione del Benchmark (WHBench)

Gli autori hanno sviluppato WHBench, un benchmark specifico composto da 47 scenari clinici su 10 argomenti (fertilità, salute ormonale, gravidanza, PCOS, contraccezione, endometriosi, screening oncologico, salute vaginale, salute mentale, salute ossea).

A. Design delle Domande

• Realismo clinico: Le domande simulano query reali dei pazienti, da quelle fattuali a casi complessi con comorbidità.
• Targeting delle modalità di fallimento: Ogni domanda è mappata su una specifica modalità di errore (es. informazioni mancanti, guideline obsolete, errori di dosaggio, omissione di disparità razziali).
• Calibrazione della difficoltà: Le domande variano dal semplice richiamo fattuale al ragionamento avanzato con evidenze conflittuali.

B. Risposte di Riferimento (Expert-in-the-Loop)

• Le risposte di riferimento sono state scritte indipendentemente da 4-6 esperti certificati per domanda (medici OB/GYN, oncologi ginecologici, infermieri specializzati in fertilità).
• Gli esperti non avevano accesso alle risposte degli altri, garantendo indipendenza. Le risposte medie sono concise (~94 parole), riflettendo lo stile clinico reale.

C. Sistema di Valutazione (Rubrica)

È stata utilizzata una rubrica dettagliata con 23 criteri organizzati in 8 categorie:

1. Accuratezza Clinica
2. Completezza
3. Sicurezza (con penalità asimmetriche pesanti per errori pericolosi)
4. Qualità della Comunicazione
5. Rispetto delle Istruzioni
6. Equità (incluso il primo criterio dedicato ai determinanti sociali della salute e all'evitamento dei bias in un benchmark medico)
7. Adesione alle Linee Guida
8. Gestione dell'Incertezza

• Filosofia di giudizio: "Default to fail" (fallire di default). Un criterio è considerato fallito a meno che la risposta non lo soddisfi chiaramente.
• Penalità asimmetriche: Gli errori di sicurezza (es. dosaggi errati, omissioni pericolose) hanno penalità molto più severe rispetto agli errori di formattazione.
• Pipeline di Giudizio: Le risposte sono state valutate da LLM (Claude Sonnet 4.6 come giudice primario, GPT-5.4 come secondario) in un processo cieco. I punteggi grezzi sono stati ricalcolati lato server per evitare errori aritmetici dei giudici.

3. Sperimentazione

• Modelli Testati: 22 modelli, inclusi frontier (GPT-5.4, Claude Opus 4.6, Gemini 3), modelli specializzati nel ragionamento (OpenAI o3, DeepSeek-R1) e modelli open-source (Llama 3.1/3.3/4, Nemotron).
• Protocollo: Setting zero-shot, closed-book, con prompt di sistema standardizzato che istruisce il modello a comportarsi come un medico specialista.
• Volume: 3.100 risposte valutate (22 modelli × 47 domande × 3 esecuzioni).

4. Risultati Chiave

A. Performance Generale

• Nessun modello supera il 75%: Il punteggio medio più alto è stato raggiunto da Claude Opus 4.6 con il 72,1%.
• Bassa accuratezza assoluta: Anche il modello migliore ha ottenuto risposte "Completamente Corrette" (≥80% di accuratezza sui criteri) solo nel 35,5% dei casi. La maggior parte delle risposte è "Parzialmente Corretta".
• Stallo della Frontiera: I modelli leader (top 7) sono molto vicini tra loro (72,1% - 60,7%), suggerendo un "tetto di capacità" non visibile nei benchmark tradizionali.
• Divario di Sicurezza: Esiste una variazione significativa nei tassi di danno (Harm%). Claude Opus 4.6 ha il tasso più basso (12,8%), mentre altri modelli forti come GPT-5.4 o OpenAI o3 hanno tassi di danno superiori al 38-47%.

B. Analisi per Categoria

• Sicurezza: Il riconoscimento dell'urgenza è alto, ma la consapevolezza delle controindicazioni è variabile. Il tasso di danno (commissioni o omissioni pericolose) rimane preoccupante anche nei modelli top.
• Completezza: I modelli tendono a fornire raccomandazioni primarie ma omettono spesso piani di follow-up, monitoraggio o alternative necessarie per la decisione clinica condivisa.
• Equità (Il punto cieco universale):
  • I modelli falliscono sistematicamente nel considerare i determinanti sociali della salute (F18a), con tassi di superamento tra lo 0,7% e il 19,1%.
  • Al contrario, evitano bene il linguaggio esplicitamente bias (F18b), con tassi di superamento >78%.
  • Conclusione: I modelli sono bravi a non usare parole offensive, ma non riescono a integrare proattivamente barriere strutturali, accesso all'assicurazione o contesto socioeconomico nelle raccomandazioni cliniche.

C. Affidabilità Inter-Valutatore

• L'accordo sui singoli etichette (Corretto/Parziale/Errato) è moderato ($\kappa = 0,238$), indicando rumore nella valutazione singola.
• Tuttavia, la correlazione di rango tra i giudici è molto alta ($\rho = 0,916$), dimostrando che il benchmark è stabile e affidabile per confrontare e classificare i sistemi complessivi, anche se le valutazioni assolute richiedono supervisione umana.

5. Contributi e Significato

1. Primo Benchmark Specifico: WHBench è il primo benchmark a valutare esplicitamente le modalità di fallimento nella salute della donna e a includere una dimensione dedicata all'equità sanitaria.
2. Scoperta di un "Tetto di Capacità": Dimostra che i modelli attuali, anche i più avanzati, non sono ancora pronti per l'uso autonomo in contesti clinici complessi, con un divario significativo tra le prestazioni su quiz a scelta multipla e la consulenza clinica aperta.
3. Problema dell'Omissione dell'Equità: Evidenzia che l'addestramento attuale non riesce a colmare il divario nella considerazione dei determinanti sociali della salute, un aspetto critico per l'equità clinica.
4. Risorsa Pubblica: Il benchmark è rilasciato come risorsa pubblica per monitorare i progressi verso un'IA clinica più sicura ed equa.

Conclusione

Il paper conclude che, nonostante i progressi, nessun modello attuale è sufficientemente affidabile per essere utilizzato senza supervisione clinica nel dominio della salute della donna. La necessità di revisione umana rimane imperativa, specialmente per garantire la sicurezza, la completezza delle raccomandazioni e l'equità verso diverse popolazioni. WHBench fornisce gli strumenti necessari per misurare questi gap e guidare lo sviluppo futuro.