Sintesi Tecnica: Supporto Decisionale Ortopedico Multilingue Affidabile da Narrative Cliniche

1. Definizione del Problema

Il supporto decisionale clinico (CDS) multilingue affronta ostacoli significativi in contesti sanitari linguisticamente diversificati e a basse risorse, in particolare nel Sud Asia dove le interazioni cliniche avvengono in lingue regionali (ad es. hindi, punjabi), mentre gli strumenti di IA rimangono prevalentemente centrati sull'inglese. Il supporto decisionale ortopedico è un caso d'uso critico a causa della natura delle narrazioni dei pazienti, che spesso contengono sintomi sovrapposti, prove incomplete, terminologia eterogenea e modelli di documentazione dipendenti dalla lingua.

Gli approcci esistenti faticano con diverse sfide specifiche:

• Instabilità Condizionale al Linguaggio: Le prestazioni del modello e la calibrazione variano significatamente tra le lingue, specialmente sotto distribuzioni di prevalenza clinica naturale dove lo sbilanciamento delle classi è severo.
• Specializzazione di Dominio: Gli encoder multilingue general-purpose e i Large Language Models (LLM) zero-shot spesso mancano del radicamento specifico richiesto per una categorizzazione clinica a set chiuso e sensibile alla sicurezza.
• Lacune di Affidabilità: Le metriche di accuratezza aggregate oscurano modalità di errore clinicamente significative, come predizioni eccessivamente sicure su casi incerti o bias specifici per lingua.
• Mancanza di Meccanismi di Deferimento: Gli attuali sistemi spesso mancano di meccanismi espliciti per deferire predizioni incerte alla revisione umana, un requisito crucialo per il CDS orientato alla sicurezza.

2. Metodologia

Lo studio propone un framework orientato all'affidabilità composto da un dataset curato, un'architettura di modello adattiva al dominio e uno strato di verifica post-predizione deterministico.

2.1 Costruzione del Dataset

Gli autori hanno costruito un corpus clinico ortopedico multilingue curato su larga scala contenente 134.979 record in inglese, hindi e punjabi. I dati sono stati estratti da un ospedale di assistenza terziaria in Pakistan (con collaborazione da ospedali indiani) e includono note scritte naturalmente, non traduzioni.

• Etichette Diagnostiche: Sei categorie: Spinale, Muscoloscheletrico, Osseo, Anca, Altro e Sconosciuto (indica prove insufficienti).
• Impostazioni di Valutazione: Sono state definite due distribuzioni:
  1. Bilanciato Controllato: 18.000 record (1.000 per classe per lingua) per consentire un confronto equo tra le lingue.
  2. Prevalenza Naturale: L'intero corpus raffinato che riflette il realistico sbilanciamento delle etichette cliniche (ad es. i reclami per l'Anca dominano in inglese/hindi; la colonna Spinale domina in punjabi).

2.2 Architettura Proposta: IndicBERT-HPA

Per affrontare i mismatch di dominio e di lingua, gli autori hanno introdotto IndicBERT-HPA (Hindi–Punjabi Adapters).

• Base: Un encoder IndicBERT condiviso fornisce uno spazio di rappresentazione multilingue comune.
• Adattamento:
  • Inglese: Segue il percorso diretto dell'encoder condiviso.
  • Hindi e Punjabi: Passano attraverso teste di adattamento ortopedico leggere e specifiche per la lingua. Questi adattatori utilizzano una trasformazione residua a collo di bottiglia (bottleneck) per proiettare le rappresentazioni condivise in uno spazio clinicamente discriminativo senza duplicare l'intero encoder.
• Addestramento: Il modello è addestrato end-to-end utilizzando la perdita cross-entropy, ottimizzando congiuntamente l'encoder condiviso, gli adattatori e la testa di classificazione.

2.3 Baseline e Confronti

Lo studio confronta IndicBERT-HPA con:

• Encoder Supervisionati: XLM-RoBERTa, mDeBERTa, IndicBERT standard e DistilBERT (fine-tuned sul task).
• LLM Zero-Shot: DeepSeek Open, Mistral-7B Instruct e Zephyr-7B valutati in un setting zero-shot, a etichette chiuse, senza fine-tuning specifico per il task o aumento tramite retrieval.

2.4 Strato di Verifica Selettiva Deterministico

Uno strato post-predizione è implementato per separare la predizione diagnostica dall'autorizzazione decisionale. Non modifica i parametri del modello, ma determina se una predizione debba essere accettata automaticamente o deferita. La funzione decisionale $g$ si basa su tre segnali:

1. Gating di Confidenza: Rifiuta le predizioni al di sotto di una soglia $\tau$ (impostata a 0.60).
2. Controllo di Coerenza delle Evidenze: Verifica se la categoria predetta è supportata da regole di evidenza sintomo-diagnosi.
3. Screening del Rischio Linguistico: Segnala i record con discrepanze di script, miscelazione anomala o eccessivo rumore di traslitterazione.
   Se una qualsiasi condizione fallisce ($\text{evidenza} \neq \text{supportata}$ OPPURE $\text{rischio} = \text{alto}$), il caso viene deferito per la revisione umana.

3. Contributi Chiave

1. Corpus Ortopedico Multilingue Curato: Un dataset su larga scala che spazia tra inglese, hindi e punjabi, supportando sia la valutazione bilanciata che quella a prevalenza naturale per analizzare lo sbilanciamento delle classi e l'eterogeneità linguistica.
2. Encoder Adattivo al Dominio (IndicBERT-HPA): Un'architettura che aumenta IndicBERT con adattatori ortopedici consapevoli della lingua, preservando le rappresentazioni condivise pur consentendo una specializzazione mirata per le lingue a basse risorse.
3. Protocollo di Valutazione Orientato all'Affidabilità: Una valutazione completa che va oltre l'accuratezza aggregata per includere performance per classe, ROC-AUC, AUPRC, Errore di Calibrazione Atteso (ECE) e stabilità cross-linguistica sotto prevalenza naturale.
4. Strato di Verifica Selettiva Deterministico: Un sistema basato su regole che combina confidenza, coerenza delle evidenze e rischio linguistico per autorizzare l'accettazione o deferire i casi incerti, affrontando esplicitamente i requisiti di sicurezza e l'approccio human-in-the-loop.

4. Risultati Sperimentali

4.1 Performance degli Encoder Supervisionati

• Setting Controllato: IndicBERT-HPA ha ottenuto le prestazioni complessive più elevate, con un Macro-F1 medio di 0.8177, un Macro-AUROC di 0.9302 e un AUPRC di 0.9147. Ha superato costantemente i baseline nella classificazione Muscoloscheletrica e "Sconosciuto" (evidenza insufficiente).
• Setting di Prevalenza Naturale: IndicBERT-HPA ha mantenuto la robustezza, ottenendo un Macro-F1 medio di 0.8792, un Macro-AUROC di 0.894 e un AUPRC di 0.902. Ha superato significativamente tutti i baseline, inclusi XLM-RoBERTa e DistilBERT.
• Calibrazione: Sebbene IndicBERT-HPA abbia mostrato una forte capacità discriminativa, ha esibito un Errore di Calibrazione Atteso (ECE) più elevato rispetto ad alcuni baseline in specifiche lingue (ad es. inglese), motivando la necessità dello strato di verifica piuttosto che affidarsi alla sola confidenza.

4.2 Performance degli LLM Zero-Shot

Gli LLM zero-shot hanno performato sostanzialmente peggio degli encoder adattati al task per la classificazione a set chiuso:

• DeepSeek Open (il miglior LLM) ha ottenuto un F1-score medio di 0.6121 sotto prevalenza naturale.
• IndicBERT-HPA ha superato il miglior LLM con un margine ampio (0.8792 vs 0.6121).
• Gli LLM hanno esibito una significativa instabilità dipendente dalla lingua e hanno carenza del radicamento specifico al task richiesto per la categorizzazione clinica strutturata senza fine-tuning.

4.3 Esiti della Verifica Selettiva

Valutato su un sottoinsieme di 5.000 record:

• Baseline Accept-All (Accetta Tutto): Accuratezza del 71.5%, Macro-F1 di 0.65.
• Con la Verifica: Il sistema ha accettato il 72.3% dei casi (deferendo il 27.7%) e ha raggiunto un'accuratezza selettiva dell'84.4% e un Macro-F1 selettivo di 0.76.
• Impatto sulla Sicurezza: Lo strato ha ridotto gli errori accettati non sicuri del 60.4% rispetto alla policy "accept-all", indirizzando efficacemente i casi incerti verso la revisione umana senza modificare il classificatore sottostante.

5. Significato e Rivendicazioni

Il documento sostiene che il supporto decisionale ortopedico multilingue richieda un passaggio dal diagramma autonomo all'assistenza orientata all'affidabilità. Lo studio dimostra che:

• L'Adattamento al Dominio è Critico: L'adattamento del dominio esplicito (IndicBERT-HPA) supera significativamente sia gli encoder multilingue general-purpose che gli LLM zero-shot in contesti clinici multilingue a basse risorse.
• La Prevalenza Naturale è Importante: La valutazione sotto distribuzioni cliniche naturali rivela modalità di errore e problemi di calibrazione che i benchmark bilanciati occultano.
• Il Deferimento Migliora la Sicurezza: La verifica selettiva deterministica migliora efficacementamente l'affidabilità delle predizioni accettate automaticamente, filtrando i casi a bassa confidenza o inconsistenti, riducendo così il rischio di errori automatizzati nei flussi di lavoro clinici.
• Necessità del Human-in-the-Loop: I risultati supportano un flusso di lavoro in cui l'IA fornisce una categorizzazione preliminare con segnali di incertezza espliciti, deferendo i casi complessi o rischiosi ai clinici, piuttosto che tentare una diagnosi completamente autonoma.

Gli autori sottolineano che questi risultati sono retrospettivi e specifici per un sottoinsieme; è necessaria una validazione prospettica con clinici nel loop prima del deployment nei flussi di lavoro reali. Lo studio non afferma che gli LLM zero-shot siano pronti per questo compito specifico senza adattamento, né afferma che lo strato di verifica sostituisca il giudizio clinico.