Reliability-Oriented Multilingual Orthopedic Diagnosis: A Domain-Adaptive Modeling and a Conceptual Validation Framework

Riepilogo Tecnico: Diagnosi Ortopedica Multilingue Orientata all'Affidabilità

Enunciato del Problema
Il supporto alle decisioni cliniche multilingue affronta sfide significative in ambienti sanitari linguisticamente diversificati e a risorse limitate, in particolare laddove le cartelle cliniche elettroniche e gli strumenti di intelligenza artificiale sono prevalentemente incentrati sull'inglese, mentre le interazioni cliniche avvengono in lingue regionali come l'hindi e il punjabi. Questo disallineamento linguistico aumenta il rischio di interpretazioni errate e di erogazione di cure incoerente. La diagnosi ortopedica funge da banco di prova ad alto rischio per tale problema a causa della sovrapposizione dei sintomi, della terminologia eterogenea e della necessità critica di una classificazione affidabile e strutturata piuttosto che di una generazione aperta. Gli approcci esistenti spesso si basano su encoder multilingue generici o su Modelli Linguistici di grandi dimensioni (LLM) a zero-shot, che, secondo gli autori, mancano di una specializzazione di dominio sufficiente, mostrano instabilità condizionata dalla lingua e soffrono di lacune di calibrazione in contesti critici per la sicurezza.

Metodologia
Lo studio propone un'analisi a livello di sistema che confronta tre regimi di modellazione con i LLM a zero-shot per la diagnosi ortopedica in inglese, hindi e punjabi.

1. Costruzione del Dataset: Gli autori hanno curato un corpus ortopedico multilingue su larga scala tratto dall'Ospedale Bahawalpur Victoria e da partner indiani, comprendente circa 135.000 note cliniche. I dati hanno subito un affinamento rigoroso, inclusa la deduplicazione, il filtraggio del rumore e l'allineamento delle etichette da parte di medici ortopedici abilitati. Sono stati stabiliti due setting di valutazione:

   • Controllato (Bilanciato): 18.000 note distribuite uniformemente tra le lingue e sei categorie diagnostiche (Spinale, Muscoloscheletrico, Osseo, Anca, Altro, Sconosciuto).
   • Naturale (Reale): ~135.000 note che mantengono la distorsione originale delle classi e la prevalenza per simulare le condizioni di distribuzione.

2. Regimi di Modellazione:

   • Fine-Tuning Solo per il Compito: Valutazione di encoder multilingue generici (XLM-RoBERTa, IndicBERT, mDeBERTa) e di una baseline leggera incentrata sull'inglese (DistilBERT) adattati end-to-end al compito ortopedico.
   • Architettura Adattiva al Dominio (IndicBERT-HPA): Un'estensione proposta di IndicBERT che integra testate adattatore ortopediche specifiche per la lingua. Questa architettura utilizza proiezioni a collo di bottiglia per mappare le rappresentazioni linguistiche generali in un sottospazio ortopedico clinicamente discriminativo, preservando al contempo la capacità di trasferimento cross-linguistico.
   • LLM a Zero-Shot: Valutazione di LLM addestrati all'istruzione (DeepSeek Open, Mistral-7B Instruct, Zephyr-7B) in un setting a zero-shot per valutare la loro fluidità generativa rispetto all'affidabilità diagnostica strutturata senza fine-tuning.

3. Protocollo di Valutazione: Le prestazioni sono state misurate utilizzando precisione, richiamo, punteggio F1, accuratezza, ROC-AUC e AUPRC. Crucialmente, lo studio ha incorporato l'Errore di Calibrazione Atteso (ECE) per valutare l'affidabilità della confidenza.

4. Quadro di Validazione Concettuale: Basandosi su modalità di fallimento empiriche, gli autori propongono un livello di validazione deterministico basato su agenti. Questo quadro separa la generazione della diagnosi dall'autorizzazione decisionale, impiegando agenti di verifica delle prove, controlli di coerenza linguistica e un gate conservativo uomo-nel-loop per rinviare previsioni a bassa confidenza o contraddittorie.

Contributi Chiave

1. Dataset Multilingue Curato: La creazione di un dataset ortopedico su larga scala, validato da medici, che copre inglese, hindi e punjabi, supportando sia l'analisi della distribuzione bilanciata che quella naturale.
2. Architettura IndicBERT-HPA: L'introduzione di un modello adattivo al dominio che modella esplicitamente la struttura del dominio tramite adattatori specifici per la lingua, dimostrando che la specializzazione architetturale può superare la scala in contesti clinici a risorse limitate.
3. Valutazione Orientata all'Affidabilità: Un protocollo completo che va oltre l'accuratezza aggregata per analizzare le prestazioni per classe, il comportamento di calibrazione (ECE) e l'instabilità cross-linguistica, evidenziando che un'alta discriminazione non garantisce una distribuzione sicura.
4. Quadro di Validazione Concettuale: Un design teorico per un sistema deterministico basato su agenti che impone la coerenza delle prove e un gate conservativo, posizionando la separazione tra previsione e autorizzazione come requisito fondamentale per i sistemi critici per la sicurezza.

Risultati

• LLM a Zero-Shot: Nonostante una forte fluidità linguistica, i LLM a zero-shot hanno mostrato una calibrazione instabile, un ancoraggio debole alle etichette e una significativa variabilità cross-linguistica. Le loro prestazioni sono state costantemente inferiori rispetto agli encoder supervisionati, in particolare nelle lingue a risorse limitate (punjabi) e per compiti di classificazione strutturata.
• Solo Compito vs. Adattivo al Dominio: Sebbene i modelli adattati al compito (come DistilBERT) abbiano ottenuto punteggi aggregati forti, hanno mostrato una calibrazione fragile e prestazioni disuguali tra le lingue. IndicBERT-HPA ha ottenuto la discriminazione complessiva più forte (Macro-F1 ~0,88–0,89 in contesti reali) e il comportamento cross-linguistico più coerente. Ha dimostrato una qualità di ranking superiore (AUROC/AUPRC) e segnali di confidenza più prevedibili rispetto alle baseline.
• Calibrazione e Robustezza: Lo studio ha rilevato che modelli con alto AUROC possono comunque soffrire di eccessiva sicurezza (alto ECE). IndicBERT-HPA, pur mostrando un errore di calibrazione moderato, ha mantenuto una separabilità stabile, che gli autori ritengono più critica per la sicurezza rispetto alla pura accuratezza, poiché una cattiva calibrazione può essere corretta a posteriori mentre una scarsa discriminazione no.
• Prestazioni nel Mondo Reale: Sotto squilibrio di classe naturale, gli encoder supervisionati hanno superato significativamente i LLM a zero-shot. Tuttavia, tutti i modelli hanno mostrato sensibilità agli spostamenti distributivi, rafforzando la necessità di livelli di validazione espliciti.

Significato e Affermazioni
Il documento sostiene che un supporto alle decisioni cliniche multilingue affidabile non può basarsi esclusivamente sulla scala del modello o sulla fluidità generativa. Al contrario, richiede un approccio a livello di sistema che integri:

1. Specializzazione Adattiva al Dominio: Un allineamento architetturale esplicito con la tassonomia medica e i vincoli linguistici è più efficace rispetto al pre-addestramento generico per compiti strutturati.
2. Valutazione Consapevole dell'Affidabilità: Le metriche devono includere la calibrazione e la stabilità per classe, non solo l'accuratezza aggregata, per identificare le modalità di fallimento in contesti critici per la sicurezza.
3. Governance e Validazione: La separazione della generazione delle previsioni dall'autorizzazione decisionale tramite livelli di validazione deterministici e basati su regole è essenziale per gestire il rischio, garantire l'auditabilità e permettere la supervisione uomo-nel-loop.

Gli autori concludono che, sebbene i LLM mostrino promesse nei compiti generativi, la loro applicazione a zero-shot alla diagnosi multilingue strutturata e ad alto rischio è attualmente insufficiente. L'architettura IndicBERT-HPA proposta e il quadro di validazione concettuale offrono una via verso sistemi di IA clinica più sicuri e affidabili, che danno priorità alla responsabilità e alla mitigazione del rischio rispetto al processo decisionale autonomo.