EPPC-OASIS: Ontology-Aware Adaptation and Structured Inference Refinement for Electronic Patient-Provider Communication Mining in Secure Messages

Riepilogo Tecnico: EPPC-OASIS

Enunciato del Problema
I messaggi sicuri tra paziente e fornitore contengono comportamenti comunicativi ricchi e clinicamente significativi (ad esempio, coordinamento delle cure, preoccupazioni emotive, processo decisionale condiviso) che sono difficili da caratterizzare manualmente su larga scala. Sebbene il framework di Comunicazione Elettronica tra Paziente e Fornitore (EPPC) fornisca un'ontologia strutturata per codificare questi comportamenti, l'estrazione automatizzata rimane una sfida. Il compito richiede più di una semplice classificazione a etichetta singola; i modelli devono identificare i comportamenti comunicativi, mapparli su un sistema gerarchico di codici di alto livello e sottocodici specifici, e ancorare queste previsioni a specifici segmenti di testo del messaggio originale.

Gli approcci attuali presentano due limitazioni principali:

1. Divario di Rappresentazione: Il fine-tuning supervisionato standard (SFT) tratta le annotazioni come sequenze di output isolate, non riuscendo a sfruttare la natura gerarchica, sbilanciata e semanticamente adiacente dell'ontologia EPPC. Di conseguenza, i modelli commettono spesso errori strutturati, come assegnare un sottocodice plausibile sotto il codice genitore errato o confondere comportamenti semanticamente simili.
2. Rigidità dell'Inferenza: L'inferenza è tipicamente trattata come un singolo passo di generazione. Tuttavia, gli errori nell'estrazione EPPC si manifestano in modo diverso per l'assegnazione dell'etichetta rispetto all'ancoraggio delle prove (selezione del segmento). Un output greedy potrebbe avere un segmento corretto ma un sottocodice errato, mentre un output campionato potrebbe avere l'etichetta corretta ma un segmento deviato. I metodi standard non affrontano simultaneamente questi distinti modi di fallimento.

Metodologia
Gli autori propongono EPPC-OASIS, un framework a due stadi progettato per migliorare l'estrazione strutturata EPPC: Adattamento Consapevole dell'Ontologia (addestramento) e Raffinamento Strutturato dell'Inferenza (inferenza).

1. Adattamento Consapevole dell'Ontologia (Addestramento)
L'innovazione principale è l'integrazione della struttura dell'ontologia EPPC direttamente nell'obiettivo di fine-tuning utilizzando un segnale di allineamento di Wasserstein.

• Costruzione del Vettore dell'Ontologia: Le annotazioni oro vengono convertite in vettori multi-hot che rappresentano l'unione dei codici e dei sottocodici attivi.
• Priorità di Similarità dell'Ontologia: Viene costruita una matrice di priorità ($P$) basata sulla similarità semantica tra le descrizioni dei codici. Questo definisce una similarità target tra gli esempi, trasformando la sovrapposizione piatta delle etichette in una misura di similarità strutturata che rispetta la gerarchia EPPC.
• Allineamento del Banco di Memoria di Wasserstein: Per affrontare la scarsità di esempi correlati nei mini-batch standard (specialmente per i modelli di grandi dimensioni), il metodo impiega un banco di memoria precompilato e congelato contenente le rappresentazioni di tutti gli esempi di addestramento.
  • Per ogni input, il modello calcola una distribuzione del vicinato di rappresentazione ($p_{rep}$) basata sulle similarità degli stati nascosti.
  • Confronta questa distribuzione con una distribuzione del vicinato ontologico ($p_{ont}$) derivata dai punteggi di similarità target.
  • Un costo di trasporto ottimale regolarizzato dall'entropia (perdita Sinkhorn) allinea queste due distribuzioni.
• Obiettivo: La perdita totale combina la perdita standard di estrazione supervisionata ($\mathcal{L}_{SFT}$) con la perdita di allineamento ontologico ($\mathcal{L}_{ont}$), pesata da $\lambda_{ont}$. Ciò incoraggia il modello a organizzare il suo spazio di rappresentazione per rispecchiare la struttura dell'ontologia EPPC.

2. Raffinamento Strutturato dell'Inferenza
Per affrontare gli errori residui, il framework applica un livello di raffinamento deployabile che non altera l'obiettivo di addestramento ma migliora il set di annotazioni finale attraverso verifica e aggregazione:

• Auto-Raffinamento a Catena di Pensiero (CoT-SR): Genera un output greedy, verifica l'ancoraggio del segmento (controllando la presenza letterale o una sovrapposizione Jaccard elevata) e utilizza un prompt di auto-raffinamento per correggere i triplet non supportati o riparare piccoli errori di segmento.
• Auto-Consistenza: Campiona più output per stabilizzare l'assegnazione delle etichette (coppie Codice/Sottocodice) tramite votazione, selezionando il segmento con la massima similarità di consenso.
• Correzione Ibrida: Combina i punti di forza degli output greedy e di auto-consistenza. Mantiene il segmento di prova da una previsione greedy se sovrappone sufficientemente con un segmento di auto-consistenza, sostituendo le etichette con le etichette di auto-consistenza più stabili.
• Selettore/Ensemble: Utilizza criteri interni (ad esempio, validità del segmento, conteggi di coppie distinte) per selezionare la migliore previsione tra i candidati CoT-SR e di auto-consistenza, oppure unisce le previsioni su più semi casuali per modelli ad alta capacità.

Contributi Chiave

1. Metodo EPPC-OASIS: Un metodo di adattamento consapevole dell'ontologia che utilizza l'inventario di codici/sottocodici EPPC per definire un obiettivo di allineamento di Wasserstein durante il fine-tuning, garantendo che le rappresentazioni del modello si allineino con la struttura gerarchica dell'ontologia.
2. Framework di Inferenza Strutturata: Una pipeline deployabile che combina auto-verifica, auto-consistenza, correzione ibrida delle etichette e selezione/ensemble per affrontare specifici modi di fallimento nell'assegnazione delle etichette e nell'ancoraggio delle prove.
3. Valutazione Completa: Valutazione su più famiglie di modelli a pesi aperti (Llama, Mistral, Qwen, DeepSeek) e scale (da 1B a 70B), confrontando con prompting, SFT standard, ottimizzazione basata sulle preferenze (DPO, IPO, ecc.) e baseline orientate alla robustezza (STaR-DRO).
4. Analisi Diagnostica: Studi di ablazione che separano gli effetti dell'addestramento consapevole dell'ontologia dal raffinamento al momento dell'inferenza, e distinguono le prestazioni della pipeline deployabile dai limiti superiori teorici (punteggi migliori per componente).

Risultati
Il framework è stato valutato su un corpus anonimizzato di 867 esempi annotati (5.516 annotazioni) utilizzando punteggi F1 mediati su micro per Codice, Sottocodice, Segmento, Codice+Sottocodice e Tripletta (Codice+Sottocodice+Segmento).

• Miglioramenti delle Prestazioni: Attraverso le famiglie di modelli, la migliore pipeline deployabile ha raggiunto 77,13% di F1 per Codice+Sottocodice e 63,83% di F1 per Tripletta.
• Confronto con le Baseline: Questi risultati rappresentano guadagni assoluti modesti ma coerenti di +1,39 e +2,12 punti F1, rispettivamente, rispetto alla baseline di fine-tuning supervisionato più forte.
• Impatto dell'Ontologia: EPPC-OASIS ha costantemente superato lo SFT standard e le baseline basate sulle preferenze sulle metriche strutturali (F1 Codice+Sottocodice), dimostrando una conservazione superiore della gerarchia delle etichette. Sebbene i metodi basati sulle preferenze (ad esempio, DPO) abbiano mostrato prestazioni competitive nella localizzazione esatta del segmento, EPPC-OASIS è stato superiore nel mantenere la coerenza delle etichette.
• Scala del Modello: I benefici dell'adattamento consapevole dell'ontologia sono stati più pronunciati nei modelli più piccoli (ad esempio, Llama-3.2-1B) e sono stati ulteriormente stabilizzati su diverse architetture (inclusi Qwen e DeepSeek) attraverso la media dei pesi dei checkpoint.
• Risultati di Ablazione: La rimozione del termine di allineamento ontologico, del banco di memoria o della priorità di similarità semantica ha portato a un degrado delle prestazioni, confermando che i guadagni non erano dovuti semplicemente al fine-tuning specifico del compito, ma specificamente al segnale di allineamento strutturato.

Significato e Affermazioni
Il documento afferma che EPPC-OASIS supporta l'estrazione scalabile e retrospettiva delle comunicazioni elettroniche tra paziente e fornitore migliorando l'affidabilità dell'estrazione strutturata.

• Abilitazione Informatica: Il valore principale è l'abilitazione della ricerca retrospettiva, della misurazione della qualità e dell'analisi a livello di coorte dei modelli comunicativi, piuttosto che del supporto decisionale clinico immediato o dell'automazione in tempo reale.
• Auditabilità: Estraendo segmenti di prova ancorati insieme alle etichette, il sistema permette ai ricercatori di verificare il testo sottostante i comportamenti previsti, il che è critico per categorie sensibili come i Determinanti Sociali della Salute (SDOH).
• Avanzamento Metodologico: Il lavoro dimostra che incorporare direttamente le ontologie di dominio nell'obiettivo di adattamento (tramite allineamento di Wasserstein) è più efficace per compiti multi-etichetta gerarchici rispetto al trattare l'ontologia esclusivamente come schema di valutazione ex-post o vocabolario di output.
• Avvertenze: Gli autori dichiarano esplicitamente che è necessaria una validazione esterna prima dell'uso operativo. I risultati attuali non stabiliscono miglioramenti negli esiti clinici, nel triage o nel coordinamento delle cure. Inoltre, le pipeline di raffinamento dell'inferenza comportano costi computazionali aumentati (passaggi multipli o campionamento), che sono accettabili per l'analisi retrospettiva ma potrebbero richiedere ottimizzazione (ad esempio, distillazione) per il deployment in tempo reale.