Sintesi Tecnica: Un approccio basato sui concetti per la rilevazione dei disturbi della voce

Definizione del Problema

I disturbi della voce colpiscono una parte significativa della popolazione, eppure gli attuali metodi diagnostici spesso si affidano a procedure cliniche invasive. Sebbene le recenti Reti Neurali Profonde (DNN), in particolare quelle basate su architetture Transformer, abbiano dimostrato prestazioni promettenti nella classificazione di voci patologiche rispetto a quelle eufoniche attraverso l'analisi audio non invasiva, esse soffrono di un limite critico: l'opacità. Questi modelli operano come "scatole nere" (black boxes), fornendo output senza spiegare il processo decisionale. Nel sensibile contesto dell'assistenza sanitaria, questa mancanza di interpretabilità solleva preoccupazioni etiche e legali, ostacolando l'affidabilità e l'adozione clinica della diagnostica guidata dall'IA. Il documento affronta la necessità di uno strumento diagnostico che mantenga un'elevata capacità predittiva offrendo al contempo un framework decisionale trasparente e interpretabile.

Metodologia

Gli autori propongono un approccio basato sui concetti utilizzando la XAI (Explainable AI), concentrandosi specificamente su Concept Bottleneck Models (CBM) e Concept Embedding Models (CEM). La metodologia prevede un processo in due fasi:

1. Annotazione dei concetti tramite Large Language Models (LLM)

Poiché il dataset target (Italian Pathological Voice - IPV) contiene un'anamnesi testuale non strutturata (storia medica) anziché concetti pre-etichettati, gli autori hanno sviluppato una pipeline per estrarre 14 concetti candidati da questi testi.

• Estrazione: Hanno utilizzato un LLM (nello specifico Gemini-pro, selezionato dopo test comparativi con Mistral 7B) per analizzare l'anamnesi e produrre un oggetto JSON strutturato contenente i valori dei concetti.
• Definizione dei concetti: L'insieme iniziale comprendeva 14 concetti (ad es., fumo, uso professionale della voce, gravità della disfonia, onda mucosa irregolare, rugosità, fiato corto/breathiness).
• Raffinamento: Attraverso la consultazione con esperti medici, l'insieme è stato raffinato. I concetti che richiedevano esami fisici invasivi (ad es., colori specifici della mucosa) sono stati esclusi. Altri sono stati accorpati (ad es., "disfonia lieve-moderata" è stata unita a "moderata"). L'insieme finale comprende 9 concetti prevedibili (derivati dall'audio/anamnesi tramite il modello) e 5 concetti forniti dal paziente (ad es., genere, stato di fumatore). I concetti prevedibili si allineano ampiamente con la scala GRBAS (Grade, Roughness, Asthenia, Strain).
• Codifica: I concetti multi-classe (ad es., gravità della disfonia) sono stati codificati tramite one-hot encoding, risultando in un totale di 20 dimensioni di concetti prima della selezione finale.

2. Architettura del Modello

Il framework proposto utilizza HuBERT, un Transformer audio pre-addestrato, come estrattore di caratteristiche per generare embedding audio. Sono implementate due architetture:

• Concept Bottleneck Model (CBM): Gli embedding audio vengono passati attraverso una testa di classificazione per predire i valori binari dei 9 concetti (il "collo di bottiglia" o bottleneck). I concetti predetti vengono poi concatenati con i 5 concetti forniti dal paziente. Un secondo classificatore mappa quindi questo vettore di concetti combinato alla diagnosi binaria finale (patologica vs. eufonica). Fondamentalmente, il classificatore finale non ha accesso al segnale audio grezzo, affidandosi esclusivamente ai concetti.
• Concept Embedding Model (CEM): Simile al CBM, ma invece di predire logit binari, lo strato di bottleneck apprende due embedding distinti per ogni concetto (stati attivo e inattivo). La predizione finale è una combinazione ponderata di questi embedding basata sulla probabilità predetta che il concetto sia attivo.

3. Strategia di Addestramento

I modelli sono addestrati utilizzando una funzione di perdita congiunta che minimizza sia la perdita del concetto (accuratezza della predizione dei concetti intermedi) sia la perdita del task (accuratezza della diagnosi finale). Un iperparametro $\lambda$ bilancia queste perdite. Gli autori hanno impiegato una strategia di warm-up, congelando la perdita del task per i primi due epoch per dare priorità all'apprendimento di rappresentazioni concettuali robuste prima di ottimizzare la classificazione finale.

Contributi Chiave

1. Applicazione della XAI basata sui concetti ai disturbi della voce: Questo è il primo lavoro ad applicare le architetture CBM e CEM specificamente alla rilevazione delle patologie vocali, andando oltre gli approcci standard end-to-end a scatola nera.
2. Pipeline automatizzata di estrazione dei concetti: Il documento dimostra un nuovo flusso di lavoro utilizzando gli LLM per estrarre concetti medici di alto livello da testi clinici non strutturati (anamnesi) per fungere da ground truth per l'addestramento di modelli basati sui concetti.
3. Interpretabilità senza perdita di performance: Lo studio valida il fatto che i modelli basati sui concetti possono raggiungere prestazioni paragonabili a quelle degli Transformer end-to-end standard, fornendo al contempo giustificazioni esplicite per le loro predizioni in termini di caratteristiche clinicamente rilevanti (ad es., "disfonia", "rugosità").

Risultati

Gli esperimenti sono stati condotti sul dataset Italian Pathological Voice (IPV), composto da 513 pazienti (170 eufonici, 340 disfoni), di cui 385 casi contenevano l'anamnesi scritta. Lo studio ha utilizzato la validazione incrociata a 10 pieghe (10-fold cross-validation).

• Annotazione dei concetti: Il modello Gemini-pro ha raggiunto un'accuratezza dei concetti del 98,65% e un F1 score macro di 98,10% su un set di validazione annotato manualmente, superando Mistral 7B.
• Rilevazione dei disturbi della voce:
  • Baseline: Un modello HuBERT end-to-end standard con una testa di classificazione a 2 strati ha raggiunto un'accuratezza del task del 91,33% e un F1 di 0,9085.
  • Modelli basati sui concetti:
    • CBM: Ha raggiunto un'accuratezza del task dell'87,76% e un F1 di 0,8566, con un'accuratezza dei concetti dell'84,43%.
    • CEM: Ha raggiunto un'accuratezza del task dell'87,30% e un F1 di 0,8599, con un'accuratezza dei concetti dell'84,50%.
  • CBM Ideale: Quando fornito con le etichette dei concetti ground-truth (simulando una perfetta estrazione dei concetti), il CBM ha raggiunto il 90,52% di accuratezza, quasi eguagliando la baseline end-to-end.

I risultati indicano che il calo di performance per i modelli effettivi basati sui concetti è dovuto principalmente alla natura imperfetta delle annotazioni dei concetti generate dall'LLM (circa l'84,5% di accuratezza), piuttosto che a un limite fondamentale dell'architettura. I modelli hanno imparato con successo a utilizzare concetti come "disfonia", "breathiness" e "rugosità" per giustificare la diagnosi finale.

Significato e Rivendicazioni

Il documento sostiene che i modelli basati sui concetti rappresentano un passo avanti significativo nel rendere l'IA in ambito sanitario trasparente e affidabile. Collegando esplicitamente la diagnosi finale a concetti intermedi comprensibili dall'uomo (come i parametri della scala GRBAS), questi modelli permettono ai clinici di verificare il ragionamento dietro una predizione. Gli autori affermano che, sebbene l'approccio end-to-end rimanga leggermente più accurato, l'approccio basato sui concetti offre un livello di performance "competitivo" con il vantaggio distinto dell'interpretabilità, consentendo agli esperti umani di intervenire o derivare predizioni controfattuali. Gli autori mantengono un tono modesto, riconoscendo che l'attuale divario di performance è in gran parte attribuibile alla qualità delle annotazioni concettuali automatizzate e che il lavoro futuro potrebbe ulteriormente migliorare il sistema integrando vocali sostenute e strumenti di reportistica generativa.