Unlocking In-Context Learning in Audio-Language Models from Decentralized Medical Audio

Sintesi Tecnica: Federated Self-Contextualization (FSC) per la Diagnosi Clinica Audio

Definizione del Problema
La diagnosi clinica tramite audio è intrinsecamente un compito di ragionamento fondato, in cui i clinici interpretano prove acustiche (ad es., rantoli, soffi) contro uno sfondo di conoscenza medica. Tuttavia, gli approcci dominanti di machine learning trattano questo compito come un problema di classificazione a set chiuso che richiede dataset ampi, aggregati centralmente e annotati da esperti. Questo paradigma fallisce nei contesti a basse risorse, dove le registrazioni annotate sono scarse, distribuite in silos istituzionali e governate da rigorosi vincoli di privacy. Inoltre, i modelli standard non possono adattarsi a concetti diagnostici assenti dai loro dati di addestramento o sfruttare la natura a vocabolario aperto della diagnosi nel mondo reale. Sebbene i modelli linguistici medici (LLM) possiedano una conoscenza clinica interiorizzata e capacità native di in-context learning (ICL), l'addestramento di un ICL condizionato dall'audio è paradossale: l'addestramento di un ICL audio-condizionato richiede episodi strutturati audio-etichetta, proprio ciò che non è disponibile tra istituzioni soggette a vincoli di privacy.

Metodologia: Federated Self-Contextualization (FSC)
Gli autori propongono la Federated Self-Contextualization (FSC), un framework multimodale che scinde l'acquisizione delle capacità di ragionamento diagnostico dalla disponibilità di reali annotazioni mediche. Il framework opera sotto un protocollo federato in cui l'audio grezzo non lascia mai l'istituzione di origine.

1. Intuizione Centrale: La capacità di ragionamento della diagnosi contestuale e la conoscenza clinica necessaria per applicarla possono essere acquisite da fonti separate. FSC addestra un modello utilizzando pseudo-etichette semanticamente vuote (ad es., "Mountain Breeze", "Sun Ray") derivate dal clustering non supervisionato di embedding audio. Poiché queste etichette non portano alcuna semantica medica, il modello non può memorizzare associazioni malattia-suono; invece, apprende l'abilità astratta di mappare pattern acustici su descrizioni di etichette contestuali.
2. Architettura:
   • Encoder Audio: Utilizza CaReAQA, un encoder audio medico pre-addestrato su compiti diversificati, per generare embedding.
   • Backbone del Modello Linguistico: Utilizza MedGemma-4B-IT, un LLM medico istruito con 4 miliardi di parametri. Il suo pre-addestramento fornisce la base semantica per i termini clinici reali durante l'inferenza.
   • Proiezione: Uno strato lineare mappa gli embedding audio in token di prefisso inseriti tra i token di confine visivo all'interno dell'LLM, consentendo la generazione condizionata dall'audio tramite standard self-attention senza modifiche architettoniche.
3. Pipeline di Addestramento Progressiva a Tre Stadi:
   • Stadio I (Allineamento): L'addestramento non episodico allinea gli embedding audio con il modello linguistico utilizzando coppie singole audio-pseudo-etichetta. Solo l'encoder e la proiezione vengono addestrati; l'LLM rimane congelato.
   • Stadio II (Raffinamento Episodico): L'addestramento si sposta su formati episodici (coppie support-query) utilizzando le pseudo-etichette. L'encoder e la proiezione vengono ulteriormente addestrati per produrre embedding discriminativi all'interno di un contesto di set di supporto relativo.
   • Stadio III (Adattamento LM): L'encoder e la proiezione vengono congelati. Vengono applicati adattatori LoRA all'LLM per specializzare i suoi meccanismi di attenzione per il ragionamento in-context condizionato dall'audio, preservando al contempo la sua conoscenza medica pre-addestrata.
4. Protocollo Federato: Implementato utilizzando Flower e FedProx. I client eseguono il clustering locale per generare pseudo-etichette indipendentemente. Vengono aggregati solo i parametri del modello (encoder/proiezione negli Stadi I-II; pesi LoRA nello Stadio III). Non viene scambiato alcun audio grezzo o tassonomia di etichette condivisa.
5. Inferenza: Al tempo di test, il modello riceve un set di supporto few-shot con descrizioni cliniche reali (ad es., "Rantolo", "Difetto del Setto Interatriale"). La conoscenza pre-addestrata dell'LLM ancora questi termini semanticamente, mentre la capacità di ICL appresa associa l'audio query alla descrizione appropriata.

Contributi Chiave

• Formalizzazione della Federated Self-Contextualization: Un paradigma in cui pseudo-etichette semanticamente vuote insegnano a un modello audio-linguistico la capacità trasferibile di ragionamento diagnostico in-context, mentre la conoscenza pre-addestrata dell'LLM fornisce la necessaria base semantica. Ciò scinde l'acquisizione della capacità di ragionamento dalla disponibilità di annotazioni.
• Addestramento Episodico Progressivo: Una pipeline a tre stadi che affronta congiuntamente l'allineamento cross-modale, l'in-context learning e la sovranità dei dati, operando senza accesso centralizzato ai dati o spazi di etichette predefiniti.
• Validazione Empirica: Valutazione estesa su sette dataset respiratori e cardiaci (oltre 22.000 registrazioni) che dimostra come l'FSC superi costantemente i recenti baseline audio-linguistici.

Risultati
Valutato su condizioni respiratorie e cardiache tenute fuori dal training utilizzando un protocollo episodico N-way K-shot (dove le etichette diagnostiche non sono state viste durante l'addestramento):

• Performance: Nel setting 2-way 2-shot, l'FSC raggiunge un'accuratezza del 71,6%, superando il più forte baseline audio-linguistico (Qwen2.5-Omni-7B) di oltre 9 punti percentuali (71,6% vs. 62,1%).
• Generalizzazione: Il modello dimostra una forte performance su diverse condizioni, tra cui URTI (89,3%), bronchiolite (74,8%), rantolo (74,3%) e difetto del setto interatriale (74,9%).
• Studi di Ablazione:
  • Rimuovere l'allineamento dello Stadio I riduce l'accuratezza di 4,3 punti.
  • Addestrare congiuntamente proiezione e LoRA da zero degrada le performance di 5,7 punti, validando la pipeline progressiva.
  • Sostituire l'LLM medico con LLM general-purpose (LLaMA3.2, Qwen2.5) causa cali sostanziali (fino a ~49-50%), confermando la necessità di prior medici pre-addestrati.
  • Federato vs. Centralizzato: L'addestramento federato sotto la stessa strategia di pseudo-etichette supera l'addestramento centralizzato di oltre 6 punti (71,6% vs. 65,4%), suggerendo che la diversità inter-istituzionale agisce come un naturale regolarizzatore.

Significatività
Il paper sostiene che l'FSC stabilisce la fattibilità pratica della diagnosi clinica audio few-shot e privacy-preserving. Risolvendo il paradosso del bisogno di episodi strutturati senza accesso a etichette reali, il framework consente ai modelli di interpretare le prove acustiche contro qualsiasi concetto clinico esprimibile in linguaggio naturale. I risultati indicano che l'addestramento decentralizzato può essere più efficace dell'addestramento centralizzato sotto identici vincoli di etichettatura, sfruttando la diversità istituzionale per prevenire l'overfitting su una singola struttura di clustering. Questo approccio offre una via per implementare strumenti diagnostici in contesti a basse risorse dove i dati annotati sono scarsi e la privacy è fondamentale.