Unlocking In-Context Learning in Audio-Language Models from Decentralized Medical Audio

Technische Samenvatting: Federated Self-Contextualization (FSC) voor Klinische Audio-diagnostiek

Probleemstelling
Klinische audio-diagnostiek is inherent een gegrond redeneertaak waarbij clinici akoestisch bewijs (bijv. piepen, wibs) interpreteren tegen de achtergrond van medische kennis. De dominante machine learning-benaderingen behandelen dit echter als een closed-set classificatieprobleem dat grote, centraal geaggregeerde, door experts geannoteerde datasets vereist. Dit paradigma faalt in omgevingen met beperkte middelen waar geannoteerde opnames schaars zijn, verspreid zijn over institutionele silo's en worden beheerd onder strikte privacybeperkingen. Bovendien kunnen standaardmodellen niet adapteren aan diagnostische concepten die afwezig zijn in hun trainingsdata of gebruikmaken van de open-vocabulaire aard van de werkelijke klinische diagnostiek. Hoewel medische taalmodellen (LLM's) geïnternaliseerde klinische kennis en natuurlijke in-context leervermogens (ICL) bezitten, is het gronden van hen in klinische audio paradoxaal: het trainen van audio-geconditioneerde ICL vereist gestructureerde audio-label episodes, terwijl expert-geannoteerde paren precies datgene zijn wat niet beschikbaar is over privacygevoelige instellingen heen.

Methodologie: Federated Self-Contextualization (FSC)
De auteurs stellen Federated Self-Contextualization (FSC) voor, een multimodale framework die de verwerving van diagnostische redeneervaardigheden ontkoppelt van de beschikbaarheid van echte medische annotaties. Het framework opereert onder een federatief protocol waarbij de ruwe audio de broninstelling nooit verlaat.

1. Kerninzicht: De redeneervaardigheid van contextuele diagnostiek en de klinische kennis die nodig is om deze toe te passen, kunnen van afzonderlijke bronnen worden verkregen. FSC traint een model met behulp van semantisch lege pseudo-labels (bijv. "Mountain Breeze", "Sun Ray") afgeleid van ongecontroleerde clustering van audio-embeddings. Omdat deze labels geen medische semantiek dragen, kan het model geen associaties tussen ziekte en geluid onthouden; in plaats daarvan leert het de abstracte vaardigheid om akoestische patronen te mappen naar contextuele labelbeschrijvingen.
2. Architectuur:
   • Audio Encoder: Gebruikt CaReAQA, een medische audio-encoder die is voorgetraind op diverse taken, om embeddings te genereren.
   • Language Model Backbone: Gebruikt MedGemma-4B-IT, een 4-miljard-parameter instructie-getunede medische LLM. De pretraining zorgt voor de semantische gronding voor echte klinische termen tijdens inferentie.
   • Projectie: Een lineaire laag brengt audio-embeddings in kaart naar prefix-tokens die tussen visuele boundary-tokens in de LLM worden ingevoerd, wat audio-geconditioneerde generatie mogelijk maakt via standaard self-attention zonder architecturale wijziging.
3. Progressieve Driefasige Trainingspipeline:
   • Fase I (Alignment): Niet-episodische training brengt audio-embeddings in lijn met het taalmodel met behulp van individuele audio-pseudo-label paren. Alleen de encoder en projectie worden getraind; de LLM blijft bevroren.
   • Fase II (Episodische Verfijning): De training verschuift naar episodische formaten (support-query paren) met behulp van pseudo-labels. De encoder en projectie worden verder getraind om embeddings te produceren die discriminerend zijn binnen een relatieve support-set context.
   • Fase III (LM Adaptatie): De encoder en projectie worden bevroren. LoRA-adapters worden toegepast op de LLM om de aandachtmechanismen te specialiseren voor audio-geconditioneerde in-context redenering, terwijl de vooraf getrainde medische kennis behouden blijft.
4. Federatief Protocol: Geïmplementeerd met Flower en FedProx. Clients voeren lokale clustering uit om onafhankelijk pseudo-labels te genereren. Alleen modelparameters (encoder/projectie in Fasen I-II; LoRA-gewichten in Fase III) worden geaggregeerd. Er wordt geen ruwe audio of gedeelde label-taxonomie uitgewisseld.
5. Inferentie: Tijdens de testfase ontvangt het model een few-shot support set met echte klinische beschrijvingen (bijv. "Wheeze", "Atrial Septal Defect"). De voorgetrainde kennis van de LLM grondt deze termen semantisch, terwijl de geleerde ICL-vaardigheid de query-audio koppelt aan de passende beschrijving.

Belangrijkste Bijdragen

• Formalisering van Federated Self-Contextualization: Een paradigma waarbij semantisch lege pseudo-labels een audio-taalmodel de overdraagbare vaardigheid van in-context diagnostische redenering aanleren, terwijl de voorgetrainde kennis van de LLM de noodzakelijke semantische gronding biedt. Dit ontkoppelt de verwerving van redeneervaardigheden van de beschikbaarheid van annotaties.
• Progressieve Episodische Training: Een driefasige pipeline die cross-modale alignment, in-context leren en datasoevereiniteit gezamenlijk aanpakt, opererend zonder gecentraliseerde toegang tot data of vooraf gedefinieerde labelruimtes.
• Empirische Validatie: Uitgebreide evaluatie over zeven respiratoire en cardiale datasets (meer dan 22.000 opnames) die aantoont dat FSC consistent beter presteert dan recente audio-taal baselines.

Resultaten
Geëvalueerd op uitgestelde respiratoire en cardiale condities met behulp van een N-way K-shot episodisch protocol (waarbij diagnostische labels onbekend waren tijdens de training):

• Prestaties: In de 2-way 2-shot setting bereikt FSC een nauwkeurigheid van 71,6%, waarmee het de sterkste audio-taal baseline (Qwen2.5-Omni-7B) met meer dan 9 procentpunten overtreft (71,6% vs. 62,1%).
• Generalisatie: Het model vertoont sterke prestaties over diverse condities, waaronder URTI (89,3%), bronchiolitis (74,8%), wheeze (74,3%) en atrial septal defect (74,9%).
• Ablatie-studies:
  • Het verwijderen van Fase I alignment vermindert de nauwkeurigheid met 4,3 punten.
  • Het gezamenlijk trainen van projectie en LoRA vanaf het begin verslechtert de prestaties met 5,7 punten, wat de progressieve pipeline valideert.
  • Het vervangen van de medische LLM door algemene LLM's (LLaMA3.2, Qwen2.5) veroorzaakt substantiële dalingen (tot ~49-50%), wat de noodzaak van medisch voorgetrainde priors bevestigt.
  • Federated vs. Centralized: Federatieve training onder dezelfde pseudo-label strategie presteert beter dan gecentraliseerde training met meer dan 6 punten (71,6% vs. 65,4%), wat suggereert dat cross-institutionele diversiteit fungeert als een natuurlijke regularisator.

Betekenis
Het artikel beweert dat FSC de praktische haalbaarheid van privacy-bewuste, few-shot klinische audio-diagnostiek vaststelt. Door het paradox van het nodig hebben van gestructureerde episodes zonder toegang tot echte labels op te lossen, stelt het framework modellen in staat om akoestisch bewijs te interpreteren tegen elk klinisch concept dat in natuurlijke taal uitdrukbaar is. De resultaten wijzen erop dat gedecentraliseerde training effectiever kan zijn dan gecentraliseerde training onder identieke labeling-beperkingen, door gebruik te maken van institutionele diversiteit om overfitting aan een enkele clusteringstructuur te voorkomen. Deze aanpak biedt een pad voor het implementeren van diagnostische instrumenten in omgevingen met beperkte middelen waar geannoteerde data schaars is en privacy essentieel is.