Unlocking In-Context Learning in Audio-Language Models from Decentralized Medical Audio

Resumen Técnico: Contextualización de Autocontexto Federado (FSC) para el Diagnóstico de Audio Clínico

Planteamiento del Problema
El diagnóstico de audio clínico es inherentemente una tarea de razonamiento fundamentado donde los clínicos interpretan la evidencia acústica (por ejemplo, sibilancias, soplos) frente a un trasfondo de conocimiento médico. Sin embargo, los enfoques dominantes de aprendizaje automático tratan esto como un problema de clasificación de conjunto cerrado que requiere conjuntos de datos grandes, centralizados y anotados por expertos. Este paradigma falla en entornos de bajos recursos donde las grabaciones anotadas son escasas, están distribuidas en silos institucionales y están sujetas a estrictas restricciones de privacidad. Además, los modelos estándar no pueden adaptarse a conceptos diagnósticos ausentes en sus datos de entrenamiento ni aprovechar la naturaleza de vocabulario abierto del diagnóstico en el mundo real. Si bien los modelos de lenguaje médicos (LLM) poseen conocimiento clínico internalizado y capacidades nativas de aprendizaje en contexto (ICL), fundamentar su capacidad en audio clínico es paradójico: entrenar un ICL condicionado por audio requiere episodios de audio-etiqueta estructurados, pero precisamente los pares de audio-etiqueta anotados por expertos son lo que no está disponible en las instituciones con restricciones de privacidad.

Metodología: Contextualización de Autocontexto Federado (FSC)
Los autores proponen la Contextualización de Autocontexto Federado (FSC), un marco multimodal que desacopla la adquisición de habilidades de razonamiento diagnóstico de la disponibilidad de anotaciones médicas reales. El marco opera bajo un protocolo federado donde el audio bruto nunca abandona su institución de origen.

1. Perspectiva Central: La habilidad de razonamiento de la contextualización diagnóstica y el conocimiento clínico requerido para aplicarla pueden adquirirse de fuentes separadas. FSC entrena un modelo utilizando pseudo-etiquetas semánticamente vacías (por ejemplo, "Brisa de Montaña", "Rayo de Sol") derivadas de un agrupamiento (clustering) no supervisado de embeddings de audio. Debido a que estas etiquetas carecen de semántica médica, el modelo no puede memorizar asociaciones entre enfermedades y sonidos; en su lugar, aprende la habilidad abstracta de mapear patrones acústicos hacia descripciones de etiquetas contextuales.
2. Arquitectura:
   • Codificador de Audio: Utiliza CaReAQA, un codificador de audio médico preentrenado en diversas tareas, para generar embeddings.
   • Esqueleto del Modelo de Lenguaje: Utiliza MedGemma-4B-IT, un LLM médico de 4 mil millones de parámetros ajustado por instrucciones. Su preentrenamiento proporciona la fundamentación semántica para los términos clínicos reales durante la inferencia.
   • Proyección: Una capa lineal mapea los embeddings de audio a tokens de prefijo insertados entre los tokens de frontera visual dentro del LLM, permitiendo la generación condicionada por audio mediante auto-atención estándar sin modificaciones arquitectónicas.
3. Pipeline de Entrenamiento Progresivo de Tres Etapas:
   • Etapa I (Alineación): El entrenamiento no episódico alinea los embeddings de audio con el modelo de lenguaje utilizando pares individuales de audio-pseudo-etiqueta. Solo se entrenan el codificador y la proyección; el LLM permanece congelado.
   • Etapa II (Refinamiento Episódico): El entrenamiento cambia a formatos episódicos (pares de soporte-consulta) utilizando pseudo-etiquetas. El codificador y la proyección se entrenan aún más para producir embeddings discriminativos dentro de un contexto de un conjunto de soporte relativo.
   • Etapa III (Adaptación del LM): El codificador y la proyección se congelan. Se aplican adaptadores LoRA al LLM para especializar sus mecanismos de atención para el razonamiento en contexto condicionado por audio, preservando su conocimiento médico preentrenado.
4. Protocolo Federado: Implementado utilizando Flower y FedProx. Los clientes realizan el agrupamiento local para generar pseudo-etiquetas de forma independiente. Solo se agregan los parámetros del modelo (codificador/proyección en las Etapas I-II; pesos LoRA en la Etapa III). No se intercambia audio bruto ni taxonomías de etiquetas compartidas.
5. Inferencia: En el momento de la prueba, el modelo recibe un conjunto de soporte de pocos disparos (few-shot) con descripciones clínicas reales (por ejemplo, "Sibilancia", "Defecto del Septum Atrial"). El conocimiento preentrenado del LLM fundamenta estos términos semánticamente, mientras que la habilidad de ICL aprendida vincula el audio de consulta con la descripción apropiada.

Contribuciones Clave

• Formalización de la Contextualización de Autocontexto Federado: Un paradigma donde pseudo-etiquetas semánticamente vacías enseñan a un modelo de audio-lenguaje la habilidad transferible del razonamiento diagnóstico en contexto, mientras que el conocimiento preentrenado del LLM proporciona la fundamentación semántica necesaria. Esto desacopla la adquisición de la habilidad de razonamiento de la disponibilidad de anotaciones.
• Entrenamiento Episódico Progresivo: Un pipeline de tres etapas que aborda conjuntamente la alineación cross-modal, el aprendizaje en contexto y la soberanía de los datos, operando sin acceso a datos centralizados ni espacios de etiquetas predefinidos.
• Validación Empírica: Evaluación extensiva a través de siete conjuntos de datos respiratorios y cardíacos (más de 22,000 grabaciones) demostrando que FSC supera consistentemente a las líneas base recientes de audio-lenguaje.

Resultados
Evaluado en condiciones respiratorias y cardíacas mantenidas fuera (held-out) utilizando un protocolo episódico de N-vías K-disparos (donde las etiquetas diagnósticas no fueron vistas durante el entrenamiento):

• Desempeño: En la configuración de 2-vías 2-disparos, FSC alcanza una precisión del 71.6%, superando a la línea base de audio-lenguaje más fuerte (Qwen2.5-Omni-7B) por más de 9 puntos porcentuales (71.6% vs. 62.1%).
• Generalización: El modelo demuestra un sólido desempeño en diversas condiciones, incluyendo URTI (89.3%), bronquiolitis (74.8%), sibilancia (74.3%) y defecto del septum atrial (74.9%).
• Estudios de Ablación:
  • Eliminar la alineación de la Etapa I reduce la precisión en 4.3 puntos.
  • Entrenar conjuntamente la proyección y LoRA desde cero degrada el desempeño en 5.7 puntos, validando el pipeline progresivo.
  • Reemplazar el LLM médico con LLMs de propósito general (LLaMA3.2, Qwen2.5) causa caídas sustanciales (a ~49-50%), confirmando la necesidad de los sesgos previos (priors) médicamente preentrenados.
  • Federado vs. Centralizado: El entrenamiento federado bajo la misma estrategia de pseudo-etiquetas supera al entrenamiento centralizado por más de 6 puntos (71.6% vs. 65.4%), sugiriendo que la diversidad interinstitucional actúa como un regularizador natural.

Significancia
El artículo afirma que FSC establece la viabilidad práctica del diagnóstico de audio clínico con preservación de la privacidad y pocos disparos (few-shot). Al resolver la paradoja de necesitar episodios estructurados sin acceso a etiquetas reales, el marco permite que los modelos interpreten la evidencia acústica frente a cualquier concepto clínico expresable en lenguaje natural. Los resultados indican que el entrenamiento descentralizado puede ser más efectivo que el entrenamiento centralizado bajo idénticas restricciones de etiquetado, aprovechando la diversidad institucional para prevenir el sobreajuste a una única estructura de agrupamiento. Este enfoque ofrece una vía para desplegar herramientas diagnósticas en entornos de bajos recursos donde los datos anotados son escasos y la privacidad es primordial.