Unlocking In-Context Learning in Audio-Language Models from Decentralized Medical Audio

Resumo Técnico: Contextualização Autofederada (FSC) para Diagnóstico de Áudio Clínico

Declaração do Problema
O diagnóstico de áudio clínico é inerentemente uma tarefa de raciocínio fundamentado, onde clínicos interpretam evidências acústicas (ex: sibilos, sopros) contra um pano de fundo de conhecimento médico. No entanto, as abordagens dominantes de aprendizado de máquina tratam isso como um problema de classificação de conjunto fechado que requer conjuntos de dados centralizados e agregados, anotados por especialistas. Esse paradigma falha em ambientes de baixos recursos, onde as gravações anotadas são escassas, distribuídas em silos institucionais e governadas por rigorosas restrições de privacidade. Além disso, modelos padrão não conseguem se adaptar a conceitos diagnósticos ausentes em seus dados de treinamento ou aproveitar a natureza de vocabulário aberto do diagnóstico no mundo real. Embora os modelos de linguagem médica (LLMs) possuam conhecimento clínico internalizado e capacidades nativas de aprendizado em contexto (ICL), fundamentar esses modelos em áudio clínico é paradoxal: o treinamento de ICL condicionado a áudio requer episódios estruturados de áudio-rótulo, mas os pares anotados por especialistas são precisamente o que não está disponível em instituições com restrições de privacidade.

Metodologia: Contextualização Autofederada (FSC)
Os autores propõem a Contextualização Autofederada (FSC), um framework multimodal que desacopla a aquisição de habilidades de raciocínio diagnóstico da disponibilidade de anotações médicas reais. O framework opera sob um protocolo federado onde o áudio bruto nunca deixa sua instituição de origem.

1. Insight Central: A habilidade de raciocínio de diagnóstico contextual e o conhecimento clínico necessário para aplicá-lo podem ser adquiridos de fontes separadas. O FSC treina um modelo usando rótulos pseudo-fictícios semanticamente vazios (ex: "Brisa da Montanha", "Raio de Sol") derivados de agrupamento (clustering) não supervisionado de embeddings de áudio. Como esses rótulos não carregam semântica médica, o modelo não pode memorizar associações entre doença e som; em vez disso, ele aprende a habilidade abstrata de mapear padrões acústicos para descrições de rótulos contextuais.
2. Arquitetura:
   • Codificador de Áudio: Utiliza o CaReAQA, um codificador de áudio médico pré-treinado em diversas tarefas, para gerar embeddings.
   • Backbone do Modelo de Linguagem: Utiliza o MedGemma-4B-IT, um LLM médico de 4 bilhões de parâmetros ajustado para instruções. Seu pré-treinamento fornece a fundamentação semântica para termos clínicos reais durante a inferência.
   • Projeção: Uma camada linear mapeia os embeddings de áudio para tokens de prefixo inseridos entre tokens de fronteira visual no LLM, permitindo a geração condicionada a áudio via autoatenção padrão sem modificação arquitetural.
3. Pipeline de Treinamento Progressivo de Três Estágios:
   • Estágio I (Alinhamento): O treinamento não episódico alinha os embeddings de áudio com o modelo de linguagem usando pares individuais de áudio-pseudo-rótulo. Apenas o codificador e a projeção são treinados; o LLM permanece congelado.
   • Estágio II (Refinamento Episódico): O treinamento muda para formatos episódicos (pares de suporte-consulta) usando pseudo-rótulos. O codificador e a projeção são treinados adicionalmente para produzir embeddings discriminativos dentro de um contexto de conjunto de suporte relativo.
   • Estágio III (Adaptação do LM): O codificador e a projeção são congelados. Adaptadores LoRA são aplicados ao LLM para especializar seus mecanismos de atenção para o raciocínio em contexto condicionado a áudio, preservando seu conhecimento médico pré-treinado.
4. Protocolo Federado: Implementado usando Flower e FedProx. Os clientes realizam o agrupamento local para gerar pseudo-rótulos de forma independente. Apenas os parâmetros do modelo (codificador/projeção nos Estágios I-II; pesos LoRA no Estágio III) são agregados. Nenhum áudio bruto ou taxonomias de rótulos compartilhadas são trocados.
5. Inferência: No momento do teste, o modelo recebe um conjunto de suporte de poucos disparos (few-shot) com descrições clínicas reais (ex: "Sibilo", "Defeito do Septo Atrial"). O conhecimento pré-treinado do LLM fundamenta esses termos semanticamente, enquanto a habilidade de ICL aprendida associa o áudio de consulta à descrição apropriada.

Principais Contribuições

• Formalização da Contextualização Autofederada: Um paradigma onde pseudo-rótulos semanticamente vazios ensinam a um modelo de áudio-linguagem a habilidade transferível de raciocínio diagnóstico em contexto, enquanto o conhecimento pré-treinado do LLM fornece a fundamentação semântica necessária. Isso desacopla a aquisição da habilidade de raciocínio da disponibilidade de anotação.
• Treinamento Episódico Progressivo: Um pipeline de três estágios que aborda o alinhamento cross-modal, o aprendizado em contexto e a soberania dos dados conjuntamente, operando sem acesso centralizado aos dados ou espaços de rótulos predefinidos.
• Validação Empírica: Avaliação extensiva em sete conjuntos de dados respiratórios e cardíacos (mais de 22.000 gravações), demonstrando que o FSC supera consistentemente as bases recentes de áudio-linguagem.

Resultados
Avaliado em condições respiratórias e cardíacas retidas usando um protocolo episódico N-way K-shot (onde os rótulos diagnósticos não foram vistos durante o treinamento):

• Desempenho: Na configuração 2-way 2-shot, o FSC alcança 71,6% de acurácia, superando a base mais forte de áudio-linguagem (Qwen2.5-Omni-7B) em mais de 9 pontos percentuais (71,6% vs. 62,1%).
• Generalização: O modelo demonstra forte desempenho em diversas condições, incluindo URTI (89,3%), bronquiolite (74,8%), sibilo (74,3%) e defeito do septo atrial (74,9%).
• Estudos de Ablação:
  • Remover o alinhamento do Estágio I reduz a acurácia em 4,3 pontos.
  • Treinar a projeção e o LoRA conjuntamente desde o início degrada o desempenho em 5,7 pontos, validando o pipeline progressivo.
  • Substituir o LLM médico por LLMs de propósito geral (LLaMA3.2, Qwen2.5) causa quedas substanciais (para ~49-50%), confirmando a necessidade de vieses pré-treinados médicos.
  • Federado vs. Centralizado: O treinamento federado sob a mesma estratégia de pseudo-rótulo supera o treinamento centralizado em mais de 6 pontos (71,6% vs. 65,4%), sugerindo que a diversidade interinstitucional atua como um regularizador natural.

Significância
O artigo afirma que o FSC estabelece a viabilidade prática do diagnóstico de áudio clínico de poucos disparos e preservação de privacidade. Ao resolver o paradoxo de precisar de episódios estruturados sem acesso a rótulos reais, o framework permite que modelos interpretem evidências acústicas contra qualquer conceito clínico expressável em linguagem natural. Os resultados indicam que o treinamento descentralizado pode ser mais eficaz do que o treinamento centralizado sob idênticas restrições de rotulagem, aproveitando a diversidade institucional para evitar o sobreajuste a uma única estrutura de agrupamento. Esta abordagem oferece um caminho para implantar ferramentas de diagnóstico em ambientes de baixos recursos, onde os dados anotados são escassos e a privacidade é primordial.