Resp-Agent: An Agent-Based System for Multimodal Respiratory Sound Generation and Disease Diagnosis

Resumo Técnico: Resp-Agent

1. O Problema

O diagnóstico automatizado de doenças respiratórias por meio de auscultação (análise de sons respiratórios) enfrenta dois desafios fundamentais que limitam a eficácia e a implantação prática das soluções atuais de Deep Learning:

1. Perda de Informação e Gargalo de Representação Unimodal:

   • Modelos puramente de áudio frequentemente convertem sinais em espectrogramas (mel-espectrogramas) para processamento por CNNs, o que descarta informações de fase e estruturas temporais finas, obscurecendo eventos acústicos transitórios críticos (como estertores ou crepitações).
   • Modelos baseados apenas em texto (registros eletrônicos de saúde - EHR) capturam o contexto clínico, mas carecem de evidências acústicas objetivas, dificultando a distinção entre condições com narrativas similares, mas padrões de auscultação distintos.
   • A fusão multimodal existente é frequentemente tardia e superficial, não capturando a dependência de longo alcance entre o contexto clínico e os eventos acústicos de milissegundos.

2. Escassez de Dados e Desequilíbrio de Classes:

   • A maioria dos conjuntos de dados públicos é pequena, cobre poucas condições e carece de curadoria sistemática.
   • Existe um desequilíbrio severo de classes (longa cauda), onde doenças raras têm poucos exemplos, levando a um desempenho pobre na detecção dessas condições.
   • A geração de dados sintéticos existentes é geralmente não direcionada (perturbações genéricas) ou não unifica a análise e a síntese em um único sistema coeso.

2. Metodologia: Resp-Agent

O Resp-Agent é um sistema multiagente autônomo e multimodal, orquestrado por um agente central chamado Thinker-A2CA (Active Adversarial Curriculum Agent). O sistema opera em um ciclo fechado que integra diagnóstico e geração de dados de forma coesa.

Arquitetura Principal:

• Thinker-A2CA (O Planejador):

  • Atua como um controlador central baseado em LLM (utilizando DeepSeek-V3.2-Exp).
  • Analisa os perfis de erro do modelo de diagnóstico e planeja a síntese de dados direcionada.
  • Identifica "pontos fracos" (classes raras ou falhas de domínio) e solicita ao gerador a criação de amostras sintéticas específicas para corrigir essas deficiências, criando um currículo de treinamento adaptativo.

• Generator (Síntese Controllável):

  • Projetado para sintetizar áudio respiratório de alta fidelidade, desconectando o conteúdo patológico (o que gerar) do estilo acústico (como soa).
  • Resp-MLLM: Um modelo de linguagem multimodal baseado em Qwen3-0.6B-Base, reconfigurado via injeção de modalidade. Ele recebe semântica de diagnóstico (texto) e tokens de estilo (extraídos do modelo BEATs de áudio de referência).
  • Reconstrução de Onda: Utiliza um decodificador de Flow Matching condicional (CFM) baseado em Diffusion Transformer (DiT) para reconstruir espectrogramas e, subsequentemente, formas de onda de alta fidelidade usando um Neural Vocoder (Vocos).
  • Garante que a síntese preserve eventos transitórios e seja realista clinicamente.

• Diagnoser (Diagnóstico Robusto):

  • Um modelo de inferência clínica que utiliza Tecelagem de Modalidade (Modality Weaving) e Atenção Global Estratégica.
  • Tecelagem: Em vez de fusão tardia, os tokens de texto (resumos clínicos) e os blocos de áudio são entrelaçados na entrada do modelo, permitindo interação nativa desde a primeira camada.
  • Atenção Global Estratégica: Baseado no Longformer, o modelo utiliza uma atenção deslizante eficiente combinada com um conjunto esparsos de tokens globais. Inclui "Âncoras de Áudio" espaçadas a cada ~80ms. Isso permite que sintomas textuais distantes consultem diretamente eventos acústicos transitórios breves, capturando estruturas temporais finas sem custo computacional quadrático.

3. Contribuições Chave

1. Resp-229k (Novo Benchmark):

   • Um corpus de escala massiva com 229.101 gravações de áudio e 408 horas de dados, abrangendo 16 categorias diagnósticas.
   • Cada amostra é emparelhada com uma narrativa clínica padronizada sintetizada a partir de metadados de EHR usando LLMs (DeepSeek-R1-Distill-Qwen-7B), passando por um pipeline rigoroso de auditoria para garantir precisão.
   • Utiliza divisões estritas "source-disjoint" (separação por fonte de dados) para testar rigorosamente a generalização fora de domínio.

2. Síntese Controllável e Desemaranhada:

   • Introdução do RESP-MLLM, o primeiro modelo de linguagem multimodal grande (LLM) treinado com supervisão alinhada texto-áudio para síntese de sons respiratórios controláveis.
   • Capacidade de gerar amostras "difíceis de diagnosticar" (classes raras) com fidelidade acústica e estilo realista, validado por métricas como Fréchet Audio Distance (FAD) e similaridade de estilo.

3. Diagnóstico Robusto via Tecelagem e Âncoras:

   • Demonstração de que a fusão profunda (tecelagem) combinada com atenção global baseada em âncoras supera significativamente as abordagens de fusão tardia e modelos unimodais, especialmente na detecção de eventos transitórios de baixa energia.

4. Ciclo Fechado de Análise-Geração:

   • O sistema transforma a augmentação de dados de uma técnica passiva para um instrumento ativo e adversarial, onde o agente "Thinker" direciona a geração de dados especificamente para as falhas do modelo de diagnóstico.

4. Resultados Experimentais

• Desempenho em Classificação (ICBHI e Resp-229k):

  • No conjunto de dados ICBHI, o Resp-Agent alcançou uma pontuação de 72.7% (Superando o estado da arte anterior em mais de 5 pontos absolutos), com Sensibilidade de 66.1% e Especificidade de 79.3%.
  • No benchmark Resp-229k, o modelo multimodal alcançou 0.8494 de Acurácia e 0.2118 de Macro-F1 no regime desbalanceado original.
  • Ao utilizar o ciclo fechado (Thinker + Gerador) para balancear os dados, o Macro-F1 saltou para 0.5980, uma melhoria massiva em relação às linhas de base sem síntese (0.212) e a métodos de reponderação de perda tradicionais.

• Generalização Fora de Domínio (Cross-Domain):

  • Em testes onde o conjunto de teste (KAUH e COUGHVID) não foi visto durante o treinamento, o sistema demonstrou robustez superior. O uso do Thinker-A2CA para direcionar a síntese resultou em ganhos consistentes em todas as fontes de dados mantidas, superando planejadores estáticos e heurísticas manuais.

• Validação da Geração:

  • O gerador demonstrou alta fidelidade (FAD de 1.13) e controle de estilo (similaridade de cosseno de 0.92), superando modelos de geração de áudio gerais como StableAudio Open e AudioLDM 2 quando adaptados para esta tarefa.
  • Aumentação "ingênua" (perturbações simples) degradou o desempenho em dados fora de domínio, enquanto a síntese controlada pelo agente melhorou significativamente a detecção de classes minoritárias.

5. Significado e Impacto

O Resp-Agent representa um avanço paradigmático na inteligência artificial médica para áudio respiratório:

• Superação da Escassez de Dados: Demonstra que a geração de dados sintéticos de alta qualidade, guiada por um agente inteligente que identifica falhas específicas do modelo, é superior às técnicas tradicionais de balanceamento de classes.
• Integração Multimodal Profunda: Estabelece que a fusão de texto e áudio deve ocorrer em nível de token com mecanismos de atenção estratégica para capturar a natureza transitória dos sons respiratórios, superando as limitações dos modelos unimodais.
• Ciclo de Aprendizado Autocorretivo: A arquitetura de agente fecha a lacuna entre análise e síntese, permitindo que o sistema aprenda continuamente com seus próprios erros, gerando exemplos de "casos extremos" (edge cases) para treinamento.
• Aplicabilidade Clínica: O sistema oferece uma base para ferramentas de suporte à decisão clínica que podem não apenas diagnosticar, mas também simular casos raros para educação médica e validação de modelos, contribuindo para uma IA médica mais justa e confiável.

O código e os dados (Resp-229k) foram disponibilizados publicamente para promover a reprodutibilidade e o avanço da pesquisa na área.