MultiSense-Pneumo: A Multimodal Learning Framework for Pneumonia Screening in Resource-Constrained Settings

Resumo Técnico: MultiSense-Pneumo

Declaração do Problema
A pneumonia permanece uma das principais causas de morbidade e mortalidade global, afetando desproporcionalmente crianças menores de cinco anos, idosos e populações vulneráveis em ambientes com recursos limitados. A avaliação clínica da pneumonia é inerentemente multimodal, dependendo de uma síntese de histórico de sintomas, padrões respiratórios, observações verbais e evidências radiográficas. No entanto, as abordagens computacionais existentes são predominantemente unimodais, focando quase exclusivamente em radiografias de tórax. Essa limitação é crítica em ambientes com restrições de recursos, onde a imagem pode estar indisponível, atrasada ou difícil de interpretar, e onde trabalhadores de primeira linha frequentemente carecem de treinamento especializado. Além disso, decisões de triagem no mundo real ocorrem frequentemente sob informações parciais, necessitando de sistemas que possam agregar evidências heterogêneas (sintomas, áudio, fala e imagens) enquanto permanecem interpretáveis e implantáveis em hardware modesto.

Metodologia
Os autores propõem o MultiSense-Pneumo, um framework de aprendizado multimodal e modular projetado para suporte à triagem e classificação de pneumonia. O sistema integra quatro caminhos de evidência distintos, cada um transformando a entrada bruta em um sinal de risco escalar normalizado ($\in [0, 1]$), que são subsequentemente agregados por meio de um operador de fusão interpretável.

1. Triagem de Sintomas Estruturados: Um submódulo determinístico mapeia respostas a questionários (por exemplo, tosse, febre, falta de ar, retração torácica) para uma pontuação de risco baseada em lógica inspirada em diretrizes. Regras "rígidas" específicas (por exemplo, falta de ar grave ou retração torácica em crianças) acionam uma classificação imediata de "URGENTE", contornando a pontuação aditiva para garantir a segurança.
2. Classificação Acústica da Tosse: Gravações de tosse (obtidas do conjunto de dados Coswara) são pré-processadas em ondas monofônicas e segmentadas. Os recursos incluem Coeficientes Cepstrais de Frequência Mel (MFCCs) resumidos por estatísticas temporais, juntamente com descritores de baixo nível (energia RMS, taxa de cruzamento por zero, centróide espectral, etc.). Um classificador LightGBM com gradiente impulsionado estima a probabilidade de padrões respiratórios anormais.
3. Transcrição de Fala: A entrada falada é transcrita usando um modelo ASR pré-treinado (OpenAI Whisper Small). O texto resultante é analisado por meio de um vocabulário fixo de palavras-chave clinicamente relevantes para derivar um sinal semântico secundário, servindo como entrada auxiliar.
4. Classificação de Radiografias de Tórax: As radiografias de tórax são processadas usando uma base ResNet-18 aumentada com treinamento de Rede Neural Adversarial de Domínio (DANN). Essa abordagem emprega uma camada de reversão de gradiente para aprender representações de características que são discriminativas para pneumonia, mas invariantes a deslocamentos de domínio sintéticos (desfoque gaussiano, ruído, escalonamento de contraste), melhorando assim a robustez à variabilidade de aquisição.
5. Fusão Multimodal: O sistema emprega uma estratégia de fusão tardia, combinando os quatro sinais específicos de modalidade ($\hat{s}_{img}, \hat{s}_{sym}, \hat{s}_{cgh}, \hat{s}_{sp}$) por meio de uma soma linear ponderada. A imagem recebe o maior peso ($w_{img}=0,40$), com sintomas, tosse e fala compartilhando o restante ($0,20$ cada). Este design acomoda modalidades ausentes e evita a necessidade de conjuntos de dados multimodais totalmente pareados.
6. Geração de Relatórios: Um modelo de linguagem médica local e quantizado (MedGemma) sintetiza os sinais agregados e as saídas intermediárias em um relatório clínico estruturado e legível por humanos, que pode ser traduzido para vários idiomas usando modelos OPUS-MT.

Principais Contribuições

• Integração Multimodal: O framework preenche a lacuna entre modelos de imagem unimodais e a realidade multimodal do raciocínio clínico de primeira linha, integrando sintomas estruturados, áudio de tosse, fala e radiografias.
• Interpretabilidade e Modularidade: Diferentemente de modelos de caixa-preta de ponta a ponta, o MultiSense-Pneumo expõe sinais de risco intermediários para cada modalidade, permitindo estudos de ablação e inspeção transparente de como as evidências contribuem para a decisão final.
• Robustez a Deslocamento de Domínio: O caminho de radiografia utiliza treinamento adversarial de domínio para mitigar a sensibilidade a artefatos de aquisição de imagem e variações de scanner.
• Implantação com Recursos Limitados: O sistema é projetado para operar totalmente offline em hardware padrão de classe de laptop, tornando-o adequado para agentes comunitários de saúde e clínicas rurais sem conectividade à internet.

Resultados Quantitativos

• Caminho de Radiografia: O classificador ResNet-18 com adversarial de domínio demonstrou desempenho forte, alcançando uma precisão de 0,9733 e uma AUROC de 0,9919 no conjunto de validação. O desempenho permaneceu robusto em perturbações de domínio sintéticas (desfoque, ruído, contraste), com degradação moderada apenas no conjunto de teste (Precisão: 0,9255, AUROC: 0,9752), indicando aprendizado eficaz de características relevantes para patologia invariantes a artefatos de baixo nível.
• Caminho Acústico da Tosse: O classificador LightGBM mostrou limitações significativas, alcançando uma pontuação F1 média macro de 0,64. Crucialmente, o recall para a classe positiva de pneumonia foi baixo (0,39), indicando uma alta taxa de casos perdidos. Os autores atribuem isso ao pequeno tamanho e ao desequilíbrio de classes do conjunto de dados público Coswara, bem como à fraqueza inerente da acústica da tosse como sinal diagnóstico autônomo em comparação com a imagem.
• Implicações da Fusão: A disparidade entre o caminho de imagem de alto desempenho e o caminho acústico fraco sublinha a necessidade da abordagem multimodal. O framework aproveita a evidência estrutural de alta confiança da imagem para compensar as limitações de outras modalidades, enquanto usa sintomas e fala para fornecer indicadores contextuais quando a imagem não está disponível.

Significado e Alegações
Os autores posicionam o MultiSense-Pneumo estritamente como um protótipo de pesquisa para suporte à triagem e classificação, afirmando explicitamente que não é um sistema de diagnóstico validado clinicamente. Seu significado reside em fornecer uma descrição tecnicamente fundamentada de uma arquitetura multimodal que aborda as restrições práticas de ambientes com recursos limitados. O trabalho demonstra que um framework modular e interpretável pode agregar efetivamente evidências heterogêneas para apoiar a avaliação precoce e a priorização de recursos. O artigo destaca que, embora modalidades individuais (como áudio de tosse) possam sofrer com escassez de dados e força de sinal fraca, uma abordagem de fusão estruturada pode mitigar esses modos de falha. O sistema destina-se a auxiliar trabalhadores comunitários de saúde na identificação de indivíduos que merecem avaliação adicional, em vez de substituir o julgamento médico profissional.