Doctor or Patient? Synergizing Diarization and ASR for Code-Switched Hinglish Medical Conditions Extraction

Este artigo apresenta um sistema robusto e de código aberto que combina diarização neural (EEND-VC) e reconhecimento de fala adaptado (Qwen3) para extrair condições médicas de diálogos clínicos em Hinglish com fala sobreposta, alcançando o primeiro lugar no desafio DISPLACE-M.

O essencial

Imagine que você está em uma sala de espera de um posto de saúde na Índia rural. O médico e o paciente estão conversando, mas a conversa é um caos: eles falam rápido, às vezes se sobrepõem (falam ao mesmo tempo), e misturam Hindi e Inglês como quem mistura sal e pimenta na comida. Além disso, o ambiente é barulhento.

O objetivo do trabalho dos pesquisadores é criar um "robô inteligente" capaz de ouvir essa conversa bagunçada e extrair, de forma precisa, quais são os problemas de saúde do paciente (como "dor de cabeça", "febre", "diabetes").

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Grande Desafio: O "Ruído" e a "Dança"

O maior problema não é apenas o idioma misturado (Hinglish), mas o fato de que o médico e o paciente muitas vezes falam ao mesmo tempo. É como tentar ouvir duas pessoas conversando em um show de rock: é difícil saber quem disse o quê.

• A Solução (Diarização): Eles criaram um sistema chamado EEND-VC. Pense nele como um diretor de orquestra superpoderoso. Enquanto a música (a conversa) toca, esse diretor não apenas ouve, mas separa instantaneamente as vozes. Ele diz: "Ok, agora é a voz do Médico falando" e "Agora é a voz do Paciente", mesmo que eles estejam falando ao mesmo tempo. Eles usaram uma tecnologia avançada (chamada Mamba e w2v-bert) que é como um ouvido treinado para entender sotaques e ruídos de fundo.

2. A Tradução e Transcrição: O "Escritor"

Depois de separar as vozes, o sistema precisa transformar o que foi dito em texto. Como o paciente fala uma mistura de Hindi e Inglês, e às vezes escreve palavras em inglês usando o alfabeto hindi (Devanagari), é muito difícil para um computador comum entender.

• A Solução (ASR): Eles pegaram um modelo de inteligência artificial gigante (Qwen3) e o treinaram especificamente para esse cenário.
  • Analogia: Imagine pegar um professor universitário que só fala inglês e mandar ele passar um mês aprendendo a falar a gíria local de uma aldeia específica.
  • Eles também usaram um "editor de texto" (um LLM) que lê o que o computador escreveu e corrige os erros de forma inteligente, como um corretor humano que entende o contexto da conversa, não apenas a gramática.

3. A Extração do Diagnóstico: O "Detetive"

Com o texto limpo e organizado, o sistema precisa encontrar os sintomas.

• A Abordagem em Cascata (O Método Aberto): Eles fizeram isso em etapas: Primeiro separa a voz, depois escreve o texto, depois traduz (se necessário) e, por fim, o "detetive" (um modelo de IA) lê o texto e lista os problemas.
  • Resultado: Eles ficaram em 1º lugar em uma competição mundial com esse método, mostrando que é possível fazer isso muito bem sem gastar fortunas com sistemas fechados.
• A Abordagem "Tudo de Uma Vez" (O Método Privado): Eles também testaram sistemas pagos e superpoderosos (como o Gemini) que ouvem o áudio e dizem o diagnóstico direto, sem precisar escrever o texto primeiro.
  • Analogia: É como comparar um time de detetives que primeiro transcreve o depoimento e depois analisa (Cascata) com um detetive que tem superpoderes e "sente" a verdade apenas ouvindo (End-to-End). O detetive com superpoderes (sistema privado) foi ligeiramente melhor, mas o time de detetives (sistema aberto) foi incrivelmente competitivo.

4. O Que Eles Descobriram? (A Lição Principal)

A descoberta mais interessante é sobre como as peças se encaixam.

• Se você tiver um "diretor de orquestra" (diarização) perfeito, mas um "escritor" (transcrição) ruim, o resultado final será ruim.
• Se você tiver um "escritor" excelente, mas o "diretor" separar mal as vozes, o escritor vai ficar confuso.
• O Segredo: O sucesso depende de ambos funcionarem juntos perfeitamente. Melhorar apenas uma parte não adianta muito se a outra parte for fraca.

Resumo Final

Os pesquisadores criaram um sistema de código aberto (grátis e transparente) que consegue ouvir conversas médicas bagunçadas na Índia, separar quem fala o quê, escrever o texto corretamente e identificar os problemas de saúde.

Eles provaram que, mesmo sem usar os sistemas mais caros e fechados do mercado, é possível criar uma ferramenta de saúde pública muito eficiente, acessível e que respeita a privacidade dos dados, ajudando a levar diagnósticos mais rápidos para comunidades rurais.

Em suma: Eles ensinaram um computador a ser um bom ouvinte, um bom escriba e um bom médico, tudo ao mesmo tempo, em meio a um caos de vozes e idiomas misturados.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Doctor or Patient? Synergizing Diarization and ASR for Code-Switched Hinglish Medical Conditions Extraction", apresentado em português:

1. O Problema

A extração de condições médicas de diálogos clínicos falados é uma tarefa complexa, especialmente em cenários do mundo real que envolvem:

• Fala Code-Switched (Hinglish): Mistura espontânea de Hindi e Inglês, frequentemente com palavras em inglês escritas em script Devanagari.
• Ambientes Ruidosos: Gravações em campo (far-field) com ruído de fundo.
• Sobreposição de Fala (Overlap): Interações rápidas entre médico (ou agente de saúde) e paciente, com turnos de fala sobrepostos, o que desafia os sistemas tradicionais de diarização que assumem fala sequencial.
• Escassez de Dados: Falta de recursos conversacionais médicos específicos para idiomas de baixa recursos como o Hinglish.

O objetivo é extrair com precisão as condições médicas relatadas pelos pacientes nessas conversas, superando as barreiras linguísticas e acústicas.

2. Metodologia

Os autores propõem um pipeline em cascata robusto e de código aberto, dividido em três etapas principais:

A. Diarização de Fala (Speaker Diarization)

• Abordagem: Utilização do método EEND-VC (End-to-End Neural Diarization with Vector Clustering).
• Arquitetura:
  • Codificador: Substituição do encoder WavLM (usado em baselines anteriores) pelo w2v-bert2.0, treinado em 143 idiomas e 4,5 milhões de horas de dados, oferecendo melhor generalização para o Hindi.
  • Rede de Contexto: Comparação entre LSTM e camadas Mamba (State Space Models). Embora o Mamba tenha complexidade linear, neste contexto específico, as LSTMs mostraram desempenho ligeiramente superior.
  • Clustering: Uso de k-means simples (k=2 para médico e paciente) em vez de métodos hierárquicos complexos, para evitar ajuste fino excessivo de limiares.
• Treinamento: Pré-treinamento em conjuntos de dados multi-domínio (DIHARD3, VoxConverse, etc.) seguido de fine-tuning no conjunto de dados específico do desafio (DISPLACE-M).

B. Reconhecimento Automático de Fala Atribuído ao Falante (SA-ASR)

• Modelo Base: Adaptação do modelo Qwen3-ASR-1.7B (Encoder-Decoder).
• Estratégia: O sistema de diarização fornece os segmentos de fala ativos, condicionando o ASR para transcrever apenas a fala do médico ou do paciente, ignorando ruído ambiental.
• Processamento Específico:
  • Normalização de Unicode e pontuação para lidar com a escrita Devanagari.
  • Descarte de segmentos muito curtos (<0.4s) para reduzir alucinações do LLM.
• Correção de Erros: Uso de um LLM (GPT-4.1) com In-Context Learning (ICL) de 3-shot para correção contextual de erros de transcrição (confusões fonéticas, quebras de compostos) sem alterar o estilo falado.
• Adaptação de Domínio: Fine-tuning com ~1.800 horas de dados de fala Hindi (FLEURS, IndicTTS, etc.) combinados com dados médicos.

C. Extração de Condições Médicas

• Abordagem em Cascata (Texto): Tradução Hindi-Ingles (Llama 3.2) seguida de extração (Qwen 2.5 ou Gemma 3).
• Abordagem Multimodal (E2E): Uso direto de áudio por modelos proprietários (Gemini 3 Pro) para contornar erros de transcrição e tradução.
• Comparação: Avaliação de modelos de código aberto (Gemma 3 em várias tamanhos) contra modelos proprietários (Gemini, Claude, Amazon Nova).

3. Resultados Principais

Diarização

• O sistema proposto alcançou uma Taxa de Erro de Diarização (DER) de 7,76% no conjunto de avaliação, superando a baseline (DiariZen) em 8,5% de melhoria relativa.
• O fine-tuning no domínio médico foi o fator mais crítico para a redução de erros.

SA-ASR (Transcrição)

• O sistema alcançou um tcpWER (Word Error Rate ponderado por tempo e falante) de 18,59%.
• Isso representa uma redução relativa de ~31% em relação à baseline (IndicConformer-600M).
• A normalização Unicode e a correção de erros via LLM foram passos decisivos para atingir esse desempenho.

Extração de Condições Médicas

• Desempenho E2E vs. Cascata: Modelos proprietários de ponta a ponta (E2E) processando áudio puro (Gemini 3 Pro) atingiram o teto de desempenho (ROUGE-1 de 45,60 em zero-shot), superando significativamente os melhores sistemas em cascata (34,90). Isso valida a hipótese de que contornar a transcrição intermediária preserva pistas acústicas vitais.
• Melhor Sistema Aberto: O pipeline em cascata otimizado com Gemma 3 12B (6-shot) alcançou ROUGE-1 de 28,97, sendo altamente competitivo.
• Sinergia: A análise de ablação mostrou que melhorar apenas a diarização sem melhorar o ASR não ajuda; o ganho só ocorre quando ambos os módulos são otimizados simultaneamente.

4. Contribuições Chave

1. Sistema de Diarização Robusto: Adaptação do EEND-VC com w2v-bert2.0 para lidar com sobreposição densa em conversas médico-paciente em Hinglish.
2. Adaptação de ASR para Hinglish Médico: Uso do Qwen3 com normalização de script Devanagari e correção de erros baseada em LLM, alcançando estado da arte em transcrição atribuída.
3. Pipeline de Extração Competitivo: Demonstração de que uma arquitetura em cascata aberta pode competir com soluções proprietárias, embora o E2E multimodal ainda detenha a vantagem de desempenho.
4. Reprodutibilidade: O sistema alcançou o 1º lugar entre 25 participantes no desafio DISPLACE-M, e todas as implementações foram publicadas publicamente.

5. Significado e Conclusão

O trabalho demonstra que, embora os modelos multimodais proprietários (E2E) estabeleçam um teto de desempenho superior ao evitar erros cumulativos de transcrição, é possível construir sistemas de código aberto altamente eficazes através de uma arquitetura modular bem sinergizada.

A chave para o sucesso não é apenas a qualidade individual de cada bloco (diarização ou ASR), mas a integração robusta entre eles. O sistema proposto oferece uma solução viável, privada e reprodutível para a extração de informações médicas em idiomas de baixa recursos e cenários de fala complexos, preenchendo uma lacuna crítica na tecnologia de saúde digital para regiões como a Índia rural.