Doctor or Patient? Synergizing Diarization and ASR for Code-Switched Hinglish Medical Conditions Extraction

Este artículo presenta un sistema robusto y de código abierto que combina diarización neuronal y reconocimiento de voz adaptado para extraer condiciones médicas de diálogos clínicos en hinglish con solapamiento de habla, logrando el primer lugar en el desafío DISPLACE-M.

Lo esencial

¡Hola! Imagina que eres un traductor en una consulta médica en la India, pero con un giro especial: el doctor y el paciente hablan una mezcla de hindi y inglés (llamado "Hinglish") al mismo tiempo, se interrumpen, se superponen y a veces gritan por encima del ruido de fondo. Tu trabajo es escuchar esa charla caótica y escribir una lista perfecta de los síntomas del paciente.

Este paper es la historia de cómo un equipo de investigadores construyó una "máquina de escucha inteligente" para hacer exactamente eso, y lo hicieron tan bien que ganaron el primer lugar en una competencia mundial.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: Una fiesta ruidosa en lugar de una conversación

Imagina que el doctor y el paciente están en una habitación llena de gente hablando a la vez.

• El Caos: A veces hablan al mismo tiempo (superposición), a veces cambian de idioma a mitad de una frase, y el micrófono capta mucho ruido.
• El Reto: Las máquinas normales se confunden. ¿Quién dijo qué? ¿Fue el doctor o el paciente? ¿Es una palabra en hindi o en inglés?

2. La Solución: Tres pasos mágicos (La Cadena de Montaje)

El equipo no usó un solo robot gigante, sino una cadena de montaje de tres estaciones, donde cada una limpia y organiza el trabajo para la siguiente.

Paso 1: El "Cazador de Voz" (Diarización)

• La Analogía: Imagina que tienes dos cámaras de seguridad en la sala. Una cámara sigue solo al doctor y la otra solo al paciente. Aunque hablen al mismo tiempo, el sistema sabe exactamente qué voz pertenece a quién y separa las pistas de audio.
• La Magia: Usaron una tecnología llamada EEND-VC. Es como un director de orquesta que, en lugar de dejar que todos toquen a la vez, separa las notas de cada músico. Esto es crucial porque si no separas las voces, la siguiente máquina no entenderá nada.

Paso 2: El "Traductor Médico" (Reconocimiento de Voz)

• La Analogía: Ahora que tenemos las pistas separadas, necesitamos transcribirlas a texto. Pero no es un traductor normal; es un experto médico que habla Hinglish.
• El Entrenamiento: Tomaron un modelo de inteligencia artificial muy potente (Qwen3) y lo "entrenaron" con miles de horas de conversaciones médicas reales y hindi.
• El Toque Extra: A veces la IA comete errores (como confundir una palabra por otra). Para arreglarlo, usaron un "editor humano virtual" (un LLM) que lee todo el diálogo y corrige los errores sutiles, asegurándose de que la historia tenga sentido médico.
• Resultado: Lograron transcribir el 81% de las palabras correctamente, lo cual es un récord para este tipo de ruido y mezcla de idiomas.

Paso 3: El "Detective de Enfermedades" (Extracción)

• La Analogía: Una vez que tenemos el texto limpio, necesitamos extraer solo lo importante: "El paciente tiene dolor de cabeza y fiebre".
• La Comparación:
  • Opción A (Cadena de texto): Leer el texto y pedirle a una IA que extraiga los síntomas. Funciona bien, pero si el texto tiene un error, la IA se equivoca.
  • Opción B (El "Oído" Directo - E2E): Aquí está la sorpresa. Usaron un modelo de IA (Gemini) que escucha el audio directamente y extrae los síntomas sin pasar por el texto.
  • La Lección: ¡La Opción B fue la ganadora! Es como si el detective escuchara el tono de voz, la respiración y la emoción del paciente, cosas que se pierden al escribir el texto. Esto le dio el mejor puntaje posible.

3. ¿Por qué es importante?

• Ganaron la carrera: De 25 equipos compitiendo, el suyo fue el número 1.
• Es de código abierto: A diferencia de muchas empresas que guardan sus secretos, ellos liberaron todo su código. Es como si ganaran una carrera de F1 y luego regalaran los planos del coche a todo el mundo para que otros mejoren la tecnología.
• Salva vidas: En zonas rurales de la India, donde los doctores pueden estar abrumados, este sistema puede ayudar a crear automáticamente las notas médicas, asegurando que ningún síntoma se pierda en el ruido.

En resumen

Este paper nos dice que para entender conversaciones médicas caóticas y mezcladas, no basta con tener un oído bueno; necesitas:

1. Separar quién habla de quién (como un director de orquesta).
2. Entender el idioma y el contexto médico (como un doctor experto).
3. Y, a veces, es mejor escuchar el audio directamente que intentar leerlo primero (como escuchar el tono de voz en lugar de solo leer un mensaje de texto).

¡Es un gran paso para que la inteligencia artificial ayude a los médicos a cuidar mejor a sus pacientes, incluso cuando hay mucho ruido!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Doctor or Patient? Synergizing Diarization and ASR for Code-Switched Hinglish Medical Conditions Extraction", traducido y adaptado al español:

1. El Problema

La extracción de condiciones médicas de diálogos clínicos hablados en entornos reales presenta desafíos significativos, especialmente en contextos de Hinglish (mezcla de hindi e inglés). Los principales obstáculos identificados son:

• Código-conmutación (Code-switching): La fluidez lingüística entre hindi y inglés, a menudo escrita en script Devanagari, complica los pipelines de extracción estándar.
• Superposición de habla densa: Las conversaciones entre médicos (o trabajadores de salud comunitaria ASHA) y pacientes implican un intercambio rápido de turnos y habla superpuesta, lo que dificulta la atribución de hablantes.
• Ruido y recursos limitados: Las grabaciones son de campo lejano, ruidosas y carecen de grandes conjuntos de datos etiquetados específicos para dominios médicos en lenguas de bajos recursos.
• Limitaciones de modelos existentes: Los enfoques anteriores suelen depender de datos propietarios monolingües o asumen secuencias de habla secuenciales, lo que falla en entornos interactivos altamente dinámicos.

2. Metodología

Los autores proponen un sistema en cascada modular y robusto, evaluado en el conjunto de datos DISPLACE-M (35 horas de conversaciones reales de atención primaria en India). El pipeline se divide en tres etapas principales:

A. Diarización de Hablantes (Speaker Diarization)

• Enfoque: Utilizan EEND-VC (End-to-End Neural Diarization con Vector Clustering) para modelar nativamente las activaciones simultáneas y resolver superposiciones.
• Arquitectura:
  • Codificador: Reemplazan el codificador WavLM (usado en sistemas base como DiariZen) por w2v-bert2.0, preentrenado en 143 idiomas y 4.5 millones de horas, demostrando mejor generalización para el hindi conversacional.
  • Red de Contexto: Comparan capas LSTM frente a Mamba (Modelos de Espacio de Estado Selectivo - SSM). Aunque Mamba ofrece complejidad lineal, en este contexto específico, las arquitecturas basadas en LSTM mostraron un rendimiento ligeramente superior.
  • Agrupación: En lugar de métodos jerárquicos complejos, utilizan k-means simple (k=2) para separar al médico del paciente, evitando la necesidad de ajustar múltiples umbrales.
• Entrenamiento: Pre-entrenamiento en conjuntos de datos multi-dominio (DIHARD3, VoxConverse, etc.) seguido de fine-tuning específico en el dominio DISPLACE-M.

B. Reconocimiento Automático de Voz Atribuido a Hablantes (SA-ASR)

• Modelo Base: Adaptación del modelo Qwen3-ASR-1.7B (basado en un LLM Qwen3 de 1.7B parámetros con un codificador AuT).
• Procesamiento: El sistema se condiciona exclusivamente a los segmentos de habla activos identificados por el módulo de diarización, filtrando el ruido ambiental.
• Normalización: Se aplica normalización canónica de Unicode y puntuación para estandarizar el script Devanagari, mitigando errores de coincidencia exacta.
• Corrección de Errores: Se implementa una etapa de corrección generativa contextual utilizando un LLM (GPT-4.1) con in-context learning (ICL) de pocos ejemplos (3-shot). Este paso corrige errores fonéticos y fragmentaciones sin alterar el estilo hablado ni la mezcla de idiomas.

C. Extracción de Condiciones Médicas

• Enfoque en Cascada (Texto): Traducción Hindi-Inglés (Llama 3.2) seguida de extracción (Qwen 2.5 o Gemma 3). Se compararon modelos de código abierto (Gemma 3) y propietarios (Gemini 3 Pro, Claude Opus).
• Enfoque End-to-End (Multimodal): Se evaluó un modelo Gemini 3 Pro que procesa audio directamente (sin transcripción intermedia) para extraer condiciones, preservando las pistas acústicas y conversacionales.

3. Resultados Clave

Diarización

• El sistema propuesto (EEND-VC con w2v-bert2.0) logró una Tasa de Error de Diarización (DER) del 7.76%, superando al sistema base DiariZen (9.31%).
• El fine-tuning en el dominio específico redujo el DER en aproximadamente un 1.2% absoluto.
• Limitar la salida a 2 hablantes (médico/paciente) no mostró mejoras significativas sobre 4 hablantes en este contexto.

ASR (SA-ASR)

• El sistema final alcanzó un tcpWER (Word Error Rate ponderado por hablante) del 18.59%.
• Esto representa una reducción relativa del 31% frente a la línea base (26.78%).
• La adaptación al dominio médico y la corrección generativa fueron los factores más críticos para la mejora del rendimiento.

Extracción de Condiciones Médicas

• Rendimiento E2E vs. Cascada: El modelo multimodal Gemini 3 Pro (E2E) procesando audio puro en configuración zero-shot obtuvo el mejor resultado global (ROUGE-1 de 45.60), superando al mejor sistema en cascada (Claude Opus 4.1 con 34.90). Esto valida que omitir la transcripción intermedia preserva información crucial.
• Modelos Abiertos: En el enfoque en cascada, Gemma 3 12B con 6 ejemplos (6-shot) logró un ROUGE-1 de 28.97, siendo el modelo de código abierto más competitivo.
• Sinergia: Se observó que mejorar solo la diarización sin mejorar el ASR no mejora el resultado final; ambos módulos deben optimizarse conjuntamente para obtener ganancias (mejora del 15.9% al combinar ambos módulos optimizados).

4. Contribuciones Principales

1. Sistema de Diarización Robusto: Desarrollo de un sistema EEND-VC adaptado específicamente para la superposición densa en conversaciones médico-paciente en Hinglish.
2. Adaptación de ASR: Éxito en la adaptación de un modelo ASR masivo (Qwen3) al dominio médico y lingüístico (Hindi/Devanagari), incluyendo normalización de script y corrección de errores con LLM.
3. Solución E2E vs. Cascada: Una comparación exhaustiva que demuestra que, aunque los modelos E2E propietarios establecen un techo de rendimiento superior, una arquitectura en cascada abierta y optimizada es altamente competitiva.
4. Logro en Competencia: El sistema propuesto (equipo ILIP1) obtuvo el primer lugar entre 25 participantes en el desafío DISPLACE-M.
5. Reproducibilidad: Todas las implementaciones de los módulos individuales se han hecho públicas para fomentar la investigación reproducible y aplicaciones médicas que preservan la privacidad.

5. Significado e Impacto

Este trabajo es fundamental para la democratización de la tecnología de salud en regiones de bajos recursos y multilingües. Demuestra que es posible construir sistemas de extracción de información clínica de alta precisión sin depender exclusivamente de modelos propietarios cerrados o datos masivos privados. La arquitectura modular propuesta permite que cada componente se actualice independientemente a medida que evolucionan los modelos de vanguardia, ofreciendo una solución escalable y adaptable para la atención primaria en entornos complejos como el de la India rural. Además, resalta la importancia crítica de la diarización precisa como prerrequisito para el éxito del reconocimiento de voz en diálogos superpuestos.