VozConsultAI: A Provider-Agnostic Architecture and a Clinically Grounded Evaluation of Open-Weight Large Language Models for SOAP Note Extraction in Brazilian Portuguese Telehealth

Resumen Técnico: VozConsultAI

Planteamiento del Problema
La documentación clínica consume una parte significativa del tiempo de los profesionales de la salud, sirviendo como un factor documentado de agotamiento profesional (burnout), un desafío exacerbado por la rápida expansión de la telemedicina en grandes sistemas públicos como el Sistema Único de Salud (SUS) de Brasil. Actualmente, aproximadamente el 80% de los datos de las historias clínicas electrónicas (HCE) permanecen como texto narrativo no estructurado, lo que limita la interoperabilidad y el soporte para la toma de decisiones clínicas. En el contexto brasileño, este problema se ve agravado por la falta de herramientas adaptadas al dominio para el portugués y por estrictas restricciones de soberanía de datos bajo la Ley General de Protección de Datos (LGPD). Los escribas ambientales comerciales son predominantemente centrados en el inglés, propietarios y requieren el envío de datos sensibles de pacientes a infraestructura de nube de terceros, lo que entra en conflicto con los requisitos legales de residencia de datos y control institucional.

Metodología y Arquitectura
El artículo presenta VozConsultAI, una solución de extremo a extremo diseñada para transcribir el audio de teleconsultas y estructurar automáticamente el texto en notas SOAP (Subjetivo, Objetivo, Evaluación, Plan) en portugués brasileño. El sistema se basa en tres pilares metodológicos centrales:

1. Arquitectura de Microservicios Agnóstica al Proveedor: El sistema emplea un "Broker de Transcripción" para desacoplar la aplicación de telemedicina del motor de ejecución. Los principios de diseño clave incluyen:

   • Desacoplamiento: Separación del límite externo (broker), la orquestación (gateway) y la ejecución (workers).
     [] Fiabilidad: Implementación de ordenamiento FIFO por solicitante mediante hashing consistente, entrega al menos una vez neutralizada por procesamiento idempotente, y recuperación automática de trabajos huérfanos mediante detección de fallos basada en arrendamiento (lease-based).
   • Abstracción: Una capa de adaptador normaliza las respuestas de proveedores heterogéneos de Reconocimiento Automático del Habla (ASR) (por ejemplo, Google, AWS, Azure, OpenAI o Whisper autoalojado) en un formato canónico. Esto permite realizar pruebas A/B y asegura que el audio sensible pueda permanecer en las instalaciones (on-premises) para satisfacer los requisitos de la LGPD.

2. Estrategias de Extracción SOAP: El proyecto investiga tres estrategias para convertir transcripciones en notas estructuradas:

   • Ingeniería de Prompts: Uso de LLMs que siguen instrucciones con esquemas JSON estructurados y restricciones estrictas para prevenir alucinaciones.
   • Clasificación-Generación Híbrida: Segmentación de transcripciones en oraciones, clasificación en categorías SOAP utilizando codificadores de la familia BERT ajustados (fine-tuned) y posterior consolidación mediante un modelo generativo.
   • Generación con Ajuste Fino (Fine-Tuning): Adaptación de modelos generativos locales sobre pares sintéticos y reales de transcripción-a-SOAP utilizando métodos de eficiencia de parámetros (LoRA/QLoRA) para ajustarse a las limitaciones de hardware del sector público.

3. Protocolo de Evaluación con Base Clínica: Más allá del solapamiento tradicional de n-gramas (ROUGE/BLEU) o la similitud semántica genérica, los autores proponen un marco de evaluación ponderado por seguridad basado en tres dimensiones ortogonales:

   • Corrección Semántica y Estructural (SSC): Mide si el contenido generado es semánticamente correcto y está asignado a la sección SOAP adecuada.
   • Cobertura de Información y Completitud (ICC): Mide la fracción de la información de referencia capturada, penalizando las omisiones.
   • Índice de Fundamentación Clínica (CGI): Penaliza explícitamente la alucinación mediante la verificación de que cada unidad generada tiene un soporte textual explícito en la transcripción original.
   • Estos se consolidan en un Índice de Calidad de Documentación Clínica (CDQI), que pondera fuertemente el CGI (proporción 4:3:3) para priorizar la seguridad.

Resultados Experimentales
Los autores realizaron el primer benchmark comparativo de Modelos de Lenguaje de Gran Escala (LLM) de pesos abiertos para la extracción de SOAP en portugués brasileño. El estudio evaluó cinco modelos (gpt-oss-120b, Llama 3.3 70B, Mistral Small, Mistral 7B y DeepSeek V3.2) a través de 30 transcripciones de teleconsultas sintéticas de seis especialidades médicas.

• Desempeño: DeepSeek V3.2 logró la mayor calidad consolidada (CDQI: 0.87) y la mayor fundamentación clínica (CGI: 0.96). Llama 3.3 70B igualó la corrección estructural (SSC) de DeepSeek y un CDQI conservador a pesar de tener menos parámetros.
• Análisis de Errores: Los resultados indican que la escala del modelo por sí sola no dicta el desempeño. Los principales diferenciadores fueron la Cobertura de Información (ICC) y la Fundamentación (CGI), no la clasificación de oraciones (SSC).
• Modos de Fallo: Las secciones de Evaluación y Plan concentraron la mayoría de los errores, específicamente alucinaciones (inventar diagnósticos no declarados por el clínico) y clasificaciones erróneas (registrar hipótesis terapéuticas como intervenciones decididas). Los modelos más pequeños (por ejemplo, Mistral 7B) tuvieron dificultades significativas con la cobertura de información, a menudo comprimiendo múltiples quejas en un solo resumen y omitiendo datos negativos clínicamente relevantes.

Significancia y Reivindicaciones
El artículo afirma proporcionar una vía viable para que los sistemas de salud pública adopten la documentación clínica automatizada sin comprometer la soberanía de los datos ni depender de proveedores propietarios centrados en el inglés.

• Contribución Arquitectónica: La arquitectura de microservicios agnóstica al proveedor demuestra que las instituciones públicas pueden alternar entre modelos de pesos abiertos autoalojados y motores de nube comerciales mediante configuración, convirtiendo la soberanía de datos de una restricción de rediseño del sistema en una política de enrutamiento.
• Contribución de Evaluación: El protocolo de evaluación propuesto aborda una brecha crítica en las métricas de generación de texto clínico al penalizar explícitamente la alucinación, un modo de fallo que las métricas tradicionales a menudo pasan por alto o incluso recompensan debido al solapamiento de vocabulario.
• Contribución de Benchmark: Este trabajo establece la primera línea base para los LLM de pesos abiertos en la documentación clínica en portugués brasileño, mostrando que los modelos pueden alcanzar niveles de calidad útiles (CDQI hasta 0.87) en hardware institucional.
• Implicación Práctica: Aunque los modelos de pesos abiertos muestran potencial, los autores enfatizan que las secciones de Evaluación y Plan aún requieren una revisión profesional cercana debido al alto riesgo de extrapolación clínica. El sistema está diseñado para redactar borradores para revisión, no para reemplazar el juicio clínico.

Los autores señalan limitaciones, incluyendo el uso de datos sintéticos que pueden no capturar completamente la disfluencia y el ruido acústico de las teleconsultas reales, y el hecho de que la evaluación aisló la etapa de extracción de los errores de ASR previos. El trabajo futuro implica validar el sistema con datos del mundo real e integrarlo con la plataforma e-SUS APS.