EPPCMinerBen: A Novel Benchmark for Evaluating Large Language Models on Electronic Patient-Provider Communication via the Patient Portal

Resumen Técnico: EPPCMinerBen

1. Planteamiento del Problema

La comunicación efectiva entre pacientes y proveedores es crucial para la adherencia al tratamiento y los resultados clínicos, especialmente en el manejo de enfermedades crónicas como el cáncer. Con el aumento del uso de portales de pacientes para el intercambio de mensajes seguros (Secure Messaging - SM), se generan grandes volúmenes de datos no estructurados. Sin embargo, existen brechas significativas en la investigación actual:

• Limitaciones de los métodos actuales: La mayoría de los estudios dependen de codificación manual o técnicas basadas en reglas, que son costosas y no escalables.
• Deficiencias en los modelos de ML/NLP: Las soluciones existentes a menudo se centran solo en mensajes iniciados por el paciente, ignorando la naturaleza bidireccional e interactiva de la comunicación. Además, carecen de capacidad para capturar matices relacionales, socioemocionales y de toma de decisiones compartidas.
• Falta de benchmarks específicos: No existen evaluaciones estandarizadas para modelos de lenguaje grandes (LLMs) que aborden la complejidad contextual y relacional de los mensajes seguros en entornos clínicos.

2. Metodología

El estudio introduce EPPCMinerBen, un benchmark diseñado para evaluar la capacidad de los LLMs para detectar patrones de comunicación y extraer información de mensajes seguros entre pacientes y proveedores.

• Construcción del Dataset:

  • Fuente: 752 hilos de mensajes seguros (449 de pacientes, 303 de proveedores) extraídos del portal de pacientes del Hospital Yale New Haven.
  • Volumen: 1,933 oraciones únicas (aprox. 27,849 palabras).
  • Annotación: Se utilizó un sistema de codificación jerárquico inspirado en el sistema de análisis de interacción Roter (RIAS). Cada oración fue etiquetada manualmente por expertos con un esquema de 9 códigos (comportamientos de comunicación) y sus respectivos subcódigos.
  • Calidad: Se logró un acuerdo inter-anotador (Kappa de Cohen) promedio de 0.74 tras procesos de calibración y resolución de discrepancias.

• Formulación de Tareas:
  El benchmark se estructura en tres sub-tareas jerárquicas para cada oración dentro de un contexto de mensaje:

  1. Clasificación de Códigos (Code Classification): Clasificación multietiqueta a nivel de oración para identificar la intención comunicativa general (ej. "Información", "Socioemocional").
  2. Clasificación de Subcódigos (Subcode Classification): Clasificación condicional multiclase que refina el código principal a un subcódigo específico (ej. "Saludo", "Búsqueda de aprobación").
  3. Extracción de Evidencia (Evidence Extraction): Identificación del span de texto mínimo dentro de la oración que justifica la etiqueta asignada (código-subcódigo).

• Evaluación de Modelos:

  • Se evaluaron múltiples LLMs de diferentes escalas (desde 1B hasta 70B parámetros), incluyendo modelos de código abierto (Llama, Qwen, DeepSeek, Gemma) y modelos específicos del dominio clínico (OpenBioLLM, sdoh-llama).
  • Configuraciones: Se probaron estrategias de zero-shot (sin ejemplos) y few-shot (con 1 y 2 ejemplos en el prompt).
  • Métricas: Precisión, Recall y F1-score (micro-promedio). Para la extracción de evidencia, se utilizó una estrategia de coincidencia relajada basada en la similitud de Jaccard.

3. Contribuciones Clave

1. Nuevo Benchmark: EPPCMinerBen es el primer benchmark diseñado específicamente para analizar la dinámica interactiva y relacional de los mensajes seguros en portales de pacientes, superando las limitaciones de los datasets de diálogos clínicos existentes.
2. Dataset Anotado: Proporciona un conjunto de datos desidentificado y ricamente anotado que captura patrones diversos de comunicación (búsqueda de información, expresión socioemocional, construcción de alianzas, toma de decisiones compartidas).
3. Marco de Prompting: Propone un conjunto de instrucciones y plantillas de prompting diseñadas para guiar a los LLMs en la interpretación y razonamiento sobre datos de comunicación clínica compleja.
4. Evaluación Exhaustiva: Establece un estándar para evaluar la capacidad de los modelos para entender la intención discursiva, el razonamiento jerárquico y la grounding (anclaje) textual en el contexto clínico.

4. Resultados Principales

• Rendimiento General: Los modelos grandes e instruidos (instruction-tuned) superaron consistentemente a los modelos más pequeños, especialmente en tareas de extracción de evidencia.
• Modelos Destacados:
  • Extracción de Evidencia: Llama-3.1-70B-Instruct lideró con un F1 del 82.84% (2-shot).
  • Clasificación de Códigos: Llama-3.3-70B-Instruct obtuvo el mejor resultado con un F1 del 67.03% (2-shot).
  • Clasificación de Subcódigos: DeepSeek-R1-Distill-Qwen-32B fue el mejor con un F1 del 48.25% (0-shot), demostrando que los modelos destilados con capacidades de razonamiento pueden superar a modelos más grandes en tareas finas.
• Impacto del Few-Shot: El few-shot prompting mejoró el rendimiento en la mayoría de las tareas, aunque hubo excepciones (ej. algunos modelos pequeños o específicos de dominio mostraron "transferencia negativa" o degradación con más ejemplos).
• Dificultad de las Tareas: La clasificación de subcódigos fue la tarea más difícil (F1 < 50% para los mejores), seguida por la clasificación de códigos. La extracción de evidencia fue la más fácil para los modelos grandes, sugiriendo que la alineación de instrucciones ayuda más a la extracción literal que al razonamiento abstracto fino.
• Modelos Pequeños: Los modelos de menos de 3B parámetros tuvieron un rendimiento muy pobre, especialmente en tareas de razonamiento fino y extracción, con F1 a menudo por debajo del 30%.
• Modelos de Dominio: Los modelos específicos de biomedicina no superaron sistemáticamente a los modelos de propósito general, sugiriendo que la alineación con instrucciones y la capacidad de razonamiento son más críticas que el conocimiento biomédico puro para esta tarea.

5. Significado e Implicaciones

• Avance en NLP Clínico: EPPCMinerBen cierra la brecha entre la lingüística computacional y la investigación en comunicación clínica, permitiendo el análisis a gran escala de la calidad de la interacción paciente-proveedor.
• Mejora de la Atención: La capacidad de identificar automáticamente patrones de comunicación (como barreras de adherencia, necesidades emocionales no satisfechas o malentendidos) puede permitir intervenciones personalizadas y mejorar la coordinación de la atención.
• Guía para el Desarrollo de Modelos: Los resultados indican que para aplicaciones clínicas complejas que requieren comprensión relacional, se necesitan modelos grandes con fuerte ajuste de instrucciones y capacidades de razonamiento jerárquico, en lugar de simplemente modelos entrenados en texto médico.
• Futuro: El benchmark sienta las bases para herramientas de entrenamiento de comunicación, sistemas de alerta temprana para riesgos de adherencia y análisis de disparidades en salud a través de la comunicación digital.

Limitaciones: El estudio se basa en un solo sistema de salud (Yale), es monolingüe (inglés) y no incluye validación clínica con resultados reales de pacientes (como tasas de adherencia medidas), aunque el dataset está disponible para futuras investigaciones.