Examine Clinicians' Modification of Hedging Language in Ambient AI Documentation: A Comparative Study of AI Drafts and Final Notes

Resumen Técnico: Modificación del Lenguaje de Atenuación por parte de Clínicos en la Documentación de IA Ambiental

Planteamiento del Problema
Los sistemas de documentación de Inteligencia Artificial (IA) ambiental utilizan el reconocimiento automático del habla (ASR) y la IA generativa (GenAI) para convertir las conversaciones entre paciente y clínico en borradores de notas clínicas. Si bien estas herramientas tienen como objetivo reducir la carga de documentación, los clínicos revisan rutinariamente estos borradores antes de finalizarlos en las Historias Clínicas Electrónicas (HCE). Existe una brecha crítica en la comprensión de cómo estas revisiones alteran específicamente el "lenguaje de atenuación" (hedging language) —señales léxicas y sintácticas (p. ej., "puede", "probablemente", "no se puede descartar") que señalan incertidumbre, ambigüedad o razonamiento clínico provisional—. El trabajo previo sugiere que los clínicos consideran la atenuación como una estrategia necesaria de gestión de riesgos y comunicación; sin embargo, no está claro si los borradores de la IA subrepresentan o sobrerepresentan la incertidumbre y cómo los clínicos recalibran este lenguaje durante el proceso de edición. Además, se desconoce si estos patrones de edición varían significamente entre diferentes proveedores de IA y especialidades clínicas.

Metodología
El estudio realizó un análisis emparejado de 62,811 secciones de notas derivadas de 98,311 borradores de IA ambiental y sus correspondientes notas finalizadas por clínicos en el sistema de salud de la Universidad de California (finales de 2023). Los datos involucraron a dos proveedores comerciales (Proveedor A y Proveedor B) en atención primaria y 32 entornos de atención especializada.

• Procesamiento de Datos: Los investigadores alinearon los borradores y las notas finales a nivel de oración utilizando puntuaciones de similitud por pares. Las oraciones se categorizaron como "iguales", "caídas" (eliminadas), "inserciones" (añadidas) o "reemplazos" (modificadas). El análisis principal se centró en los intervalos de reemplazo (replacement spans), donde el texto del borrador fue editado directamente por el clínico, proporcionando una unidad de comparación simétrica pre-edición/post-edición.
• Léxico de Atenuación: Se compiló un léxico curado de 536 términos de atenuación únicos a partir de la literatura previa y recursos de CoNLL-2010. Tres revisores independientes anotaron cada término por su efecto direccional en la certeza: -1 (mayor certeza), 1 (mayor incertidumbre) o 0 (neutral). La concordancia entre evaluadores fue sustancial (Fleiss' $\kappa$ = 0.72).
• Pipeline de PLN: Se desarrolló un pipeline de procesamiento de lenguaje natural (PLN) clínico basado en reglas utilizando SciSpaCy y un EntityRuler para detectar menciones de términos de atenuación y asignar etiquetas de aserción.
• Análisis Estadístico:
  • Prevalencia: Se utilizaron las pruebas de McNemar y las pruebas de Wilcoxon de rangos con signo una muestra para comparar la presencia y frecuencia de la atenuación en los intervalos de reemplazo pre-edición frente a post-edición.
  • Direccionalidad: Se calculó una "puntuación neta de reemplazo" (puntuación de adición menos puntuación de eliminación) para determinar si las ediciones desplazaban el texto hacia una mayor certeza o incertidumbre. Las pruebas de Wilcoxon de rangos con signo de una muestra evaluaron si las puntuaciones netas se desviaban significativamente de cero.
  • Estratificación: Los análisis se estratificaron por proveedor y por agrupación de proveedores (Atención Primaria vs. Especialidad) e individualmente por especialidades, utilizando las pruebas de Chi-cuadrado, Mann–Whitney U y Kruskal–Wallis.

Contribuciones Clave

1. Cuantificación de Patrones de Edición: El estudio proporciona el primer análisis emparejado y granular de cómo los clínicos modifican el lenguaje de atenuación en los borradores generados por IA, distinguiendo entre la introducción de nueva atenuación y la eliminación de la atenuación existente.
2. Métricas de Direccionalidad: Introduce un marco cuantitativo para medir la "direccionalidad" de las ediciones, demostrando que las revisiones de los clínicos desplazan sistemáticamente el texto hacia una mayor incertidumbre en lugar de una mayor certeza.
3. Heterogeneidad Contextual: La investigación caracteriza variaciones significativas en los patrones de modificación de la atenuación entre diferentes proveedores de IA y, más notablemente, a través de diversas especialidades clínicas.

Resultos

• Prevalencia de la Atenuación: Los clínicos fueron significativamente más propensos a introducir atenuación en texto previamente no atenuado que a eliminar la atenuación de texto previamente atenuado. En los intervalos de reemplazo, 4,803 secciones transicionaron de "sin atenuación" a "atenuación presente", mientras que solo 3,135 transicionaron de "atenuación presente" a "sin atenuación" ($P < 0.001$). El texto post-edición contenía significativamente más menciones de atenuación que el texto pre-edición.
• Direccionalidad: Entre las secciones con ediciones de atenuación direccionales, hubo una tendencia significativa general hacia una mayor incertidumbre. La media de la puntuación neta de reemplazo fue positiva (0.23, $P < 0.001$) para las secciones con ediciones direccionales. Específicamente, el 5.48% de las secciones se desplazaron hacia una mayor incertidumbre, comparado con el 4.01% que se desplazó hacia una mayor certeza.
• Diferencias entre Proveedores: Aunque ambos proveedores mostraron una tendencia hacia el aumento de la incertidumbre, el Proveedor B exhibió un desplazamiento más fuerte (media de puntuación neta 0.34) en comparación con el Proveedor A (0.20). La prevalencia de atenuación post-edición también difirió significamente entre proveedores (10.9% vs. 10.2%).
• Diferencias de Especialidad: La Atención Primaria (PCP) y la Atención Especializada mostraron tendencias direccionales similares. Sin embargo, al analizar especialidades individuales, surgió una heterogeneidad significativa. Por ejemplo, Dermatología y Reumatología mostraron las medias de puntuación neta de reemplazo más altas (0.49 y 0.38, respectivamente), indicando una fuerte tendencia a aumentar la incertidumbre, mientras que Endocrinología mostró una puntuación neta negativa (-0.26), indicando un desplazamiento hacia una mayor certeza.

Significancia y Afirmaciones
El artículo afirma que la edición clínica de los borradores de IA ambiental no es meramente una corrección de errores fácticos, sino una recalibración sistemática de la incertidumbre. Los hallazgos sugieren que los borradores de la IA ambiental a menudo carecen de suficiente lenguaje de atenuación, lo que impulza a los clínicos a añadir calificadores activamente para alinear la documentación con la naturaleza provisional del razonamiento clínico y las prácticas de gestión de riesgos.

Los autores sostienen que estos patrones indican que la recalibración de la atenuación es un fenómeno transversal a los proveedores, lo que sugiere que los modelos de IA actuales pueden no estar fundamentando adecuadamente el lenguaje de incertidumbre en el contexto clínico. La heterogeneidad observada entre especialidades implica que un enfoque de "talla única" para la documentación de IA puede ser insuficiente; en su lugar, los sistemas podrían requerir un ajuste específico por especialidad para representar mejor la ambigüedad diagnóstica y la fuerza de la evidencia. El estudio concluye que comprender estos comportamientos de edición es esencial para mejorar la confiabilidad de las notas generadas por IA y reducir las cargas de corrección innecesarias para el clínico.

Las limitaciones señaladas por los autores incluyen el enfoque en los intervalos de reemplazo (excluyendo el análisis de texto eliminado/insertado), la falta de controles sociodemográficos y la ausencia de modelado multivariable para dar cuenta de las diferencias en la complejidad de los casos.