Before the Labels: How Dataset Construction Shapes Suicidality Detection in Clinical Text

Resumen Técnico: Antes de las etiquetas: Cómo la construcción de conjuntos de datos moldea la detección de la suicidalidad en textos clínicos

Planteamiento del problema
El artículo aborda una brecha crítica en el Procesamiento de Lenguaje Natural (PLN) clínico con respecto a la construcción de conjuntos de datos de Registros Médicos Electrónicos (EHR) para la detección de la suicidalidad. Mientras que trabajos recientes se han desplazado de las redes sociales hacia los EHR para mitigar problemas de consentimiento y fiabilidad del autoinforme, los autores argumentan que los conjuntos de datos basados en EHR son tratados a menudo como un "terreno neutral de verdad absoluta" (ground truth). El artículo postula que este encuadre oscurece la operacionalización específica de la suicidalidad codificada dentro de estos conjuntos de datos. Las notas clínicas son "registros mediados por la documentación" que sintetizan informes del paciente, observaciones del clínico y requisitos institucionales; no proporcionan un acceso directo al estado interno del paciente. En consecuencia, tratar las etiquetas de los conjuntos de datos como una verdad absoluta ignora las suposiciones estructurales integradas en cómo se gobierna, selecciona y anota los datos.

Metodología
Los autores emplean un estudio de caso cualitativo y cuantitativo del conjunto de datos ScAN (Rawat et al., 2022), una capa de anotación de intento de suicidio (SA) e ideación suicida (SI) construida sobre las notas clínicas de MIMIC-III. La metodología involucra tres componentes principales:

1. Análisis de la operacionalización: Los autores deconstruyen el flujo de trabajo de ScAN para identificar tres dimensiones definitorias de su operacionalización:

   • Mediación por documentación: Analiza cómo la gobernanza (acreditación de PhysioNet), las restricciones de acceso y la exclusión de texto redactado por el paciente moldean la perspectiva únicamente hacia la documentación redactada por el clínico.
   • Episódica: Examina cómo la selección de la cohorte (códigos ICD) y el etiquetado al nivel de la "estancia hospitalaria" aplanan los procesos longitudinales en episodios delimitados.
   • Resolución de la intención: Investiga cómo los esquemas de anotación distinguen entre la autolesión suicida y la no suicida, y cómo las categorías ambiguas (por ejemplo, "inseguro") se colapsan en los procesos posteriores (pipelines).

2. Análisis de encuadre lingüístico: Los autores realizan un análisis lingüístico descriptivo sobre 15,585 segmentos (spans) anotados. Utilizando indicadores léxicos y el algoritmo MedSpaCy ConText, clasifican los segmentos según la presencia de:

   • Negación
   • Referencia histórica (desplazamiento temporal)
   • Marcadores de incertidumbre
     Comparan estos perfiles a través de diferentes tipos de etiquetas (por ejemplo, "Presente-SI" frente a "Ausente-SI") y contextos de documentación (por ejemplo, Resúmenes de Alta frente a Historia de la Enfermedad Actual).

3. Evaluación de la heterogeneidad: El estudio pone a prueba la hipótesis de que las etiquetas idénticas subsumen encuadres clínicos heterogéneos, buscando específicamente la variación en la temporalidad, la negación y la incertidumbre dentro de la misma clase de etiqueta.

Contribuciones principales
El artículo realiza tres contribuciones principales:

• Un marco posicional: Caracteriza los conjuntos de datos de suicidalidad basados en EHR como la codificación de una operacionalización específica que es mediada por la documentación (refleja registros clínicos en lugar de estados no mediados), episódica (delimita la suicidalidad a estancias hospitalarias discretas) y de resolución de la intención (impone distinciones binarias incluso cuando el texto es ambiguo).
• Un estudio de caso de ScAN: Rastrea cómo decisiones específicas de gobernanza, obtención de datos y anotación (etiquetado de un solo anotador, selección de cohorte basada en ICD y colapso de etiquetas) dan lugar a esta operacionalización.
• Evidencia empírica de variación lingüística: Proporciona datos que demuestran que las etiquetas idénticas contienen variaciones sistemáticas en el encuadre lingüístico, desafiando la suposición de que las etiquetas representan fenómenos clínicos uniformes.

Resultados
El análisis lingüístico revela una heterogeneidad significativa dentro de las categorías de etiquetas que a menudo se tratan como uniformes:

• Aplanamiento temporal: El 27.8% de los segmentos etiquetados como "Presente-SI" contienen marcadores históricos, lo que indica que la ideación etiquetada como "presente" se documenta a menudo en relación con antecedentes psiquiátricos previos en lugar de como un evento actual.
• Variación contextual: La tasa de "no modificados" (ausencia de negación, historia o incertidumbre) varía drásticamente según la sección de la nota clínica. Los resúmenes de alta son un 83.6% no modificados, mientras que las secciones de Historia de la Enfermedad Actual (HPI) son solo un 49.9% no modificadas.
• Colapso de la incertidumbre: La categoría "Inseguro", que retiene un 17.1% de marcadores de incertidumbre, se colapsa frecuentemente con las etiquetas "Negativo" en los modelos posteriores. Esto fusiona situaciones cualitativamente diferentes: negación explícita de la intención, intención no especificada y ambigüedad genuina.
• Resolución de la intención: Los segmentos de "intención no especificada" (T14.91) son predominantemente históricos (67.8%), lo que sugiere que la falta de especificación de la intención a menudo coexiste con el desplazamiento temporal.

Significancia y Reivindicaciones
El artículo no afirma que la documentación clínica sea poco fiable o que los autoinformes de los pacientes estén libres de sesgos. En su lugar, argumenta que las etiquetas de la suicidalidad basadas en EHR deben interpretarse como operacionalizaciones estructuradas de evidencia clínica documentada, no como una verdad absoluta neutral.

La significancia de este trabajo radica en su llamado a la transparencia en la construcción de conjuntos de datos. Los autores afirman que:

1. Efectos derivados: Si las etiquetas de entrenamiento subsumen encuadres lingüísticos heterogéneos, los clasificadores probablemente exhibirán errores sistemáticos, como señalar erróneamente menciones históricas como ideación activa o no calibrar adecuadamente en casos de incertidumbre genuina.
2. Transparencia de diseño: La documentación de los conjuntos de datos debe declarar explícitamente las elecciones de operacionalización (siembra de cohortes, niveles de agregación, colapso de categorías) para que los usuarios posteriores, incluidos los clínicos, puedan evaluar qué representan las etiquetas antes de actuar sobre los resultados de los modelos.
3. Alcance modesto: Los autores reconocen que sus hallazgos se basan en un único conjunto de datos de un solo centro médico y que su análisis lingüístico es conservador (carece de análisis sintáctico o resolución de correferencia). Sin embargo, argumentan que los problemas estructurales identificados son inherentes a cualquier flujo de trabajo que dependa de códigos de facturación, agregación de estancias hospitalarias y resolución de la intención a partir de texto clínico.

El artículo concluye que hacer visibles estas suposiciones es un primer paso necesario para desarrollar sistemas de PLN clínico que sean transparentes sobre lo que predicen.