Before the Labels: How Dataset Construction Shapes Suicidality Detection in Clinical Text

Resumo Técnico: Antes dos Rótulos: Como a Construção de Datasets Molda a Detecção de Suicidabilidade em Textos Clínicos

Problema
O artigo aborda uma lacuna crítica no Processamento de Linguagem Natural (PLN) Clínico em relação à construção de datasets de Registros Eletrônicos de Saúde (RES) para a detecção de suicidabilidade. Embora trabalhos recentes tenham migrado das redes sociais para os RES para mitigar questões de consentimento e confiabilidade do autorrelato, os autores argumentam que os datasets baseados em RES são frequentemente tratados como um "ground truth neutro". O artigo postula que esse enquadramento obscurece a operacionalização específica da suicidabilidade codificada nesses datasets. As notas clínicas são "registros mediados pela documentação" que sintetizam relatos de pacientes, observações de clínicos e requisitos institucionais; elas não fornecem acesso direto ao estado interno do paciente. Consequentemente, tratar os rótulos dos datasets como verdade absoluta ignora as suposições estruturais embutidas na forma como os dados são governados, selecionados e anotados.

Metodologia
Os autores empregam um estudo de caso qualitativo e quantitativo do dataset ScAN (Rawat et al., 2022), uma camada de anotação de tentativa de suicídio (SA) e ideação suicida (SI) construída sobre as notas clínicas do MIMIC-III. A metodologia envolve três componentes primários:

1. Análise de Operacionalização: Os autores desconstroem o pipeline do ScAN para identificar três dimensões definidoras de sua operacionalização:

   • Mediada pela Documentação: Analisa como a governança (credenciamento PhysioNet), restrições de acesso e a exclusão de textos autorais do paciente moldam a perspectiva apenas para a documentação de autoria do clínico.
   • Episódica: Examina como a seleção de coorte (códigos ICD) e a rotulagem ao nível da "estadia hospitalar" achatam processos longitudinais em episódios delimitados.
   • Resolução de Intenção: Investiga como os esquemas de anotação distinguem automutilação suicida de não suicida e como categorias ambíguas (ex: "incerto") são colapsadas em pipelines subsequentes.

2. Análise de Enquadramento Linguístico: Os autores realizam uma análise linguística descritiva em 15.585 spans anotados. Usando indicadores lexicais e o algoritmo MedSpaCy ConText, eles classificam os spans com base na presença de:

   • Negação
   • Referência histórica (deslocamento temporal)
   • Marcadores de incerteza
     Eles comparam esses perfis entre diferentes tipos de rótulos (ex: "Present-SI" vs. "Absent-SI") e contextos de documentação (ex: Resumos de Alta vs. História da Doença Atual).

3. Avaliação de Heterogeneidade: O estudo testa a hipótese de que rótulos idênticos subsumem enquadramentos clínicos heterogêneos, observando especificamente a variação em temporalidade, negação e incerteza dentro da mesma classe de rótulo.

Principais Contribuições
O artigo apresenta três contribuições principais:

• Um Framework Posicional: Caracteriza os datasets de suicidabilidade baseados em RES como codificando uma operacionalização específica que é mediada pela documentação (refletindo registros clínicos em vez de estados não mediados), episódica (limitando a suicidabilidade a estadias hospitalares discretas) e resolução de intenção (impondo distinções binárias mesmo quando o texto é ambíguo).
• Um Estudo de Caso do ScAN: Traça como decisões específicas de governança, origem de dados e anotação (rotulagem de anotador único, seleção de coorte baseada em ICD e colapso de rótulos) dão origem a essa operacionalização.
• Evidência Empírica de Variação Linguística: Fornece dados demonstrando que rótulos idênticos contêm variações sistemáticas no enquadramento linguístico, desafiando a suposição de que os rótulos representam fenômenos clínicos uniformes.

Resultos
A análise linguística revela heterogeneidade significativa dentro de categorias de rótulos que são frequentemente tratadas como uniformes:

• Achatamento Temporal: 27,8% dos spans rotulados como "Present-SI" contêm marcadores históricos, indicando que a ideação rotulada como "presente" é frequentemente documentada em relação a históricos psiquiátricos prévios, em vez de um evento atual.
• Variação de Contexto: A taxa de "não modificado" (ausência de negação, histórico ou incerteza) varia drasticamente conforme a seção da nota clínica. Resumos de alta são 83,6% não modificados, enquanto as seções de História da Doença Atual (HPI) são apenas 4 de 49,9% não modificadas.
• Colapso da Incerteza: A categoria "Incerteza" (Unsure), que retém 17,1% de marcadores de incerteza, é frequentemente colapsada com rótulos "Negativos" em modelos subsequentes. Isso funde situações qualitativamente diferentes: negação explícita de intenção, intenção não especificada e incerteza genuína.
• Resolução de Intenção: Spans de "intenção não especificada" (T14.91) são predominantemente históricos (67,8%), sugerindo que a falta de especificação de intenção frequentemente coocorre com o deslocamento temporal.

Significância e Alegações
O artigo não alega que a documentação clínica seja não confiável ou que os autorrelatos de pacientes sejam isentos de viés. Em vez disso, argumenta que os rótulos de suicidabilidade baseados em EHR devem ser interpretados como operacionalizações estruturadas de evidências clínicas documentadas, não como um ground truth neutro.

A significância deste trabalho reside em seu chamado pela transparência na construção de datasets. Os autores afirmam que:

1. Efeitos Subsequentes: Se os rótulos de treinamento subsumem enquadramentos linguísticos heterogêneos, os classificadores provavelmente exibirão erros sistemáticos, como sinalizar excessivamente menções históricas como ideação ativa ou falhar na calibração em casos de incerteza genuína.
2. Transparência de Design: A documentação do dataset deve declarar explicitamente as escolhas de operacionalização (semeadura de coorte, níveis de agregação, colapso de categorias) para que os usuários subsequentes, incluindo clínicos, possam avaliar o que os rótulos representam antes de agir sobre os outputs do modelo.
3. Escopo Modesto: Os autores reconhecem que suas descobertas baseiam-se em um único dataset de um único centro médico e que sua análise linguística é conservadora (carecendo de parsing sintático ou resolução de correferência). No entanto, argumentam que os problemas estruturais identificados são inerentes a qualquer pipeline que dependa de códigos de faturamento, agregação de estadias hospitalares e resolução de intenção a partir de texto clínico.

O artigo conclui que tornar essas suposições visíveis é um primeiro passo necessário para o desenvolvimento de sistemas de PLN clínico que sejam transparentes sobre o que predizem.