Examine Clinicians' Modification of Hedging Language in Ambient AI Documentation: A Comparative Study of AI Drafts and Final Notes

Resumo Técnico: Modificação de Linguagem de Hesitação pelos Clínicos na Documentação de IA Ambiente

Declaração do Problema
Sistemas de documentação de Inteligência Artificial (IA) ambiente utilizam reconhecimento automático de fala (ASR) e IA generativa (GenAI) para converter conversas entre paciente e clínico em rascunhos de notas clínicas. Embora essas ferramentas visem reduzir a carga de documentação, os clínicos revisam rotineiramente esses rascunhos antes de finalizá-los nos Registros Eletrônicos de Saúde (EHRs). Existe uma lacuna crítica na compreensão de como essas revisões alteram especificamente a "linguagem de hesitação" (hedging language) — pistas lexicais e sintáticas (ex: "pode", "provavelmente", "não se pode descartar") que sinalizam incerteza, ambiguidade ou raciocínio clínico provisório. Trabalhos anteriores sugerem que os clínicos veem a hesitação como uma estratégia necessária de gestão de risco e comunicação, mas permanece incerto se os rascunhos de IA sub-representam ou sobre-representam a incerteza e como os clínicos recalibram essa linguagem durante o processo de edição. Além disso, desconhece-se se esses padrões de edição variam significativamente entre diferentes fornecedores de IA e diferentes especialidades clínicas.

Metodologia
O estudo conduziu uma análise pareada de 6 de 62.811 seções de notas derivadas de 98.311 rascunhos de IA ambiente e as correspondentes notas finalizadas por clínicos do sistema de saúde da Universidade da Califórnia (final de 2023). Os dados envolveram dois fornecedores comerciais (Fornecedor A e Fornecedor B) em cuidados primários e 32 contextos de cuidados especializados.

• Processamento de Dados: Os pesquisadores alinharam os rascunhos e as notas finais ao nível de sentença usando pontuações de similaridade pareada. As sentenças foram categorizadas como "iguais", "quedas" (drops - deletadas), "inserções" (adicionadas) ou "substituições" (modificadas). A análise principal concentrou-se nos intervalos de substituição (replacement spans), onde o texto do rascunho foi diretamente editado pelo clínico, fornecendo uma unidade de comparação simétrica pré-edição/pós-edição.
• Léxico de Hesitação: Um léxico curado de 536 termos de hesitação únicos foi compilado a partir de literatura prévia e recursos do CoNLL-2010. Três revisores independentes anotaram cada termo quanto ao seu efeito direcional na certeza: -1 (maior certeza), 1 (maior incerteza) ou 0 (neutro). A concordância entre os avaliadores foi substancial (Fleiss' $\kappa$ = 0,72).
• Pipeline de PLN: Um pipeline de PLN clínico baseado em regras, utilizando SciSpaCy e um EntityRuler, foi desenvolvido para detectar menções de termos de hesitação e atribuir rótulos de asserção.
• Análise Estatística:
  • Prevalência: Os testes de McNemar e os testes de Wilcoxon de postos sinalizados de uma cauda foram usados para comparar a presença e a frequência de hesitação nos intervalos de substituição pré-edição versus pós-edição.
  • Direcionalidade: Uma "pontuação líquida de substituição" foi calculada (pontuação de adição menos a pontuação de deleção) para determinar se as edições deslocaram o texto em direção a maior certeza ou incerteza. Testes de Wilcoxon de postos sinalizados de uma amostra avaliaram se as pontuações líquas se desviaram significativamente de zero.
  • Estratificação: As análises foram estratificadas por fornecedor e por agrupamento de provedor (Cuidados Primários vs. Especialidade) e por especialidades individuais, utilizando testes de Qui-quadrado, Mann–Whitney U e Kruskal–Wallis.

Principais Contribuições

1. Quantificação de Padrões de Edição: O estudo fornece a primeira análise pareada granular de como os clínicos modificam a linguagem de hesitação em rascunhos gerados por IA, distinguindo entre a introdução de nova hesitação e a remoção de hesitação existente.
2. Métricas de Direcionalidade: Introduz um framework quantitativo para medir a "direcionalidade" das edições, demonstrando que as revisões dos clínicos deslocam sistematicamente o texto para uma maior incerteza em vez de uma maior certeza.
3. Heterogeneidade Contextual: A pesquisa caracteriza variações significativas nos padrões de modificação de hesitação entre diferentes fornecedores de IA e, mais notavelmente, entre diversas especialidades clínicas.

Resultos

• Prevalência de Hesitação: Os clínicos foram significativamente mais propensos a introduzir hesitação em textos anteriormente não hesitantes do que a remover hesitação de textos anteriormente hesitantes. Nos intervalos de substituição, 4.803 seções transitaram de "sem hesitação" para "hesitação presente", enquanto apenas 3.135 transitaram de "hesitação presente" para "sem hesitação" ($P < 0,001$). O texto pós-edição continha significativamente mais menções de hesitação do que o texto pré-edição.
• Direcionalidade: Entre as seções com edições direcionais de hesitação, houve uma tendência significativa geral para maior incerteza. A média da pontuação líquida de substituição foi positiva (0,23, $P < 0,001$) para seções com edições direcionais. Especificamente, 5,48% das seções deslocaram-se para maior incerteza, comparado a 4,01% deslocando-se para maior certeza.
• Diferenças de Fornecedor: Embora ambos os fornecedores tenham mostrado uma tendência para o aumento da incerteza, o Fornecedor B exibiu um deslocamento mais forte (média da pontuação líqua 0,34) em comparação ao Fornecedor A (0,20). A prevalência de hesitação pós-edição também diferiu significamente entre os fornecedores (10,9% vs. 10,2%).
• Diferenças de Especialidade: Cuidados Primários (PCP) e Cuidados Especializados mostraram tendências direcionais semelhantes. No entanto, ao analisar especialidades individuais, emergiu heterogeneidade significativa. Por exemplo, Dermatologia e Reumatologia mostraram as maiores médias de pontuações líquidas de substituição (0,49 e de 0,38, respectivamente), indicando uma forte tendência de aumentar a incerteza, enquanto a Endocrinologia mostrou uma pontuação líquida negativa (-0,26), indicando um deslocamento para maior certeza.

Significância e Alegações
O artigo alega que a edição clínica de rascunhos de IA ambiente não é meramente uma correção de erros factuais, mas uma recalibração sistemática da incerteza. Os achados sugerem que os rascunhos de IA ambiente frequentemente carecem de hesitação suficiente, levando os clínicos a adicionar ativamente qualificadores para alinhar a documentação com a natureza provisória do raciocínio clínico e das práticas de gestão de risco.

Os autores afirmam que esses padrões indicam que a recalibração da hesitação é um fenômeno transversal aos fornecedores, sugerindo que os modelos de IA atuais podem não fundamentar adequadamente a linguagem de incerteza no contexto clínico. A heterogeneidade observada entre as especialidades implica que uma abordagem de "tamanho único" para a documentação de IA pode ser insuficiente; em vez disso, os sistemas podem exigir ajustes específicos por especialidade para melhor representar a ambiguidade diagnóstica e a força das evidências. O estudo conclui que compreender esses comportamentos de edição é essencial para melhorar a confiabilidade das notas geradas por IA e reduzir os ônus desnecessários de correção para o clínico.

As limitações observadas pelos autores incluem o foco em intervalos de substituição (excluindo a análise de textos deletados/inseridos), a falta de controles sociodemográficos e a ausência de modelagem multivariável para considerar as diferenças de complexidade dos casos.