Resumo Técnico: Conversação como Medição em Encontros Clínicos

Formulação do Problema

Sistemas de IA modernos dependem cada vez mais de traços conversacionais para inferir padrões de interação humana e estados internos (ex: emoções, status funcional). Esses sistemas operam sob uma premissa implícita: que tal informação é recuperável apenas pela conversa. No entanto, os limites dessa premissa permanecem incertos. O artigo identifica dois desafios primários na avaliação da observabilidade (definida como se um alvo é recuperável apenas por transcrições de conversas):

1. Visão Parcial: Para alvos que não são inerentes à conversa (ex: pensamentos, cargas de sintomas específicos), informações relevantes podem nunca ser explicitamente expressas, tornando a ausência de evidências difícil de interpretar sem uma âncora externa.
2. Ambiguidade de Anotação: Análises de larga escala exigem anotação baseada em modelos. Consequentemente, os limites aparentes de observabilidade podem refletir tanto limites reais do sinal conversacional quanto erros introduzidos pelo anotador, tornando difícil o desmembramento entre ambos.

Para abordar esses desafios, os autores estudam encontros clínicos, que fornecem uma âncora externa através de Medidas de Desfecho Relatadas pelo Paciente (PROMs) e seguem padrões conversacionais amplamente estruturados. O estudo investiga a observabilidade ao longo de duas dimensões:

• Estrutura de Fase: A organização da conversa em fases sequenciais (ex: histórico, exame, plano).
• Estado do Paciente: Aspectos da condição de um paciente, operacionalizados via escores de nível de item de PROMs referentes a voz, tosse e deglutição.

Metodologia

Conjunto de Dados

O estudo utiliza 439 transcrições de encontros clínicos reais abrangendo 134 horas, gravadas e transcritas usando o Nuance Dragon Ambient eXperience (DAX). O conjunto de dados inclui:

• Clínicos: 4 provedores (3 especialistas em otorrinolaringologia, 1 oncologista de radioterapia).
• Pareamentos de PROM: 245 transcrições de otorrinolaringologia pareadas com 273 questionários PROM.
• Instrumentos: Voice Handicap Index-10 (VHI-10), Cough Severity Index (CSI) e Eating Assessment Tool-10 (EAT-10). Cada um contém 10 itens pontuados em uma escala ordinal de 0 a 4.

Pipeline de Anotação

Para garantir escalabilidade mantendo o rigor, os autores empregaram uma implantação do GPT-5 em conformidade com PHI para três tarefas:

1. Segmentação de Fase: Divisão das transcrições em 3 a 8 segmentos semânticos baseados no propósito comunicativo (ex: Estabelecimento de rapport, Histórico, Exame físico, Avaliação, Plano, Educação, Encerramento, Não clínico).
2. Extração de Perguntas: Identificação de perguntas de busca de informação e atribuição ao falante.
3. Pontuação de PROM Derivada de Transcrição: Predição de escores para cada item do PROM com base em evidências da transcrição. O modelo foi instruído a abster-se (output null) se não houvesse evidência direta presente, em vez de alucinar um escore.

Validação e Métricas

Para mitigar o risco de que os limites observados reflitam erros do anotador, os autores realizaram 40 horas de validação manual por um único revisor em um subconjunto dos dados:

• Validação de Fase: 212 fases de 29 transcrições foram revisadas para correção de rótulo e consistência de carimbo de tempo (timestamp).
• Validação de Pergunta: 100 perguntas foram revisadas para existência e atribuição de falante.
• Validação de PROM: 120 itens de 12 pares de transcrição-questionário foram revisados para verificar se os escores derivados da transcrição (ou abstenções) eram suportados por evidências.

Métricas de Avaliação:

• Fase/Pergunta: Correção binária (acurácia).
• Escores de PROM: Kappa Ponderado Quadrático (QWK), Erro Absoluto Médio (MAE) e Erro Assinado Médio (PROM Externo – PROM derivado da Transcrição) calculados em itens não ausentes.

Principais Resultados

1. Observabilidade da Estrutura de Fase

O estudo constata que a estrutura de fase é altamente observável e recuperável apenas pelas transcrições.

• Acurácia de Validação: A revisão manual confirmou 94,8% de correção para rótulos de fase e 99,0% para extração de perguntas e atribuição de falante.
• Insights Estruturais: As fases recuperadas revelaram uma organização coerente do encontro:
  • Trajetórias Temporais: Os encontros seguem uma progressão ampla (Histórico $\to$ Exame $\to$ Plano/Educação), embora com heterogeneidade estruturada (ex: alguns encontros são dominantes em exame, outros em educação).
  • Variação do Clínico: Diferentes clínicos exibem padrões de alocação distintos (ex: especialistas em otorrinolaringologia dedicam mais tempo a exames; oncologistas de radioterapia dedicam mais tempo ao planejamento e educação).
  • Papéis Interacionais: Padrões de questionamento variam por fase; clínicos dominam o questionamento em Histórico e Exame, enquanto pacientes fazem mais perguntas em Plano e Educação.

2. Observabilidade Parcial do Estado do Paciente

Em contraste, o estado do paciente é apenas parcialmente observável, mesmo em um ambiente especificamente desenhado para elicitar sintomas.

• Suporte de Evidência: No subconjunto validado manualmente, todos os escores derivados da transcrição e abstenções foram julgados como suportados por evidências da transcrição, confirmando que o modelo não alucinou escores.
• Ausência de Dados (Missingness): Em todo o conjunto de dados, 63,0% dos itens de PROM estavam ausentes (ou seja, o modelo se absteve devido à falta de evidência). A ausência variou por instrumento (52% para Deglutição a 67,1% para Tosse) e por item específico.
  • Variação de Item: Itens concernentes a impactos subjetivos, afetivos ou sociais (ex: "sentir-se incapacitado", "constrangimento") foram frequentemente ausentes, enquanto dificuldades funcionais concretas (ex: "dificuldade em ser ouvido") foram mais frequentemente verbalizadas.
• Concordância com a Verdade de Campo (Ground Truth): Para itens não ausentes, a concordância com os escores externos de PROM foi apenas moderada (QWK Geral: 0,467 na validação; 0,508 no conjunto total).
  • O modelo tendeu a subestimar a carga de sintomas (Erro Assinado Médio positivo), sugerindo que, mesmo quando os sintomas são discutidos, a transcrição pode não capturar a severidade total relatada nos questionários.
  • O instrumento de Tosse mostrou concordância particularmente baixa (QWK: -0,019), embora isso tenha sido baseado em um pequeno número de itens não ausentes.

Significância e Alegações

A contribuição central do artigo é a identificação de uma assimetria de observabilidade nas conversas clínicas:

1. A estrutura de fase é recuperável e útil: As transcrições fornecem evidência direta de como uma interação se desenrola, tornando-as uma modalidade promissora para caracterizar a organização do encontro, o comportamento do clínico e os papéis interacionais sem anotação manual em escala.
2. O estado do paciente é apenas parcialmente recuperável: Mesmo em um cenário clínico otimizado para a elicitação de sintomas, a transcrição é um registro incompleto do constructo subjacente. Grande parte da informação relevante para o PROM não é verbalizada, e a informação que é verbalizada muitas vezes carece da granularidade para corresponder aos escores relatados pelo paciente.

Implicações:
Os autores alertam contra a dependência exclusiva da inferência baseada em transcrição para a avaliação do estado humano. Quando a condição de "evidência suficientemente informativa" não se sustenta, âncoras externas (como questionários) ou outras modalidades são necessárias para uma medição válida. O estudo recontextualiza a conversação não como uma janela completa para o estado do paciente, mas como uma modalidade de medição com limites específicos, dependentes de cada item.

Limitações Reconhecidas:

• Os dados são limitados a um cenário clínico específico (Otorrinolaringologia/Oncologia) e um conjunto restrito de PROMs.
• A validação dependeu de um único anotador.
• A ausência de transcrições de padrão-ouro significa que erros de ASR (Reconhecimento Automático de Fala) podem ter contribuído para a aparente ausência de dados.
• As transcrições omitem prosódia, gestos e outras pistas contextuais.
• Os PROMs servem como âncoras, mas não são uma verdade absoluta para todas as experiências dos pacientes.