PVminer: A Domain-Specific Tool to Detect the Patient Voice in Patient Generated Data

1. Problema e Motivação

Os dados gerados por pacientes (como mensagens seguras, pesquisas e entrevistas) contêm uma riqueza de informações sobre a "Voz do Paciente" (PV), refletindo tanto comportamentos comunicativos quanto os Determinantes Sociais da Saúde (DSS). No entanto, a análise manual desses textos é intensiva em mão de obra e não escala para o grande volume de mensagens produzidas nos sistemas de saúde.

As abordagens existentes de Aprendizado de Máquina (ML) e Processamento de Linguagem Natural (NLP) apresentam limitações críticas:

• Separação de Tarefas: A maioria dos métodos trata a comunicação centrada no paciente (PCC) e os DSS como tarefas isoladas, ignorando que uma única mensagem pode conter expressões sobrepostas de ambos.
• Modelos Genéricos: Muitos dependem de modelos pré-treinados (como BERT padrão ou BioBERT) que não são adequados para a linguagem conversacional e contextual dos pacientes.
• Classificação de Rótulo Único: Abordagens anteriores frequentemente forçam uma mensagem a uma única categoria, falhando em capturar a natureza multifacetada e sobreposta da comunicação do paciente.

Há uma necessidade urgente de uma abordagem escalável e adaptada ao domínio que modele conjuntamente as dimensões linguísticas e sociais da comunicação gerada pelo paciente.

2. Metodologia: O Framework PVminer

O PVminer é um framework de NLP adaptado ao domínio, projetado para estruturar a voz do paciente em comunicações seguras entre pacientes e provedores. O sistema é formulado como uma tarefa de classificação multi-rótulo e multi-classe hierárquica, composta por três níveis: Code (Código), Subcode (Subcódigo) e Combo (combinação de ambos).

O framework integra três componentes principais:

A. Pré-treinamento Adaptado ao Domínio (PV-BERT)

• Foram desenvolvidos dois modelos de linguagem específicos para o domínio: PV-BERT-base e PV-BERT-large.
• Eles foram pré-treinados a partir de zero (inicializados a partir de bert-base-uncased e bert-large-uncased) utilizando um corpus massivo de 6 milhões de mensagens não rotuladas escritas por pacientes.
• O objetivo de pré-treinamento foi o Masked Language Modeling (MLM), permitindo que os modelos aprendessem a linguagem conversacional, o contexto e as nuances específicas da comunicação paciente-provedor, diferentemente de modelos treinados apenas em literatura biomédica.

B. Modelagem de Tópicos para Augmentation (PV-Topic-BERT)

• Utilizando o framework BERTopic, um modelo de tópicos foi treinado em 500 mil mensagens não rotuladas para descobrir a estrutura temática latente.
• Este componente gera palavras-chave de tópicos (ex: "vacina", "laboratório", "finanças") que são usadas para enriquecer as representações das mensagens.
• Durante o fine-tuning e a inferência, as palavras-chave do tópico mais provável são concatenadas ao texto da mensagem, fornecendo sinais semânticos de alto nível que ajudam a desambiguar mensagens curtas ou contextuais.

C. Pipeline de Fine-Tuning e Classificação

• Os modelos PV-BERT são ajustados (fine-tuned) para prever os rótulos estruturados (Code, Subcode, Combo).
• Identidade do Autor: O texto é pré-pendido com tokens especiais ([PATIENT] ou [PROVIDER]) para que o modelo capture padrões de comunicação específicos do papel do autor.
• Augmentation de Tópicos: As palavras-chave extraídas do PV-Topic-BERT são adicionadas ao texto de entrada antes da tokenização.
• A saída é uma vetor de probabilidade onde múltiplos rótulos podem ser ativos simultaneamente (multi-hot), refletindo a sobreposição de intenções comunicativas e sociais.

3. Contribuições Principais

1. Tarefa Unificada: Introdução de uma tarefa de detecção de voz do paciente que captura simultaneamente comportamentos comunicativos e expressões de DSS em um cenário multi-rótulo, refletindo a natureza sobreposta da comunicação.
2. Framework Integrado (PVminer): Desenvolvimento de um pipeline que combina pré-treinamento adaptado ao domínio, aprendizado de representação informado por tópicos e fine-tuning aumentado por tópicos.
3. Modelos Pré-treinados Específicos: Criação e disponibilização de PV-BERT-base, PV-BERT-large e PV-Topic-BERT, demonstrando que o pré-treinamento em textos de pacientes supera modelos biomédicos e gerais.
4. Validação Abrangente: Estudo de ablação e comparação extensiva mostrando a contribuição de cada componente (identidade do autor, tópicos, pré-treinamento) e a generalização do framework.

4. Resultados

Os experimentos foram conduzidos em um conjunto de dados anotado de 1.137 mensagens de pacientes de múltiplas instituições (Yale New Haven Health e clínicas caridosas no Texas), com uma divisão de 80/20 para treino/teste.

• Desempenho Geral: O PVminer superou consistentemente modelos de base (BERT geral, BioBERT, ClinicalBERT, SciBERT) em todas as três tarefas hierárquicas.
• Nível de Código (Code): O PV-BERT-large alcançou o melhor desempenho com um F1-score de 82,25%, superando o BERT-base padrão (80,97%) e o BioBERT (78,64%).
• Nível de Subcódigo (Subcode): O PV-BERT-base obteve o melhor resultado com F1-score de 80,14%, demonstrando eficácia na distinção de nuances comunicativas finas.
• Nível Combo (Combo): Para a tarefa mais desafiadora (prever pares Code-Subcode), o PV-BERT-large atingiu 77,87% de F1, enquanto o PV-BERT-base atingiu 77,58%.
• Estudo de Ablação:
  • Adicionar a identidade do autor melhorou consistentemente o desempenho em todas as tarefas.
  • A augmentação por tópicos (adicionar palavras-chave de tópicos) forneceu o ganho mais significativo, elevando o F1 do PV-BERT-large de 78,62% (apenas encoder) para 82,25% (configuração completa) no nível de Código.

5. Significado e Implicações Clínicas

O PVminer oferece uma infraestrutura fundamental para transformar textos não estruturados em sinais comunicativos e sociais estruturados.

• Triagem e Monitoramento: Permite a identificação automática de preocupações emergentes (ex: efeitos colaterais, barreiras de acesso) e comportamentos de busca de informação, facilitando a triagem de mensagens e priorização de casos de alto risco.
• Compreensão Holística: Ao capturar DSS (como estabilidade econômica ou barreiras de transporte) junto com a comunicação clínica, o sistema auxilia na identificação de necessidades não atendidas que afetam os desfechos de saúde.
• Escalabilidade: A abordagem automatizada supera as limitações de custo e tempo da codificação manual, permitindo a análise em larga escala da experiência do paciente em sistemas de saúde digitais.

Limitações e Futuro: O estudo reconhece desafios na detecção de categorias raras, implícitas ou semanticamente complexas (como tomada de decisão compartilhada e ambiente construído), devido ao desequilíbrio de classes e à natureza contextual dessas expressões. Trabalhos futuros focarão em expandir dados anotados, estratégias de aumento de dados adversariais e modelagem de contexto conversacional ao longo de múltiplas interações.