Resumo Técnico: PhenoAgent

Definição do Problema

As informações de fenótipo clínico estão predominantemente incorporadas em registros eletrônicos de saúde (EHRs) não estruturados, em texto livre, criando uma barreira significativa para consultas estruturadas para seleção de coortes e recrutamento de ensaios clínicos. Embora a fenotipagem computacional seja essencial para o uso secundário de EHRs (ex.: pesquisa, melhoria de qualidade), os métodos existentes enfrentam limitações:

• Consultas padrão e correspondência de palavras-chave lutam contra sinônimos, negação e expressões contextuais complexas.
• Métodos baseados em regras e dicionários exigem curadoria manual extensiva e carecem de flexibilidade para fenótipos compostos ad-hoc (ex.: "insuficiência cardíaca tratada com ECMO").
• Abordagens de aprendizado de máquina frequentemente dependem de ajuste fino (fine-tuning) específico para tarefas e conjuntos de dados anotados, limitando a implantação clínica rotineira.
• Modelos de Linguagem de Grande Escala (LLMs) Generativos oferecem promessa, mas enfrentam restrições práticas em ambientes clínicos, especificamente em relação à privacidade do paciente (limitando o uso de APIs baseadas em nuvem) e à necessidade de implantação local e preservadora de privacidade dentro das redes hospitalares.
• Contextos não ingleses, particularmente o texto clínico japonês, apresentam desafios únicos devido a múltiplos sistemas de escrita, abreviações específicas de instituições e fraseologia não segmentada, com menos recursos anotados disponíveis em comparação ao inglês.

Metodologia: Estrutura PhenoAgent

Os autores propõem o PhenoAgent, uma estrutura de agente de LLM implantável localmente, em três estágios, projetada para recuperar fenótipos clínicos compostos de EHRs em japonês de texto livre sem depender de serviços de nuvem ou anotação específica de tarefas.

1. Decomposição de Consulta Estruturada

Em vez de processar uma consulta de linguagem natural diretamente contra um registro, o PhenoAgent primeiro decompõe uma consulta clínica $Q$ em um esquema JSON estruturado $S_k$. Este esquema enumera os conceitos médicos constituintes necessários para responder à consulta e atribui um campo Booleano a cada um. Esta etapa restringe a tarefa de extração subsequente e reduz a ambiguidade, permitindo que o sistema lide com combinações complexas de diagnóstico, tratamento e comorbidade sem a necessidade de ajuste fino por consulta.

2. Avaliação Semântica Autocorretiva

A estrutura avalia cada registro clínico $C$ contra o esquema $S_k$ usando LLMs de pesos abertos (open-weight).

• Processo: O modelo gera um objeto JSON contendo valores binários e justificativas em texto livre para cada campo no esquema.
• Validação: As saídas são validadas contra o esquema JSON exigido. Se a validação falhar (ex.: JSON malformado), o sistema aciona um loop de autocorreção, solicitando novamente ao mesmo modelo com um lembrete de formato. Até duas tentativas de reprocessamento são permitidas (três tentativas no total).
• Fallback: Se uma saída válida não for obtida após as tentativas, os campos não resolvidos são definidos como negativos. Este mecanismo, inspirado na estrutura Reflexion, resolve a maioria das falhas de formato.

3. Votação de Ensamble Unânime

Para garantir estabilidade e reduzir alucinações específicas do modelo, o PhenoAgent emprega um ensemble de três LLMs distintos de pesos abertos: GPT-OSS-20B, DeepSeek-32B e Llama-3.1-Swallow-70B.

• Regra de Decisão: Um caso é classificado como positivo apenas quando os três modelos constituintes concordam unanimemente que todos os campos exigidos no esquema são positivos.
• Racional: Esta regra de votação conservadora prioriza a precisão sobre a sensibilidade, filtrando previsões instáveis e garantindo que apenas recuperações de alta confiança sejam aceitas.

Detalhes de Implementação

• Implantação: Toda a pipeline roda localmente em uma única estação de trabalho (Apple M4 Max com 128GB de memória unificada) usando modelos quantizados em 8 bits via framework MLX. Nenhuma chamada de API externa é feita.
• Datasets: Avaliado em dois datasets independentes de departamentos de emergência japoneses:
  • TUH-DEM: 842 admissões do Hospital da Universidade de Tohoku (2022–2023).
  • OUH-DEM: 196 admissões do Hospital da Universidade de Okayama (2023–2024).
• Rótulos de Referência: O ground truth foi estabelecido via concordância de dois médicos. Um registro foi rotulado como positivo apenas se dois médicos especialistas em medicina de emergência, independentes, julgassem que ele correspondia à consulta.

Resultados Principais

Métricas de Desempenho

O PhenoAgent foi testado contra três baselines de recuperação de informação (Busca por Palavra-chave, Busca Semântica com expansão de CID-10, BM25) e seis baselines de LLM único.

• Scores de Macro F1:
  • TUH-DEM (Interno): O PhenoAgent alcançou um macro F1 de 71,6 (95% IC 66,5–75,7). Isso igualou o F1 de concordância entre médicos de 71,4 e superou o melhor baseline de LLM único (GPT-OSS-20B com 67,3) e os baselines de recuperação de informação (Busca Semântica com 47,9) em 24–34 pontos.
  • OUH-DEM (Externo): O PhenoAgent manteve um macro F1 de 71,1 (95% IC 68,6–73,8), demonstrando generalização entre instituições com diferentes práticas de documentação. Superou os baselines de recuperação de informação em 35–43 pontos.
• Concordância (Coeficiente $\kappa$ de Cohen):
  • O PhenoAgent alcançou valores de $\kappa$ de 0,69 (TUH-DEM) e 0,68 (OUH-DEM), significativamente superiores à busca por palavra-chave ($\approx$0,38–0,44) e aos baselines de LLM único (variando de 0,31 a 0,61).
• Trade-off Precisão-Sensibilidade:
  • O PhenoAgent manteceu alta precisão (70,5% no TUH-DEM, 78,8% no OUH-DEM) comparável à busca por palavra-chave, mas alcançou sensibilidade substancialmente maior (76,5% vs. 34,0% para busca por palavra-chave no TUH-DEM).
  • A estratégia de votação unânime resultou em um perfil de previsão conservador, priorizando recuperações de alta confiança. Embora os LLMs únicos tenham alcançado maior sensibilidade em alguns casos de validação externa, a precisão do PhenoAgent permaneceu robusta.

Observações Específicas

• Fenótipos Raros: A estrutura teve bom desempenho em fenótipos raros (prevalência <5%), embora o desempenho tenha variado para condições clinicamente ambíguas, como sepse, onde as evidências são frequentemente implícitas ou inferidas de trajetórias clínicas em vez de termos explícitos.
• Autocorreção: O loop de autocorreção resolveu 84–99% das falhas de formato JSON, contribuindo para uma melhoria de 1,3 pontos no macro F1 no dataset TUH-DEM.
• Seleção de Modelo: O ensemble de modelos de propósito geral (selecionados via busca exaustiva) apresentou desempenho competitivo contra modelos médicos especializados (ex.: MedLLM-72B), sugerindo que o seguimento de instruções e a geração de saída estruturada são críticos para esta tarefa.

Significância e Alegações

Os autores afirmam que o PhenoAgent demonstra que fluxos de trabalho de agentes de LLM podem suportar a recuperação flexível e preservadora de privacidade de fenótipos de textos livres de EHRs em contextos clínicos não ingleses.

As principais contribuições destacadas incluem:

1. Implantabilidade Local: A estrutura opera inteiramente dentro de ambientes gerenciados por hospitais usando modelos de pesos abertos, abordando barreções críticas relativas à privacidade do paciente, governança de dados e restrições de rede.
2. Flexibilidade sem Ajuste Fino: Ao usar decomposição de consulta estruturada, o sistema lida com fenótipos compostos (diagnóstico + tratamento/comorbidade) sem exigir ajuste fino por consulta ou engenharia de ontologia extensiva.
3. Paridade de Desempenho com Especialistas: O desempenho do sistema aproxima-se do nível de consistência entre avaliadores humanos, sugerindo que pode servir como uma ferramenta confiável para a seleção de coortes de pesquisa clínica.
4. Robustez em Contextos Não Ingleses: A aplicação bem-sucedida a EHRs japoneses valida a abordagem para cenários onde conjuntos de dados anotados e recursos de linguagem clínica são limitados.

O artigo conclui que, embora a regra de votação unânime crie um sistema focado em precisão adequado para seleção de coortes de pesquisa (onde falsos positivos aumentam o ônus da revisão manual), a estrutura é modular. Ela pode se adaptar a diferentes equilíbrios de precisão-sensibilidade (ex.: via votação por maioria) e incorporar modelos locais mais fortes conforme se tornem disponíveis, servindo como uma ponte prática entre os avanços dos LLMs de propósito geral e uma infraestrutura de pesquisa clínica confiável.