Resumo Técnico: ClaMPAPP – Um Sistema Híbrido de LLM–ML para Apendicite Pediátrica

Definição do Problema

A integração da Inteligência Artificial no suporte à decisão clínica para apendicite pediátrica enfrenta uma dicotomia fundamental. Modelos de Aprendizado de Máquina (ML) supervisionados, treinados em dados clínicos estruturados (ex: valores laboratoriais, medições de ultrassom), oferecem uma predição de risco robusta e determinística, mas têm dificuldade em interagir com a natureza não estruturada e narrativa da documentação clínica real. Por outro outro lado, os Grandes Modelos de Linguagem (LLMs) são excelentes na interpretação de narrativas de texto livre, mas apresentam problemas críticos de confiabilidade quando utilizados como motores diagnósticos autônomos. Esses problemas incluem sensibilidade ao fraseamento de prompts, viés posicional (ordenação de informações) e a geração de saídas "alucinadas", porém de aparência plausível. Em configurações de triagem aguda de alto risco, como a apendicite pediátrica, o risco de falsos negativos (diagnósticos perdidos) é uma preocupação primária de segurança, tornando a instabilidade do diagnóstico end-to-end por LLM inaceitável.

Metodologia: A Arquitetura ClaMPAPP

Para preencher a lacuna entre a usabilidade de linguagem natural e a confiabilidade diagnóstica, os autores propõem o ClaMPAPP (Clinical Language-assisted Machine-learning Pipeline for Appendicitis). Este sistema híbrido reatribui o papel do LLM de um tomador de decisão para uma interface, delegando a predição de risco final a um modelo de ML supervisionado. O pipeline consiste em quatro estágios sequenciais:

1. Extração de Características Baseada em LLM: Um LLM (especificamente o Llama-3.1-8B na fase de reescrita) processa narrativas clínicas não estruturadas, semelhantes a notas. Em vez de gerar um diagnóstico, o LLM é restringido via tool calling para realizar o parsing semântico, mapeando o texto livre em uma representação estruturada com esquema restrito (JSON) contendo dados demográficos, escores clínicos (Alvarado, PAS), sintomas, variáveis laboratoriais e achados de ultrassom.
2. Validação Determinística de Características: Um portão de segurança valida as características extraídas contra restrições de plausibilidade fisiológica e clínica predefinidas (ex: $0 \le \text{Idade} \le 18$, $35,0 \le \text{Temperatura} \le 42,0^\circ\text{C}$). Valores que violam esses limites são mapeados como valores ausentes (NaN) em vez de serem clipados, evitando a introdução de entradas enviesadas. Esta etapa garante que apenas dados clinicamente plausíveis entrem no preditor.
3. Predição de Risco: O vetor de características validado é passado para um classificador XGBoost treinado em variáveis clínicas, laboratoriais e de ultrassom estruturadas. O XGBoost foi selecionado por sua capacidade de lidar nativamente com dados ausentes e seu forte desempenho em tarefas de classificação clínica. O modelo gera um escore de risco de apendicite contínuo.
4. Geração de Relatório: O LLM atua como um sumarizador clínico, contextualizando o escore de risco do XGBoost e as características extraídas em um relatório estruturado para clínicos, utilizando linguagem de triagem não prescritiva (ex: "Alto risco: considerar consulta cirúrgica") sem emitir diretrizes diagnósticas definitivas.

Geração de Dados e Avaliação:
Para permitir uma avaliação controlada com preservação da verdade fundamental (ground truth), os autores sintetizaram narrativas do tipo nota a partir de dados estruturados de Registros Eletrônicos de Saúde (EHR) usando uma renderização baseada em templates seguida de reescrita por LLM. Esta abordagem permitiu a criação de narrativas "permutadas" onde a ordem das informações foi invertida para testar a robustez contra o viés posicional, uma vulnerabilidade conhecida dos LLMs.

O sistema foi avaliado em duas coortes retrospectivas independentes de hospitais alemães:

• Coorte Interna (Regensburg): 782 pacientes (580 treinamento, 202 teste).
• Coorte Externa (Düsseldorf): 301 pacientes (usada exclusivamente para validação externa).

Principais Contribuições

O artigo delineia três contribuições primárias:

1. Reposicionamento do LLM: O framework restringe o LLM ao papel de extração de características e interface, em vez de classificação diagnóstica direta. Isso torna a predição final determinística, transparente e auditável, baseando-se em um modelo de ML validado para a estimativa de risco.
2. Desempenho Orientado à Segurança: O ClaMPAPP demonstra um trade-off de sensibilidade-especificidade superior em comparação com baselines de LLM autônomos. Ele reduz significativamente os falsos negativos (casos de apendicite perdidos), que é a métrica de segurança crítica na triagem aguda.
3. Robustez a Perturbações Narrativas: Através de experimentos de permutação de ordem de sentenças, o estudo mostra que, enquanto os baselines de LLM end-to-end sofrem uma degradação significativa de desempenho devido ao viés posicional, a arquitetura híbrida do ClaMPAPP permanece comparativamente estável.

Resultados Experimentais

O sistema foi comparado com um espectro de LLMs (incluindo OpenAI GPT-5.5, o3-pro, Anthropic Claude Opus 4.7 e modelos de código aberto como MedGemma e Llama-3.1) e modelos tradicionais de ML.

• Desempenho Diagnóstico:

  • Validação Interna (Regensburg): O ClaMPAPP alcançou a maior acurácia (85,1%) e F1-score (84,8%) com uma sensibilidade de 97,7%, perdendo apenas 2 casos confirmados. Em contraste, LLMs autônomos mostraram trade-offs instáveis; por exemplo, o MedGemma-4b-it teve alta especificidade, mas perdeu 40 casos (sensibilidade 53,5%), enquanto o OASST-Pythia-12b perdeu apenas 1 caso, mas teve uma taxa de falsos positivos de 113 (especificidade 2,6%).
  • Validação Externa (Düsseldorf): O ClaMPAPP manteve a maior acurácia (80,7%) e F1-score (0,881) com uma sensibilidade de 93,5%, perdendo 15 casos. Superou todos os baselines na minimização de diagnósticos perdidos, enquanto modelos como o OpenAI GPT-5.5 perderam 78 casos, apesar de possuírem maior especificidade.

• Análise de Robustez:

  • Sob permutação de ordem de sentença (trocando a primeira e a segunda metade da narrativa), os baselines de LLM puro exibiram colapso significativo de desempenho. Por exemplo, a acurácia do Llama-3.1-8b caiu para 0,475, e a sensibilidade do MedGemma-4b-it despencou para 0,128.
  • O ClaMPAPP demonstrou alta robustez arquitetural, mantendo sensibilidade perfeita (1.000) internamente e 0,926 externamente sob permutação, com apenas uma diminuição menor na acurácia (5,2%).

• Calibração:

  • Embora o ClaMPAPP tenha mostrado excelente discriminação (AUC Interna = 0,982; AUC Externa = 0,804), a calibração de probabilidade bruta foi imperfeita. Uma recalibração logística pós-hoc exploratória melhorou as métricas de calibração (ex: reduzindo o Brier score e o ECE) sem alterar o desempenho de ranking, sugerindo que a descalibração se deveu ao descompasso da escala de probabilidade e não a uma má capacidade preditiva.

Significância e Alegações

O artigo alega que o paradigma "LLM-como-interface, ML-como-preditor" oferece um caminho mais auditável e orientado à segurança para o suporte à decisão clínica do que o diagnóstico generativo sem restrições. Ao separar a usabilidade de linguagem natural da inferência preditiva, o sistema aproveita a utilidade clínica dos LLMs para extração de dados enquanto confia em modelos de ML validados e determinísticos para a etapa de decisão crítica.

Os autores enfatem que o ClaMPAPP é projetado como um auxílio de estratificação de risco orientado à triagem, e não como um teste diagnóstico autônomo. Seu valor principal reside em minimizar diagnósticos perdidos (falsos negativos) em ambientes agudos. O estudo conclui que, embora os LLMs end-to-end sejam atualmente inadequados para decisões diagnósticas de segurança crítica devido à instabilidade e riscos de alucinação, sistemas híbridos podem efetivamente preencher a lacuna entre a documentação narrativa e os modelos preditivos estruturados. Os autores observam que este padrão de integração é transferível para outros domínios médicos onde coexistem preditores tabulares validados e documentação narrativa, embora alertem que a validação prospectiva em fluxos de trabalho do mundo real é necessária antes da implantação clínica.