DentaCoPilot: An LLM-Augmented Next-Procedure Recommender for General Dentistry, Designed for Dentist Augmentation

Resumo Técnico: DentaCoPilot

Definição do Problema
Embora a IA odontológica comercial em 2026 tenha amadurecido significativamente em tarefas diagnósticas (ex: detecção de cáries, medição de nível ósseo em radiografias), uma lacuna crítica permanece na recomendação de próximo procedimento para a odontologia geral. Sistemas existentes, como o MultiTP, são frequentemente restritos a tipos específicos de casos (ex: edentulismo parcial), carecem de incerteza calibrada, não se abstêm quando o contexto é insuficiente e são avaliados como classificadores autônomos em vez de ferramentas de suporte à decisão. O desafio central é sequenciar um plano de tratamento a partir de um prontuário estruturado que leve em conta demografia, histórico médico e a trajetória específica de procedimentos anteriores, fornecendo ao dentista uma justificativa e um nível de confiança, em vez de um output determinístico.

Metodologia
Os autores introduzem o DentaCoPilot, um sistema projetado para aumentar, não substituir, o dentista. O sistema recebe um prontuário de paciente estruturado (demografia, alertas médicos e uma sequência cronológica de procedimentos codificados pela CDT) e o procedimento mais recente como entrada. Ele gera quatro sinais:

1. Uma distribuição de probabilidade top-$K$ sobre o próximo código de procedimento CDT.
2. Um rótulo de confiança verbalizado (baixo, médio, alto).
3. Uma flag de abstenção explícita quando o contexto do prontuário é considerado insuficiente.
4. Uma justificativa fundamentada no prontuário, citando achados prévios específicos.

Configuração Experimental:

• Datasets:
  • Corpus Sintético: 500 pacientes (1.284 exemplos de teste) gerados via um processo de estilo Markov hierárquico baseado em dados do BigMouth. Isso serve como um teste de comportamento de pipeline e propriedades de aumento.
  • Benchmark de Mundo Real: O corpus de Visitas Odontológicas MEPS 2023 (11.016 transições através de 5.088 pacientes), avaliado por granularidade de categoria de tratamento (não por códigos CDT específicos) para estabelecer validade externa.
• Modelos Avaliados:
  • Baselines Clássicos (B0–B3): Bigrama de frequência, TF-IDF + Regressão Logística, XGBoost e uma reimplementação de estilo CNN-RNN do MultiTP.
  • Variantes de LLM (M1–M6): Variantes utilizando Claude Haiku, Sonnet e Opus, empregando estratégias como cadeia de pensamento (CoT), geração aumentada por recuperação (RAG) e condicionamento de prompt (injeção de candidatos de baselines clássicos no prompt do LLM).
• Infraestrutura: Toda a inferência de LLM é roteada através de um CLI local do Anthropic Claude Code para garantir total auditabilidade e reprodutibilidade, com cada chamada sendo registrada.

Resultos Principais

• Desempenho de LLM Puro: No corpus sintético, as variantes de LLM puro (M1–M4) subperformaram significativamente os baselines clássicos em precisão de correspondência exata de top-1 CDT (variando de 0,267 a 0,467 contra 0,567 dos baselines). Essa lacuna foi atribuída à forte estrutura de Markov local dos dados sintéticos, que os bigramas capturam perfeitamente, e à tendência dos LLMs de selecionar previsões que estão corretas na categoria, mas que não coincidem com o código exato.
• O Avanço do "Condicionamento de Prompt" (M5): A descoberta mais significativa foi que o condicionamento de prompt de um LLM Sonnet com os top-10 candidatos de um baseline clássico de TF-IDF + Regressão Logística (Modelo M5) fechou a lacuna de precisão.
  • O M5 alcançou 0,533 de top-1 e 0,933 de top-5 de precisão, aproximando-se dos baselines clássicos (0,567 top-1, 0,933–0,967 top-5).
  • Crucialmente, o M5 manteve as funcionalidades de aumento: justificativa fundamentada no prontuário, confiança verbalizada e a capacidade de abstenção.
• Capacidade do Modelo vs. Design: A atualização do backbone do LLM de Sonnet para o mais capaz Opus (M4, M6) não gerou melhoria na precisão, com ou sem priming. Isso sugere que, para esta tarefa, o design de prompt e a integração de priors clássicos são mais eficazes do que a capacidade bruta do modelo.
• Validação no Mundo Real (MEPS): No corpus MEPS, baselines conscientes do histórico (modelos de Markov) superaram significativamente um baseline de frequência máxima (0,479 vs. 0,297 top-1). Um LLM zero-shot, dado apenas o histórico de categorias grosseiras (0,213 top-1), subperformou o baseline de Markov, reforçando a afirmação de que o valor do LLM é contingente a um contexto de prontuário rico, não apenas ao histórico de procedimentos.
• Calibração e Abstenção: Embora o sistema seja projetado para se abster, a avaliação sintética mostrou que os modelos raramente dispararam a flag de abstenção devido a limitações de design de prompt. No entanto, a análise de risco de cobertura confirmou que os baselines clássicos poderiam ser calibrados para trocar cobertura por precisão, um recurso que o sistema híbrido visa preservar.

Significância e Alegações
O artigo posiciona o DentaCoPilot como um consultor de suporte à decisão, e não como um classificador autônomo. Suas principais contribuições são:

1. Framework de Aumento: Demonstra que um LLM pode ser efetivamente integrado a um fluxo de trabalho clínico usando um modelo clássico para lidar com os priors estatísticos (o "que é provável") enquanto o LLM lida com a camada de raciocínio (o "porquê" e a "justificativa").
2. Design de Baixo Custo: O estudo identifica que condicionar o prompt de um LLM menor (Sonnet) com priors clássicos é mais econômico e performático do que usar modelos maiores e mais caros (Opus) ou depender puramente do raciocínio do LLM.
3. Auditabilidade: Ao rotear toda a inferência através de um CLI local com log completo, o sistema garante que cada recomendação possa ser auditada e reproduzida sem gastar computação adicional, abordando uma barreira fundamental para a adoção de IA clínica.
4. Escopo Modesto: Os autores afirmam explicitamente que os resultados sintéticos validam o comportamento do pipeline e as propriedades de aumento (justificativa, calibração, abstenção), mas não reivindicam validade externa para o desempenho clínico. Os autores enfatizam que a próxima etapa de trabalho envolve uma avaliação com clínico no loop pré-registrada no Instituto KLE Vishwanath Katti e validação multi-institucional usando o repositório BigMouth para confirmar se essas escolhas de design se traduzem em utilidade clínica no mundo real.

O artigo conclui que, embora os LLMs puros atualmente fiquem atrás dos métodos clássicos em precisão bruta de previsão em dados odontológicos estruturados, uma arquitetura híbrida que utiliza priors clássicos para guiar o LLM oferece um caminho viável, econômico e eficaz para sistemas de recomendação de próximo procedimento que sejam clinicamente úteis, explicáveis e seguros.