📄 medicine

Can Large Language Models Assist Surgeons in Managing Implant-Related Complications? A Guideline-Informed Comparative Evaluation

Este estudo avalia quatro grandes modelos de linguagem em cenários de complicações de implantes informados por diretrizes, constatando que, embora eles difiram em desempenho e segurança — particularmente em casos complexos com o Gemini 3.1 superando o DeepSeek V3.2 — eles ainda não podem substituir o julgamento clínico especializado.

Autores originais: Emrah Bilen¹, Zeynep Soylu², Ali Bulut, Muhammed Kahkeci

Publicado 2026-08-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Emrah Bilen¹, Zeynep Soylu², Ali Bulut, Muhammed Kahkeci

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef tentando cozinhar uma refeição perfeita, mas em vez de um livro de receitas, você tem um robô superinteligente que leu todos os livros de culinária, blogs de comida e críticas de restaurantes do mundo. Este robô, conhecido como um Modelo de Linguagem Grande (LLM), pode conversar com você, responder perguntas e até sugerir pratos complexos. No mundo da medicina, esses robôs de IA estão se tornando ajudantes populares para médicos, oferecendo conselhos rápidos sobre tudo, desde resfriados comuns até cirurgias complicadas. Mas aqui está o problema: só porque um robô consegue falar com confiança, não significa que ele saiba a verdade. Às vezes, esses sistemas de IA inventam coisas, um fenômeno que os cientistas chamam de "alucinação", ou dão conselhos que parecem bons, mas que podem realmente ferir um paciente. Isso é especialmente assustador na odontologia, onde colocar um implante dentário é como construir uma fundação minúscula e permanente no osso maxilar de uma pessoa. Se a fundação estiver errada, ou se uma complicação como uma lesão nervosa ou sangramento severo acontecer, os resultados podem ser dolorosos e permanentes. Então, a grande questão não é apenas "A IA consegue falar?", mas sim "A IA pode ser confiada para salvar o dia quando as coisas dão errado?".

Este estudo decidiu colocar quatro dos robôs de IA mais famosos à prova: Gemini 3.1, ChatGPT 5.4, Claude 4.6 e DeepSeek V3.2. Os pesquisadores não fizeram apenas perguntas simples como "O que é um implante dentário?". Em vez disso, eles criaram 24 histórias fictícias complicadas (chamadas de vinhetas clínicas) sobre implantes dentários dando errado. Essas histórias variavam de problemas de nível "intermediário" (como uma pequena infecção) até desastres de "nível especialista" (como um nervo sendo esmagado ou uma membrana do seio sendo rasgada). Os robôs de IA tiveram que agir como cirurgiões experientes, diagnosticando o problema e sugerindo um plano de tratamento baseado em diretrizes médicas reais. Então, dois dentistas especialistas da vida real, que não sabiam qual IA escreveu cada resposta, avaliaram os robôs em uma escala de 1 a 5. Eles observaram o quão preciso era o diagnóstico, se o conselho era seguro e se o plano fazia sentido. Eles também jogaram o "identifique o perigo", verificando se a IA deu qualquer conselho que pudesse seriamente prejudicar um paciente ou inventou fatos médicos falsos.

Os resultados foram um pouco como uma corrida onde os corredores tinham níveis de resistência muito diferentes. O estudo descobriu que os robôs não eram todos criados iguais. O Gemini 3.1 foi o vencedor claro, recebendo consistentemente as notas mais altas por ser preciso, seguro e claro. Era como o aluno que realmente estudou o livro didático e sabia exatamente o que fazer. No outro extremo do espectro, o DeepSeek V3.2 foi o que mais teve dificuldades. Ele apresentou pontuações mais baixas no geral e, o que é mais preocupante, foi o mais propenso a "alucinar" ou dar conselhos perigosos. Na verdade, o DeepSeek inventou fatos ou diretrizes médicas falsas em quase uma de cada três respostas (29,2%), e sugeriu tratamentos prejudiciais em cerca de 17% dos casos. Os outros dois robôs, ChatGPT 5.4 e Claude 4.6, ficaram em algum lugar no meio, indo bem, mas não tão consistentemente quanto o vencedor.

Os pesquisadores também descobriram que a dificuldade do problema importava muito. Quando os cenários eram simples ou "intermediários", todos os robôs tiveram um desempenho aproximadamente igual, como um grupo de amigos que todos sabem amarrar os sapatos. Mas quando os problemas se tornaram "difíceis" e exigiram pensamento complexo, a lacuna entre os robôs aumentou significamente. O Gemini 3.1 manteve-se forte e inteligente, enquanto o DeepSeek V3.2 começou a tropeçar. Curiosamente, mesmo nos cenários de "nível especialista" mais difíceis, as diferenças não foram estatisticamente grandes, provavelmente porque os problemas eram difíceis demais para qualquer um deles, ou porque não havia casos específicos desses tipos de alta dificuldade para provar uma diferença.

A lição mais importante deste artigo é um grande "Não" à ideia de que a IA pode substituir um cirurgião humano. O estudo sugere que, embora essas ferramentas possam ser úteis para verificar fatos ou aprender, elas não estão prontas para tomar decisões de vida ou morte por conta própria. O "fardo de segurança" era alto demais, especialmente para os modelos mais fracos. Os autores concluem que, no mundo de alto risco dos implantes dentários, uma IA pode ser uma assistente útil, como um copiloto, mas nunca poderá ser o piloto. O especialista humano precisa estar no assento, checando tudo, porque quando se trata da segurança do paciente, um robô confiante que inventa coisas é um risco que ninguém pode se dar ao luxo de correr.

Resumo Técnico: Avaliação Comparativa Informada por Diretrizes de LLMs em Complicações Relacionadas a Implantes

Definição do Problema

Embora as técnicas cirúrgicas e os fluxos de trabalho digitais na implantologia tenham avançado, o manejo de complicações relacionadas a implantes (ex: lesões nervosas, perfurações de membrana, sangramento severo) permanece clinicamente exigente. Os clínicos, particularmente os clínicos gerais que carecem de suporte especializado imediato, utilizam cada vez mais Modelos de Linguagem de Grande Escala (LLMs) para orientação no ponto de atendimento. No entanto, a confiabilidade dos LLMs na tomada de decisão clínica de alto risco é incerta. A literatura existente tem avaliado primordialmente os LLMs na educação do paciente ou na síntese de conhecimento teórico, falhando frequentemente em abordar:

Falhas Críticas de Segurança: A distinção entre a qualidade geral da resposta e eventos de segurança específicos (ex: alucinações, recomendações prejudiciais).
Estratificação de Complexidade: Como o desempenho do modelo varia entre cenários clínicos de nível intermediário, difícil e especialista.
Concordância com Diretrizes: A capacidade dos modelos de aderir a estruturas de manejo baseadas em consenso de grandes organizações (EAO, ITI, AAOMS) em situações complexas e multivariáveis.

O estudo aborda a lacuna de evidências sobre se os LLMs podem servir como ferramentas de suporte confiáveis ou se representam riscos significativos à segurança do paciente no manejo de complicações de implantes em nível de especialista.

Metodologia

Este estudo empregou um design de avaliação in-silico comparativo e transversal.

Cenários Clínicos: Vinte e quatro vinhetas clínicas foram desenvolvidas, estratificadas por dificuldade (6 intermediárias, 12 difíceis, 6 de especialista) e categorizadas em seis tipos de complicação (aumento de seio maxilar, intraoperatório, pós-operatório precoce/tardio, aumento de tecido duro, tecido mole peri-implantar). Esses cenários foram construídos para alinhar-se aos documentos de consenso da European Association for Osseointegration (EAO), International Team for Implantology (ITI) e American Association of Oral and Maxillofacial Surgeons (AAOMS).
Modelos Avaliados: Quatro LLMs de última geração foram testados:
- Gemini 3.1 Pro
- ChatGPT 5.4
- Claude 4.6
- DeepSeek V3.2
- Protocolo: Os modelos foram acessados via interfaces web com configurações padrão, modos de raciocínio avançado habilitados e sem plugins externos. Cada cenário foi submetido uma vez por modelo utilizando um pre-prompt padronizado.
Estrutura de Avaliação: As respostas foram anonimizadas e randomizadas, sendo então avaliadas independentemente por dois especialistas cegos (um cirurgião bucomaxilofacial e um periodontista).
- Domínios Likert (escala de 1–5): Precisão diagnóstica, adequação do manejo, segurança, completude/capacidade de ação e clareza/coerência.
- Desfechos Binários de Segurança: Presença de recomendações prejudiciais graves, sinais de alerta negligenciados e conteúdo alucinado/fabricado.
- Confiabilidade: A confiabilidade inter-avaliador e intra-avaliador foi avaliada usando o kappa de Cohen, com as divergências resolvidas por um terceiro especialista.
Análise Estatística: Testes de Friedman com W de Kendall foram utilizados para comparações globais entre os modelos, seguidos de testes de post-hoc de postos sinalizados de Wilcoxon com correção de Holm. Testes de Q de Cochran foram usados para desfechos binários de segurança.

Principais Resultados

Desempenho Geral: Diferenças significativas foram observadas entre os modelos em todos os cinco domínios de avaliação ( $p < 0,05$ $p < 0, 05$ ). O Gemini 3.1 alcançou consistentemente as pontuações mais altas, enquanto o DeepSeek V3.2 obteve as pontuações mais baixas.
- A análise post-hoc revelou que o Gemini 3.1 superou significativamente o DeepSeek V3.2 em todos os domínios (ex: pontuação geral: 4,30 vs. 3,58; $p=0,003$ ).
- Nenhuma outra comparação pareada permaneceu estatisticamente significativa após a correção de Holm.
Impacto da Dificuldade do Cenário:
- Cenários Intermediários: Não foram encontradas diferenças significativas entre os modelos.
- Cenários de Especialista: Não foram encontradas diferenças significativas (provavelmente devido às limitações do tamanho da amostra ou à dificuldade universal no raciocínio de alto risco).
- Cenários Difíceis: Emergiram diferenças significativas ( $p=0,014$ ). O Gemini 3.1 superou significativamente o DeepSeek V3.2 (4,25 vs. 3,60; $p=0,023$ ), sugerindo que a variabilidade dos modelos é mais pronunciada em casos complexos e multivariáveis.
Desfechos de Segurança:
- Recomendações Prejudiciais Graves: Foram encontradas diferenças significativas ( $p=0,041$ ). O DeepSeek V3.2 apresentou a maior carga (4/24 casos, 16,7%), enquanto o Gemini 3.1 e o ChatGPT 5.4 tiveram zero ocorrências.
- Alucinações/Fabricações: Foram encontradas diferenças significativas ( $p=0,035$ ). O DeepSeek V3.2 exibiu a maior taxa (7/24 casos, 29,2%), seguido pelo Claude 4.6 (3/24 casos, 12,5%), Gemini 3.1 (2/24 casos, 8,3%) e ChatGPT 5.4 (1/24 casos, 4,2%).
- Sinais de Alerta Negligenciados: Não foram observadas diferenças significativas entre os modelos.

Principais Contribuições

Avaliação Separada por Segurança: O estudo introduz um framework metodológico que separa a qualidade geral da resposta de eventos de segurança do paciente específicos (recomendações prejudiciais e alucinações), argumentando que uma pontuação média alta não impede a geração de erros clinicamente críticos.
Benchmarking Estratificado por Dificuldade: Ao categorizar os cenários em níveis intermediário, difícil e de especialista, o estudo demonstra que as disparidades de desempenho dos LLMs não são uniformes; elas são mais evidentes em cenários "difíceis" que exigem a integração de múltiplas variáveis clínicas.
Padrão Baseado em Diretrizes: A avaliação utilizou um padrão de referência baseado nos princípios de consenso da EAO, ITI e AAOMS, em vez de simples recuperação de conhecimento, avaliando a capacidade dos modelos de aplicar diretrizes a contextos clínicos específicos e complexos.
Dados Empíricos de Segurança: O estudo fornece dados quantitativos sobre a frequência de alegações de diretrizes "alucinadas" ou "fabricadas" e recomendações prejudiciais entre quatro versões específicas de modelos, destacando o perfil de risco mais elevado do DeepSeek V3.2 neste domínio específico.

Significância e Alegações

Os autores concluem que, embora os LLMs mostrem potencial como ferramentas de suporte para educação clínica e verificação de decisões, eles não podem substituir o julgamento clínico especializado no manejo de complicações relacionadas a implantes.

Sensibilidade ao Contexto: O desempenho dos LLMs é altamente dependente do contexto. Eles apresentam desempenho comparável em casos simples (intermediários), mas divergem significamente em cenários complexos (difíceis), onde o risco de erro aumenta.
Variabilidade do Perfil de Segurança: O estudo enfatiza que os perfis de segurança variam drasticamente entre os modelos. A alta incidência de recomendações prejudiciais e alucinações no DeepSeek V3.2, em comparação com a incidência próxima de zero no Gemini 3.1 e ChatGPT 5.4, sugere que a seleção do modelo é crítica para a segurança do paciente.
Papel da IA: Os achados apoiam a visão dos LLMs como "ferramentas de suporte" que requerem supervisão e validação de especialistas, em vez de sistemas de tomada de decisão autônomos. Os autores afirmam que a integração desses modelos nos fluxos de trabalho clínicos deve ser acompanhada de uma avaliação rigorosa e de uma compreensão clara de suas limitações no manejo do raciocínio clínico de segurança crítica e multivariável.