Blinded Expert Evaluation of Large Language Models for Osteoporosis Case Management in Older Adults: Impact of Direct Guideline Integration

Resumo Técnico: Avaliação de Especialistas Cega de Grandes Modelos de Linguagem para o Manejo de Casos de Osteoporose em Idosos

Definição do Problema
O manejo da osteoporose em idosos (≥65 anos) requer uma tomada de decisão complexa e individualizada que integra risco de fratura, escolhas farmacológicas, função renal, polifarmácia, risco de quedas e contraindicações. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam potencial para suporte à decisão clínica, sua confiabilidade, segurança e adesão às diretrizes em cenários geriátricos permanecem incertas. Especificamente, há uma falta de evidências sobre se a integração direta de diretrizes clínicas nos LLMs melhora seu desempenho em comparação com modelos de base. Além disso, a literatura existente frequentemente carece de protocolos de avaliação cega e foca em conhecimento geral em vez de raciocínio geriátrico baseado em casos complexos.

Metodologia
Este estudo metodológico transversal empregou um protocolo de avaliação de especialistas independente e cego para comparar quatro abordagens de IA através de 25 cenários hipotéticos de casos de osteoporose. Os casos foram desenvolvidos por especialistas em geriatria e categorizados em cinco domínios: osteoporose pós-menopausa clássica, desafios geriátricos (polifarmácia, quedas), manejo de medicamentos, osteoporose secundária/comorbidades e complicações/armadilhas.

Os quatro painéis de IA avaliados foram:

1. ChatGPT 4.5 (Base): Sem upload de diretriz externa.
2. Gemini 3 (Base): Sem upload de diretriz externa.
3. ChatGPT 4.5 + Diretriz: Texto completo das Diretrizes de Osteoporose 2025 da Sociedade Turca de Endocrinologia e Metabolismo (TES) carregado.
4. NotebookLM + Diretriz: Texto completo das Diretrizes TES 2025 carregado.

Processo de Avaliação:

• Cegamento: Dois especialistas em geriatria avaliaram todas as 100 respostas (25 casos × 4 painéis) sem conhecimento do modelo gerador.
• Pontuação: As respostas foram classificadas em uma escala Likert de 5 pontos em cinco dimensões: Precisão Científica, Adesão à Diretriz, Clareza, Abordagem Geriátrica Holística e Consciência de Segurança/Contraindicação. As pontuações totais variaram de 5 a 25.
• Detecção de Alucinação: Definida como afirmações clínicas factualmente incorretas, fabricadas ou não suportadas pelas Diretrizes TES.
• Análise Estatística: A concordância entre avaliadores foi avaliada usando ICC(2,1) e o kappa de Cohen ponderado. As comparações entre painéis utilizaram o teste de Friedman com testes de postos assinados de Wilcoxon com correção de Bonferroni para comparações pareadas.

Resultos Principais

• Desempenho Geral: O modelo base ChatGPT 4.5 alcançou a maior pontuação média total (22,76/25), superando significativamente o Gemini 3 (21,80), o NotebookLM + Diretriz (21,56) e o ChatGPT 4.5 + Diretriz (21,42).
• Impacto da Integração de Diretrizes: Contrariamente às expectativas, o upload direto de documentos de diretrizes não melhorou o desempenho. Na verdade, o modelo base ChatGPT 4.5 pontuou significativamente mais alto em "Precisão Científica" e "Adesão à Diretriz" do que o mesmo modelo com as diretrizes carregadas.
• Achados Específicos por Domínio:
  • Foram encontradas diferenças significativas entre os painéis apenas em Precisão Científica ($p=0,0006$) e Adesão à Diretriz ($p<0,0001$).
  • Não foram observadas diferenças significativas em Clareza, Abordagem Geriátrica Holística ou Consciência de Segurança/Contraindicação.
  • A "Consciência de Segurança/Contraindicação" foi o critério com a menor pontuação em todos os modelos de base.
• Alucinações: Alucinações foram detectadas em apenas um caso (4%) dentro do modelo base Gemini 3; nenhuma alucinação foi encontrada nos outros três painéis.
• Confiabilidade Inter-avaliador: A concordância foi excelente para a Precisão Científica no modelo base ChatGPT 4.5 ($\kappa=0,834$), mas variou de pobre a baixa para critérios subjetivos como "Abordagem Geriátrica Holística" e "Consciência de Segurança" em todos os painéis.

Principais Contribuições

1. Protocolo de Avaliação Cega: O estudo aborda uma lacuna metodológica ao implementar uma avaliação de especialistas independente e cega, reduzindo o viés de marca frequentemente presente em comparações de IA.
2. Eficácia da Integração de Diretrizes: Fornece evidências empíricas de que o upload direto e não estruturado de documentos de diretrizes não aumenta o desempenho do LLM no manejo da osteoporose geriátrica e pode até degradar as pontuações de adesão às diretrizes em comparação com os modelos de base.
3. Limitações de Segurança: A pesquisa destaca que, embora os LLMs possam se destacar na geração de conhecimento, eles compartilham limitações significativas no raciocínio clínico sensível ao contexto, especificamente em relação à segurança, consciência de contraindicações e abordagens geriátricas holísticas.

Significância e Alegações
Os autores concluem que, embora os LLMs possam apoiar a tomada de decisão na osteoporose geriátrica, eles não podem substituir a supervisão especializada. O estudo demonstra que:

• Os modelos base atuais (especificamente o ChatGPT 4.5) podem superar versões aumentadas com uploads não estruturados de diretrizes.
• O reconhecimento de segurança e contraindicações continua sendo uma fraqueza crítica que exige supervisão humana.
• A falta de benefício do upload direto de diretrizes sugere que a apresentação não estruturada é inadequada para a integração; sistemas futuros provavelmente exigirão RAG (Geração Aumentada de Recuperação) estruturada, grafos de conhecimento ou módulos específicos de avaliação geriátrica para serem eficazes.
• A supervisão clínica é necessária para garantir a segurança, particularmente em populações idosas vulneráveis com multimorbidade e polifarmácia.

O artigo afirma explicitamente que esses achados são baseados em modelos referentes a fevereiro de 2026 e uma única diretriz nacional, e convoca estudos futuros para avaliar sistemas supervisionados por médicos em ambientes clínicos do mundo real.