Who Benefits From Sinus Surgery? Comparing Generative AI and Supervised Machine Learning for Predicting Surgical Outcomes in Chronic Rhinosinusitis

Resumo Técnico: Comparação entre IA Generativa e Aprendizado de Máquina Supervisionado para a Predição de Desfechos Cirúrgicos na Rinossinusite Crônica

Definição do Problema
A Rinossinusite Crônica (RSC) é uma condição heterogênea onde os desfechos dos pacientes após a cirurgia endoscópica de seios da face (SESF) variam significativamente. Embora as diretrizes clínicas apoiem a cirurgia para pacientes elegíveis, prever quais indivíduos alcançarão uma melhoria significativa na qualidade de vida permanece um desafio. O estudo aborda a necessidade de suporte à decisão pré-operatória para identificar pacientes com baixa probabilidade de atingir a Diferença Clinicamente Importante Mínima (DCIM) no teste SNOT-22 (Sino-Nasal Outcome Test-22), definida como uma redução de ≥8,9 pontos aos seis meses. A questão central da pesquisa é se modelos que utilizam apenas dados clínicos pré-operatórios podem, retrospectivamente, identificar pacientes que teriam desfechos insatisfatórios (ou seja, aqueles que deveriam ter evitado a cirurgia) e como sistemas de IA Generativa (GenAI) se comparam ao Aprendizado de Máquina (ML) supervisionado tradicional nesta tarefa preditiva específica.

Metodologia
O estudo utilizou uma coorte prospectiva, multicêntrica, de 524 pacientes que foram submetidos à SESF, derivada de um estudo financiado pelo NIH (NCT01332136). O conjunto de dados incluiu 50 atributos pré-operatórios, como demografia, comorbidades, fenótipo (CRSwNP vs. CRSsNP), carga da doença objetiva (escores de Lund–Mackay na TC, gravidade endoscópica) e escores basais de SNOT-22.

• Processamento de Dados: Variáveis pós-operatórias foram estritamente excluídas para evitar o vazamento de dados (data leakage). As características foram harmonizadas, codificadas deterministicamente e valores ausentes foram tratados por remoção. O conjunto de dados foi dividido em um conjunto de treino-teste estratificado de 80/20.
• Linhas de Base de ML Supervisionado: Os autores avaliaram cinco classificadores: Regressão Logística, Máquinas de Vetores de Suporte (SVM), Naïve Bayes, Random Forest e um MLP (Perceptron Multicamadas) customizado. O MLP (uma camada oculta, 400 neurônios) foi selecionado como a principal linha de base devido ao seu equilíbrio superior entre acurácia e recall da classe minoritária.
• Benchmarking de IA Generativa: Cinco modelos de linguagem de grande escala (LLMs) de última geração (ChatGPT/GPT-5 Thinking, MedGPT, Gemini 2.5 Pro, Perplexity Sonar, Claude Sonnet 4.5 e DeepSeek-V3.2) foram testados em um cenário zero-shot.
  • Protocolo: Dados pré-operatórios estruturados foram serializados em prompts. Os modelos foram restringidos a fornecer uma recomendação binária (0: cirurgia não recomendada; 1: cirurgia recomendada) e um nível de confiança.
  • Estabilidade: Cada caso foi executado cinco vezes com parâmetros de decodificação fixos, e as previsões foram agregadas via voto majoritário.
  • Análise RAG: Um experimento de Geração Aumentada de Recuperação (RAG) foi conduzido com o ChatGPT utilizando um corpus de diretrizes de RSC para testar se o conhecimento externo melhoraria o desempenho.
• Métricas de Avaliação: O desempenho foi avaliado usando AUROC, pontuação F1, Precisão Média (AP), calibração (escore de Brier, curvas de confiabilidade) e curva de benefício líquido de decisão. Atenção especial foi dada à detecção da classe minoritária (não respondedores, Classe 0).

Principais Resultados

• Desempenho do ML Supervisionado: O MLP alcançou o maior desempenho geral com uma acurácia de 85%, um AUROC de 0,66 e um escore F1 de 0,83. Crucialmente, demonstrou a melhor capacidade de identificar não respondedores (recall da Classe 0 de 0,45), mantendo alta precisão para respondedores.
• Desempenho da GenAI: Todos os modelos de GenAI apresentaram desempenho inferior ao MLP calibrado em termos de discriminação e calibração.
  • Discriminação: Os escores de AUROC para os modelos de GenAI variaram de 0,36 (Perplexity) a 0,63 (Claude), todos inferiores ao AUROC de 0,66 do MLP.
  • Viés: A maioria dos modelos de GenAI exibiu um forte viés de "tratar todos" (treat-all bias), falhando em identificar não respondedores. Por exemplo, o MedGPT alcançou 0% de recall para a classe de não respondedores (0/20), assim como o Perplexity.
  • Impacto do RAG: A Geração Aumentada de Recuperação não melhorou a discriminação do ChatGPT (o AUROC permaneceu em ~0,57) nem a detecção da classe minoritária, sugerindo que o texto das diretrizes reitera heurísticas já internalizadas pelos modelos sem adicionar sinal específico do paciente.
• Interpretabilidade e Alinhamento: Apesar da menor acurácia preditiva, os processos de raciocínio dos modelos de GenAI alinharam-se estreitamente com as heurísticas clínicas e a importância das características (feature importance) do MLP. Tanto os LLMs quanto o MLP identificaram o SNOT-22 basal, a gravidade da TC/endoscopia, o fenótipo de pólipo e comorbidades psicossociais (ex: depressão, fibromialgia) como preditores críticos.

Principais Contribuições

1. Primeiro Benchmark Abrangente de GenAI: Este trabalho fornece a primeira avaliação rigorosa e direta (head-to-head) de múltiplos sistemas de GenAI contra modelos de ML tabulares ajustados para a predição de desfechos cirúrgicos em RSC usando dados tabulares estruturados.
2. Protocolo de Avaliação Padronizado: Os autores estabeleceram um framework reprodutível para avaliação "tabular-para-GenAI", incluindo prompts zero-shot padronizados, saídas binárias restritas e testes de estabilidade via múltiplas execuções de amostragem.
3. Insights sobre o Raciocínio da GenAI: O estudo revela que, embora os modelos de GenAI careçam da calibração e discriminação do ML supervisionado para esta tarefa específica, sua lógica de decisão emergente espelha o raciocínio clínico especializado e a importância das características dos modelos de alto desempenho.
4. Fluxo de Trabalho Proposto: O artigo propõe um fluxo de trabalho "ML primeiro, GenAI aumentado". Neste modelo, um classificador de ML tabular calibrado realiza a triagem primária e a estimativa de risco, enquanto a GenAI serve como uma camada secundária para explicar as decisões em linguagem clara, aumentando a transparência e a tomada de decisão compartilhada.

Significância e Alegações
O artigo alega que, para tarefas de predição baseadas em dados tabulares clínicos pré-operatórios estruturados, o ML supervisionado calibrado continua sendo superior aos sistemas atuais de GenAI em termos de discriminação, calibração e capacidade de identificar não respondedores de alto risco. Os autores argumentam que a GenAI não deve substituir o ML para o suporte à decisão primária neste contexto devido à sua instabilidade e tendência à super-recomendação. No entanto, o estudo destaca o valor único da GenAI como um "explicador" capaz de traduzir predições de modelos complexos em racionalidades clinicamente familiares, apoiando assim a transparência e o engajamento do paciente. Os achados sugerem que o caminho ideal é uma abordagem híbrida que aproveite a confiabilidade do ML para predição e as forças comunicativas da GenAI para explicação, em vez de depender da GenAI como um preditor autônomo.