Integrating Machine Learning Ensembles and Large Language Models for Heart Disease Prediction Using Voting Fusion

Este estudo demonstra que a integração de um ensemble de modelos de aprendizado de máquina com raciocínio de modelos de linguagem (LLMs) via fusão por votação supera o desempenho individual de ambas as abordagens, alcançando 96,62% de precisão na previsão de doenças cardíacas e validando a eficácia de sistemas híbridos para suporte à decisão clínica.

O essencial

Imagine que prever se uma pessoa vai ter um problema no coração é como tentar adivinhar o tempo amanhã. Você pode olhar para os dados frios e duros (como pressão arterial e colesterol) ou pode tentar "ler" a situação como um especialista experiente.

Este artigo de pesquisa conta a história de como os cientistas decidiram juntar duas abordagens muito diferentes para fazer essa previsão com mais precisão: os "Estatísticos Robustos" (Máquinas de Aprendizado) e os "Gênios de Texto" (Modelos de Linguagem).

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: Prever o Imprevisto

O coração é o motor do corpo. Quando ele falha, é grave. Os médicos precisam de ajuda para detectar problemas cedo. Antigamente, eles olhavam apenas para números: idade, pressão, colesterol. Hoje, temos computadores inteligentes que podem analisar esses dados.

2. Os "Estatísticos Robustos" (Machine Learning)

Os pesquisadores primeiro testaram modelos de inteligência artificial tradicionais (como Random Forest e XGBoost).

• A Analogia: Imagine uma equipe de 5 especialistas em matemática e estatística. Eles olham para uma planilha de Excel cheia de números e dizem: "Baseado nos padrões que vimos em 1.190 pacientes, a chance de doença é de 92%".
• O Resultado: Eles são incrivelmente bons. Quando esses 5 especialistas votam juntos (uma técnica chamada Voting), eles acertam 95,78% das vezes. Eles são como um time de futebol muito disciplinado que nunca erra uma jogada de bola.

3. Os "Gênios de Texto" (Large Language Models - LLMs)

Depois, os pesquisadores testaram os modelos de linguagem modernos (como o Gemini, GPT, etc.), que são os mesmos usados para escrever poemas ou responder perguntas no chat.

• A Analogia: Imagine que você pega esses mesmos dados médicos e os transforma em uma história ou um texto para um escritor muito inteligente. O escritor lê o texto e tenta adivinhar se a pessoa está doente.
• O Resultado: Sozinhos, esses "escritores" não são tão bons com números puros. Eles acertaram cerca de 78% das vezes. É como pedir para um poeta prever o preço das ações da bolsa: ele é inteligente, mas não foi treinado para lidar com planilhas frias. Eles tendem a se confundir com os números.

4. A Grande Ideia: A Fusão (O Casamento Perfeito)

Aqui está a parte genial do estudo. Os pesquisadores perceberam que não precisavam escolher entre o matemático e o escritor. Eles podiam juntá-los.

• A Analogia: Pense em um tribunal.

  • Você tem o Juiz Estatístico (o modelo de máquina) que dá o veredito baseado em dados frios.
  • Você tem o Advogado Especialista (o modelo de linguagem) que olha para o contexto e tenta entender as nuances.
  • Quando o Juiz está em dúvida (uma situação difícil), ele pergunta ao Advogado: "Ei, o que você acha disso?".
  • Juntos, eles tomam uma decisão final.

• O Resultado Final: Ao combinar a precisão matemática dos modelos tradicionais com o "raciocínio" dos modelos de linguagem, o sistema atingiu 96,62% de precisão.

5. O Que Isso Significa para o Futuro?

O estudo nos ensina três lições importantes:

1. Números são reis: Para dados médicos estruturados (planilhas), os modelos tradicionais ainda são os campeões.
2. IA de texto precisa de treino: Modelos como o ChatGPT não são mágicos para dados numéricos; eles precisam ser guiados.
3. A união faz a força: O futuro não é substituir os médicos ou os modelos antigos por uma nova IA. É usar a nova IA (LLMs) como um assistente que ajuda os modelos antigos a serem ainda melhores, especialmente em casos difíceis ou ambíguos.

Resumo da Ópera:
Os cientistas criaram um "super time" onde a precisão fria dos computadores encontra a inteligência contextual das IAs modernas. O resultado é uma ferramenta mais confiável para ajudar os médicos a salvar vidas, reduzindo o risco de erros e dando mais segurança nas decisões clínicas. É como ter um GPS que não só sabe o caminho (os dados), mas também entende o trânsito e as condições da estrada (o contexto) para te levar ao destino com segurança.

Resumo técnico

Título: Integração de Ensembles de Aprendizado de Máquina e Modelos de Linguagem de Grande Escala (LLMs) para Previsão de Doenças Cardíacas usando Fusão por Votação

1. Problema e Motivação

A doença cardiovascular (DCV) é a principal causa de morte global, exigindo identificação precoce e classificação de risco precisa. Embora os algoritmos tradicionais de Aprendizado de Máquina (ML), especialmente os ensembles (como Random Forest e XGBoost), sejam excelentes para modelar dados tabulares complexos e não lineares, eles enfrentam desafios de calibração e generalização em dados clínicos desbalanceados.
Por outro lado, os Modelos de Linguagem de Grande Escala (LLMs) oferecem capacidades de raciocínio zero-shot e few-shot, mas sua performance em dados numéricos tabulares brutos e desbalanceados tem sido inconsistente e dependente de prompts. O artigo identifica uma lacuna na literatura: não existe um framework que integre a precisão estatística dos ensembles de ML com o raciocínio interpretável dos LLMs para previsão de doenças cardíacas estruturadas.

2. Metodologia

O estudo propôs um pipeline híbrido que combina ensembles de ML tradicionais com a capacidade de raciocínio de LLMs.

• Conjunto de Dados:

  • Utilizou-se um conjunto de dados público de 1.190 registros de pacientes, criado pela fusão de cinco repositórios independentes (Cleveland, Hungarian, Switzerland, Long Beach VA e Statlog).
  • Foram selecionados 11 atributos de entrada (idade, sexo, tipo de dor torácica, pressão arterial, colesterol, etc.) e uma variável de saída (presença de doença cardíaca).
  • Pré-processamento: Codificação de variáveis categóricas, normalização MinMax, imputação de valores ausentes e aplicação da técnica SMOTE (Synthetic Minority Over-sampling Technique) para lidar com o desbalanceamento de classes. O conjunto foi dividido em 60% treino, 20% validação e 20% teste.

• Modelos de Aprendizado de Máquina (ML):

  • Foram testados 9 modelos individuais: CatBoost, Random Forest, XGBoost, LightGBM, Gradient Boosting, SVM, Regressão Logística, MLP e Naive Bayes.
  • Os 5 melhores modelos (baseados em árvores/gradiente) foram combinados em um Classificador de Votação (Voting Classifier) usando estratégias de Soft Voting (ponderado pela precisão/AUC) e Hard Voting.

• Modelos de Linguagem de Grande Escala (LLMs):

  • Dez LLMs de código aberto e comerciais foram avaliados via API (OpenRouter) em cenários zero-shot (sem exemplos) e few-shot (com alguns exemplos rotulados).
  • Os 5 melhores LLMs foram agregados via votação para criar um ensemble de LLMs.

• Framework de Fusão Híbrida (ML-LLM):

  • O sistema final integra as previsões probabilísticas do ensemble de ML com o raciocínio do LLM (especificamente o Gemini 2.5 Flash atuando como uma camada de meta-raciocínio).
  • O objetivo é usar o LLM para resolver ambiguidades onde os classificadores estatísticos têm incerteza, gerando uma pontuação de risco final e orientações de decisão.

3. Resultados Principais

• Desempenho dos Modelos Individuais:

  • ML: Os modelos baseados em árvores superaram os classificadores simples. O CatBoost obteve a melhor precisão individual (92,44%).
  • LLMs: O desempenho variou significativamente. No cenário zero-shot, o melhor desempenho foi de ~79% (Qwen3-Coder), enquanto no few-shot a performance caiu ou oscilou, indicando que LLMs puros não são ideais para dados tabulares brutos sem ajuste fino.

• Desempenho dos Ensembles:

  • Ensemble de ML (Votação Suave): Alcançou 95,78% de precisão e 0,96 de AUC-ROC.
  • Ensemble de LLM: O zero-shot voting atingiu 78,9% de precisão, superando o few-shot (72,6%), sugerindo que para esta tarefa, o conhecimento prévio do modelo (zero-shot) foi mais robusto do que exemplos limitados.

• Fusão Híbrida (ML + LLM):

  • A abordagem proposta de fusão alcançou o melhor resultado global: 96,62% de precisão e 0,97 de AUC-ROC.
  • A análise de erro mostrou que a fusão reduziu as taxas de classificação errada em casos limítrofes e raros, onde o ML sozinho ou o LLM sozinho falhavam.

4. Contribuições Chave

1. Novo Framework de Fusão: Propõe o primeiro pipeline que funde ensembles de ML estruturados com raciocínio de LLMs para diagnóstico de doenças cardíacas.
2. Validação de Papéis Complementares: Demonstra empiricamente que, embora os LLMs sozinhos não superem os ensembles de ML em dados tabulares, eles atuam como módulos de suporte decisório valiosos, melhorando a confiabilidade em situações de incerteza.
3. Comparação Abrangente: Oferece uma análise detalhada comparando modelos clássicos, ensembles modernos e uma vasta gama de LLMs (incluindo Qwen, LLaMA, Grok, Gemini) em cenários zero-shot e few-shot.

5. Significado e Conclusão

O estudo conclui que os ensembles de ML baseados em árvores continuam sendo o padrão-ouro para tarefas de classificação tabular médica devido à sua robustez e generalização. No entanto, a integração com LLMs oferece um ganho incremental significativo (cerca de 0,8% a 1% em precisão) e, mais importante, aumenta a transparência e a capacidade de raciocínio do sistema.

A fusão híbrida não substitui os modelos estatísticos, mas os complementa, criando ferramentas de suporte à decisão clínica mais confiáveis e interpretáveis. As limitações do estudo incluem o tamanho relativamente pequeno do conjunto de dados (1.190 registros) e a falta de validação externa em coortes clínicas reais, sugerindo que trabalhos futuros devem focar na escalabilidade e na validação em ambientes hospitalares reais.