MedFeat: Model-Aware and Explainability-Driven Feature Engineering with LLMs for Clinical Tabular Prediction

O artigo apresenta o MedFeat, um framework de engenharia de recursos orientado por LLMs e sensível ao modelo que utiliza feedback de importância de características (SHAP) para criar sinais preditivos clinicamente significativos e robustos, superando abordagens tradicionais em tarefas de previsão clínica tabular.

O essencial

Imagine que você é um médico tentando prever se um paciente vai se recuperar ou se piorar. Você tem uma pilha enorme de dados: idade, pressão arterial, histórico de medicamentos, tempo de internação, etc.

No mundo antigo da inteligência artificial, os cientistas tentavam usar modelos supercomplexos (como redes neurais profundas) para ler esses dados brutos. Mas, na medicina, esses modelos muitas vezes falham ou são "caixas pretas" que ninguém entende. O que funciona melhor são modelos clássicos e simples (como árvores de decisão), mas eles têm um problema: eles só veem o que você mostra a eles.

Se você não criar uma "pista" inteligente combinando dois dados (ex: "idade" + "nível de pobreza"), o modelo simples pode não perceber que essa combinação é perigosa. Criar essas pistas manualmente é demorado e difícil.

É aqui que entra o MedFeat, o "super-assistente" descrito neste artigo.

O Que é o MedFeat? (A Analogia do Detetive com um Mago)

Pense no MedFeat como um Detetive de Dados que tem um Mago (a Inteligência Artificial) como consultor.

1. O Detetive (O Modelo Clássico): É o modelo de previsão que vai tomar a decisão final. Ele é bom, mas tem limitações. Ele não consegue ver padrões complexos sozinho.
2. O Mago (o LLM - Grande Modelo de Linguagem): É uma IA treinada em milhões de livros médicos e artigos. Ele sabe de tudo sobre saúde, mas não sabe quais dados específicos você tem.
3. O Problema: Se você pedir ao Mago para criar pistas aleatórias, ele pode sugerir coisas sem sentido ou que o Detetive já consegue ver facilmente (desperdício de tempo).
4. A Solução MedFeat: O MedFeat conecta o Detetive e o Mago de uma forma inteligente.

Como Funciona o MedFeat? (Passo a Passo Simples)

O MedFeat funciona como um jogo de "Aquele ou Aquela" com feedback constante:

• Passo 1: O Olho Clínico (Explicabilidade):
  O MedFeat primeiro pergunta ao Detetive: "O que você já consegue ver bem? O que está te confundindo?". Ele usa uma ferramenta chamada SHAP (que é como uma lupa que mostra quais dados são mais importantes). Se o Detetive já sabe que "idade" é importante, o MedFeat sabe disso.

• Passo 2: A Ilha de Foco (Amostragem em Ilhas):
  Em vez de jogar todos os dados do paciente na mesa do Mago de uma vez (o que deixaria a conversa confusa e longa), o MedFeat cria "ilhas". Ele pega apenas 3 ou 4 dados importantes (ex: idade, pressão, frequência cardíaca) e diz ao Mago: "Olhe só para esses três. O que você consegue inventar de novo que ajude o Detetive?". Isso mantém a conversa focada e rápida.

• Passo 3: O Mago Sabe Quem é o Chefe (Consciência do Modelo):
  Aqui está a mágica. O MedFeat avisa ao Mago: "Ei, o Detetive é uma árvore de decisão. Ele já sabe lidar com limites simples. Não me dê uma regra simples. Me dê algo complexo, como uma oscilação de batimentos cardíacos ao longo do tempo, que ele não consegue ver sozinho."

  • Se o Detetive fosse uma linha reta (Regressão Linear), o Mago criaria curvas.
  • Se o Detetive já é uma árvore (XGBoost), o Mago cria padrões temporais complexos.
    Eles trabalham juntos, não contra a natureza do modelo.

• Passo 4: O Teste de Fogo e a Memória:
  O Mago cria uma nova "pista" (uma nova variável matemática). O MedFeat testa essa pista no Detetive.

  • Se a previsão melhorar: Aceita! A pista entra no caso.
  • Se piorar: Rejeita! O MedFeat anota no caderno: "Não tente isso de novo".
    Isso cria uma memória de sucessos e fracassos para as próximas rodadas.

Por Que Isso é Revolucionário?

1. Privacidade Total: O Mago nunca vê os dados reais do paciente (nome, prontuário). Ele só vê os nomes das colunas e a importância delas. É como pedir a um chef de cozinha uma receita baseada apenas na lista de ingredientes, sem ver a comida estragada na geladeira.
2. Robustez no Tempo: O artigo mostra que as pistas criadas pelo MedFeat funcionam mesmo se os dados mudarem com o tempo (ex: dados de 2020 vs. 2024). É como se o Mago tivesse ensinado o Detetive a entender a lógica da doença, e não apenas a memorizar números específicos de um ano.
3. Funciona em Diferentes Hospitais: As pistas criadas em um hospital de terapia intensiva (ICU) funcionaram bem em hospitais gerais. O MedFeat descobriu padrões universais que humanos teriam demorado anos para achar.

Resumo em Uma Frase

O MedFeat é um sistema que usa uma Inteligência Artificial médica para criar "atalhos de raciocínio" personalizados para modelos de previsão simples, garantindo que eles vejam o que é clinicamente importante e complexo, sem precisar de dados brutos sensíveis e sem perder tempo com ideias ruins.

É como ter um consultor médico sábio que sabe exatamente como sua equipe de trabalho pensa e cria as ferramentas exatas que faltam para eles serem perfeitos.

Resumo técnico

Resumo Técnico: MedFeat

1. O Problema

Na previsão clínica baseada em dados tabulares (como registros eletrônicos de saúde - EHR), modelos clássicos de aprendizado de máquina (como árvores de decisão e regressão logística) frequentemente superam abordagens de deep learning, especialmente devido à necessidade de interpretabilidade e à natureza heterogênea dos dados (valores ausentes, desbalanceamento de classes, padrões temporais complexos).

No entanto, a engenharia de características (feature engineering) manual é cara, demorada e depende fortemente de especialistas. Métodos automáticos existentes (como AutoFeat e OpenFE) geralmente:

• Baseiam-se em operadores pré-definidos (combinações aritméticas, transformações não lineares) que carecem de justificativa clínica.
• Ignoram as características do modelo de aprendizado a jusante (downstream model), gerando características que o modelo já consegue aprender implicitamente ou que não se adequam à sua capacidade representacional.
• Utilizam grandes quantidades de dados brutos ou prompts longos com LLMs, o que pode violar privacidade e reduzir a qualidade da geração devido à diluição do sinal.

2. Metodologia: MedFeat

O MedFeat é um framework iterativo de engenharia de características que combina Grandes Modelos de Linguagem (LLMs) com explicabilidade do modelo e consciência do modelo. O objetivo é gerar características clinicamente significativas que preencham lacunas na capacidade de aprendizado do modelo específico utilizado.

O processo funciona em um loop iterativo com os seguintes componentes principais:

• Sinal de Explicabilidade (SHAP): Em vez de depender apenas de métricas de validação (que podem ser instáveis em dados desbalanceados), o MedFeat utiliza valores SHAP (Shapley Additive exPlanations) do modelo atual para determinar a importância das características. Isso fornece um sinal de feedback mais estável e interpretável.
• Amostragem em "Ilhas" (Island Sampling): Para evitar prompts excessivamente longos e focar a geração, o framework agrupa características em "ilhas" (subconjuntos pequenos) baseadas na sua importância SHAP e tipo (estático vs. temporal). O LLM recebe apenas o contexto de uma ilha por vez.
• Geração Consciente do Modelo (Model-Aware): O prompt enviado ao LLM é condicionado ao tipo de modelo de aprendizado a jusante (ex: Regressão Logística vs. XGBoost):
  • Para Regressão Logística: O LLM é instruído a criar interações não lineares e termos compostos, pois o modelo linear não consegue capturá-los sozinho.
  • Para XGBoost: O LLM é instruído a evitar interações simples (que a árvore já aprende) e focar em padrões temporais complexos, estatísticas globais e instabilidades de sinais vitais que são difíceis de aprender diretamente.
• Memória de Feedback: O sistema mantém um registro de características aceitas e rejeitadas. Isso evita a repetição de propostas de baixo valor e guia as iterações futuras.
• Privacidade: Nenhuma linha de dados de paciente bruta é enviada ao LLM. Apenas metadados, nomes de características, descrições e escores de importância agregados são utilizados.

3. Principais Contribuições

1. Primeiro Framework LLM Consciente do Modelo: O MedFeat é o primeiro a adaptar as propostas de características às limitações representacionais do modelo de aprendizado a jusante, evitando desperdício de orçamento de avaliação em características redundantes.
2. Feedback Guiado por Explicabilidade: Utiliza pontuações e classificações SHAP como sinais primários para priorizar a amostragem e condicionar o prompt do LLM, melhorando a estabilidade em cenários ruidosos e desbalanceados.
3. Estratégia de Ilhas e Memória: Introduz uma estratégia de amostragem em "ilhas" para limitar o uso de tokens e focar em preditores informativos, além de usar uma memória de sucesso/fracasso para refinar a busca iterativamente.
4. Validação em Cenários Reais: Demonstra robustez sob distribution shift (mudança de distribuição), transferindo características aprendidas em coortes de UTI para populações hospitalares gerais e mantendo desempenho ao longo do tempo (drift temporal).

4. Resultados Experimentais

O MedFeat foi avaliado em três conjuntos de dados clínicos distintos (IORD, MIMIC-IV, HRS) em cinco tarefas de previsão (ex: mortalidade em 24h, mortalidade em 10 anos, insuficiência cardíaca).

• Desempenho Superior: O MedFeat superou consistentemente baselines clássicos (AutoFeat, OpenFE) e métodos baseados em LLMs (CAAFE, FeatLLM, OCTree).
  • No modelo XGBoost (sem ajuste de hiperparâmetros), houve melhoria de 7,87% no AUC para mortalidade de pacientes internados em 24h (IORD).
  • No modelo Regressão Logística, as melhorias foram ainda mais persistentes, pois as características geradas expandem diretamente a capacidade de representação do modelo linear.
• Robustez sob Otimização de Hiperparâmetros (HPO): Mesmo quando os modelos foram submetidos a uma otimização extensiva de hiperparâmetros, o MedFeat manteve ganhos significativos, especialmente nas métricas F1 para tarefas altamente desbalanceadas. Isso confirma que as características geradas não são apenas "ajustes de validação", mas capturam sinais estruturais reais.
• Generalização e Estabilidade:
  • Características geradas em dados de UTI (MIMIC) transferiram-se com sucesso para dados de pacientes internados gerais (IORD), melhorando a estabilidade do modelo.
  • Em testes de drift temporal (dados de 2020-2024), o modelo com características do MedFeat manteve desempenho estável, enquanto modelos re-treinados anualmente sem novas características sofreram quedas bruscas de desempenho.
• Ablação: A remoção de qualquer componente (consciência do modelo, amostragem em ilhas ou guia de importância) resultou em queda de desempenho, confirmando que a sinergia entre explicabilidade e consciência do modelo é crucial.

5. Significância e Impacto

O MedFeat oferece um caminho prático para a engenharia de características escalável, interpretável e pronta para implantação na saúde.

• Interpretabilidade Clínica: Ao forçar o LLM a justificar as características com raciocínio clínico e baseá-las em sinais de importância do modelo, as características geradas são mais prováveis de ter validade clínica.
• Privacidade: A abordagem evita o envio de dados sensíveis de pacientes para APIs de LLMs, atendendo a requisitos rigorosos de conformidade (como GDPR/HIPAA).
• Eficiência Operacional: Reduz a necessidade de re-treinamento frequente de modelos em cenários de drift de dados, pois as características geradas capturam regularidades clínicas de alto nível que são mais invariantes do que medições brutas.

Em suma, o MedFeat demonstra que a combinação de raciocínio de LLMs com feedback estruturado de modelos clássicos pode superar as limitações tanto da engenharia manual quanto da automação cega, criando um novo padrão para previsão clínica em dados tabulares.