CARTGen-IR: Synthetic Tabular Data Generation for Imbalanced Regression

O artigo propõe o CARTGen-IR, um método sintético baseado em árvores de decisão para gerar dados tabulares que abordam a regressão desbalanceada sem o uso de thresholds arbitrários, oferecendo uma solução escalável, interpretável e eficiente para regiões de alvo esparsas.

O essencial

Imagine que você é um chef de cozinha tentando prever o que os clientes vão pedir no jantar. A maioria dos pedidos é "normal": pizza, hambúrguer, salada. Mas, de vez em quando, alguém pede algo muito específico e raro, como um "sushi de polvo com sabor de chocolate".

O problema é que, se você treinar seu garçom (o modelo de inteligência artificial) apenas com os pedidos comuns, ele vai ficar ótimo em pedir pizza, mas vai falhar miseravelmente quando alguém pedir aquele sushi estranho. Ele nem vai acreditar que é possível.

No mundo dos dados, isso se chama Regressão Desbalanceada. A "regressão" é quando tentamos prever um número (como a temperatura do mar ou o preço de uma casa), e o "desbalanceado" significa que os números importantes e raros aparecem muito pouco nos dados de treino.

Aqui está a explicação do papel CARTGen-IR, usando analogias simples:

1. O Problema: O "Ponto de Corte" Arbitrário

Muitos métodos antigos tentavam resolver isso criando uma "linha imaginária". Eles diziam: "Tudo acima de 5 graus é raro e importante; tudo abaixo é comum."

A analogia: É como se o chef dissesse: "Se o cliente pedir mais de 500g de carne, é um pedido VIP. Se pedir 499g, é um pedido normal."
Isso não faz sentido! 500g e 499g são quase iguais. Essa linha artificial cria confusão e faz o modelo perder a noção de que a importância muda gradualmente, não de repente. Além disso, muitos métodos tentam "copiar e colar" os dados raros ou misturá-los de forma simples, o que pode criar dados falsos e sem sentido (como um hambúrguer com sabor de chocolate que não existe na realidade).

2. A Solução: O "Chef Cartógrafo" (CARTGen-IR)

Os autores criaram um novo método chamado CARTGen-IR. Em vez de desenhar linhas arbitrárias, eles usam uma árvore de decisão (CART) para entender a "floresta" dos dados.

Pense no método como um chef muito observador que desenha um mapa detalhado da cozinha:

• Sem Linhas Rígidas: O método não usa uma linha de corte. Ele entende que a raridade é um espectro. Ele olha para onde os pedidos raros estão concentrados no mapa.
• A Árvore Mágica: Imagine que o método constrói uma árvore de perguntas.
  • Pergunta 1: O cliente pediu carne?
  • Pergunta 2: Se sim, é uma carne muito cara?
  • Pergunta 3: Se sim, é um dia de festa?
  • Se a resposta for "Sim" para tudo, o modelo sabe que estamos numa "área rara" (o pedido VIP).
• Criando Novos Pedidos (Geração Sintética): Em vez de apenas copiar o pedido VIP existente, o método usa a árvore para inventar novos pedidos que sejam realistas.
  • Ele olha para os dados que já existem naquela "área rara" da árvore e cria variações novas e plausíveis.
  • Se na área rara todos os pedidos de sushi tinham um pouco de wasabi, o modelo cria um novo pedido de sushi com wasabi, mas talvez com um pouco mais de arroz. Ele mantém a "vibe" do pedido raro, mas cria novas combinações que o modelo nunca viu antes.

3. Por que isso é melhor?

• Transparência (O "Vidro" da Caixa): Muitos métodos modernos usam "caixas pretas" (redes neurais profundas) que são super lentas e ninguém sabe como elas pensam. O CARTGen-IR é como uma caixa de vidro. Você pode olhar para a árvore de decisão e ver exatamente: "Ah, foi porque o cliente pediu carne e era dia de festa que o modelo criou esse novo dado". É fácil de explicar.
• Velocidade: Métodos baseados em "caixas pretas" (como GANs) são como tentar cozinhar um banquete inteiro usando um fogão de indução superpotente que gasta muita energia e demora horas. O CARTGen-IR é como usar uma panela de pressão eficiente: rápido, direto e faz o trabalho bem feito.
• Lida com Misturas: Ele entende tanto números (temperatura, preço) quanto categorias (tipo de carne, dia da semana) e até dados faltantes (quando o cliente esqueceu de anotar algo), sem precisar de truques complicados.

4. O Resultado

Os autores testaram essa ideia em vários cenários (prever preços de casas, temperatura do mar, consumo de combustível). O resultado foi que o CARTGen-IR conseguiu ensinar o modelo a prestar atenção nos casos raros (os pedidos VIP) tão bem quanto os métodos mais complexos e caros, mas:

1. Foi muito mais rápido.
2. Foi mais fácil de entender.
3. Não criou dados falsos ou estranhos.

Resumo Final

O CARTGen-IR é como um assistente inteligente que olha para os dados, identifica onde estão os "casos raros e importantes" sem usar regras rígidas, e cria novos exemplos realistas para ajudar o computador a aprender a lidar com eles. É uma solução rápida, transparente e eficiente para ensinar máquinas a não ignorar o que é incomum.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "CARTGen-IR: Synthetic Tabular Data Generation for Imbalanced Regression", apresentado em português:

1. O Problema: Regressão Desbalanceada

O artigo aborda o desafio persistente da regressão desbalanceada, onde valores-alvo relevantes (frequentemente extremos ou raros) estão sub-representados nos dados de treino. Isso leva os modelos de aprendizado de máquina a serem enviesados para prever valores médios, falhando em capturar casos críticos (ex.: previsão de eventos climáticos extremos, fraudes financeiras, respostas a medicamentos).

As soluções existentes apresentam limitações significativas:

• Métodos baseados em limiares (thresholds): Muitas técnicas adaptadas da classificação discretizam a variável contínua de forma arbitrária (ex.: "valores acima de 5 são raros"). Isso cria divisões artificiais no domínio contínuo, ignorando a magnitude dos valores e reduzindo a interpretabilidade.
• Modelos Generativos Profundos (GANs, VAEs, Diffusion): Embora flexíveis, são computacionalmente intensivos, difíceis de interpretar (caixas-pretas) e muitas vezes não focam especificamente na regressão desbalanceada.
• Limitações de Interpolação: Métodos como SMOTER podem gerar pontos sintéticos irrealistas ao interpolar entre vizinhos sem considerar a estrutura complexa dos dados.

2. Metodologia: CARTGen-IR

Os autores propõem o CARTGen-IR, um método de amostragem sintética baseado em Árvores de Classificação e Regressão (CART), projetado especificamente para dados tabulares em cenários de regressão desbalanceada.

Principais Componentes do Algoritmo:

1. Ponderação de Raridade (Sem Limiares):

   • O método evita limiares definidos pelo usuário. Em vez disso, atribui pesos às instâncias com base na sua raridade ou relevância.
   • Utiliza duas abordagens para estimar a raridade:
     • DenseWeight: Estima a densidade dos valores-alvo usando Kernel Density Estimation (KDE), dando mais peso a regiões de baixa densidade.
     • Função de Relevância: Usa uma função de relevância baseada em estatísticas de boxplot ajustado, assumindo que valores extremos são mais importantes.
   • Os pesos são ajustados por um expoente de raridade ($\alpha$) e normalizados.

2. Reamostragem (Resampling):

   • O conjunto de dados original é reamostrado com reposição, favorecendo a seleção de instâncias raras/relevantes.
   • Um mecanismo de ruído opcional ($\delta$) pode ser aplicado a características numéricas para evitar overfitting em casos duplicados.

3. Geração Sintética Baseada em CART:

   • Em vez de interpolação simples, o método utiliza a estrutura da árvore de decisão para gerar novos dados.
   • Processo Sequencial: Para cada atributo da tabela, um modelo CART é treinado usando os atributos anteriores como preditores.
   • Geração de Amostra: Para criar uma nova instância sintética, o algoritmo percorre as árvores sequencialmente. Para a primeira variável, um valor é escolhido aleatoriamente da distribuição global. Para as subsequentes, o valor é escolhido com base no nó folha correspondente aos valores já gerados das variáveis anteriores.
   • Suavização (Kernel Density): Para variáveis contínuas, em vez de amostrar apenas os valores discretos presentes no nó folha, ajusta-se um estimador de densidade de kernel gaussiano aos valores desse nó e amostra-se dessa distribuição suave. Isso melhora a generalização e a capacidade de gerar valores em caudas esparsas.

3. Contribuições Chave

• Eliminação de Limiares Arbitrários: Ao contrário de métodos como SMOTER ou SMOGN, o CARTGen-IR não requer a discretização da variável alvo contínua, preservando a natureza contínua do problema.
• Interpretabilidade e Transparência: Por utilizar árvores de decisão, o processo de geração de dados é auditável e "white-box", permitindo entender como as interações entre características influenciam a geração de novos pontos.
• Versatilidade: O método lida nativamente com características numéricas, categóricas e valores ausentes (missing values), sem necessidade de imputação explícita prévia.
• Eficiência Computacional: É significativamente mais rápido que modelos generativos profundos (GANs, VAEs, Diffusion), oferecendo uma alternativa escalável.

4. Resultados Experimentais

O estudo foi conduzido em 15 conjuntos de dados de regressão de referência, comparando o CARTGen-IR com 14 outras estratégias (incluindo SMOTER, SMOGN, WSMOTER, G-SMOTER, e modelos de Deep Learning como CTGAN e TabDDPM).

• Desempenho Preditivo:

  • O CARTGen-IR demonstrou ser competitivo com os métodos mais avançados (SOTA), especialmente nas métricas específicas para regressão desbalanceada: SERA (Squared Error–Relevance Area) e RW-RMSE (Relevance Weighted RMSE).
  • Em testes estatísticos (Bayesian signed-rank test), o CARTGen-IR superou consistentemente o WSMOTER (o segundo melhor) em diversos cenários, com probabilidades de superioridade acima de 90% para Random Forests e XGBoost.
  • O método mostrou um equilíbrio superior entre a melhoria na previsão de valores raros e a manutenção do desempenho em valores comuns.

• Eficiência e Tempo de Execução:

  • O CARTGen-IR foi um dos métodos mais rápidos entre as técnicas que geram dados sintéticos.
  • Métodos baseados em Deep Learning foram, em média, 131 vezes mais lentos que o CARTGen-IR.
  • Apenas métodos de reamostragem simples (sem geração de novos dados) e o KNNOR-REG foram mais rápidos, mas o CARTGen-IR ofereceu uma consistência maior (menor desvio padrão no tempo de execução).

• Análise de Sensibilidade:

  • A ponderação baseada em "Relevância" tendeu a performar melhor que a baseada em "Densidade".
  • A adição de ruído (jitter) foi benéfica para a generalização.

5. Significado e Conclusão

O artigo conclui que o CARTGen-IR é uma estratégia viável e eficaz para o nível de dados em regressão desbalanceada. Sua principal vantagem reside na capacidade de capturar dependências não lineares complexas e interações entre características heterogêneas sem sacrificar a interpretabilidade ou exigir limiares artificiais.

O trabalho sugere que a abordagem baseada em árvores de decisão para geração de dados sintéticos é uma alternativa robusta aos modelos generativos profundos, oferecendo um equilíbrio ideal entre desempenho preditivo, transparência e eficiência computacional. Futuras pesquisas podem explorar a expansão para intervalos raros não extremos e a integração com aprendizado sensível a custos.