Resumo Técnico: Regressão Híbrida Desbalanceada através de Equilíbrio Unificado de Nível de Dados e de Algoritmo

Declaração do Problema

O aprendizado desbalanceado é um desafio crítico em aprendizado de máquina, onde valores alvo sub-representados levam a modelos enviesados que apresentam desempenho insatisfatório em fenômenos raros, mas de alto impacto. Embora extensivamente estudado em tarefas de classificação com distribuições de classes desequilibradas, a regressão desbalanceada — caracterizada por densidades não uniformes em espaços de alvos contínuos — permanece subexplorada.

As abordagens existentes em regressão desbalanceada tipicamente se dividem em duas categorias, cada uma com distinções e limitações específicas:

1. Métodos de nível de dados: Estes sintetizam amostras (por exemplo, via oversampling) para enriquecer regiões esparsas. Embora intuitivos e agnósticos ao modelo, correm o risco de introduzir ruído sintético ou overfitting, particularmente em distribuições complexas.
2. Métodos de nível de algoritmo: Estes ajustam funções de perda para priorizar intervalos de alvos raros sem modificar os dados. Embora fundamentados, frequentemente lutam contra desequilíbrios severos e distribuições complexas, carecendo dos benefícios complementares do enriquecimento de dados.

A literatura atual carece de uma abordagem verdadeiramente híbrida que integre de forma estreita a síntese de amostras de nível de dados com perdas explícitas de sensibilidade ao custo ou de reponderação por amostra durante o treinamento de um regressor neural único. A maioria das tentativas "híbridas" existentes baseia-se em estratégias de ensemble ou é limitada a domínios não tabulares, falhando em unificar essas estratégias em um pipeline end-to-end para tarefas de regressão padrão.

Metodologia

Os autores propõem um framework híbrido de cinco fases, agnóstico ao regressor, que integra sinergicamente estratégias de nível de dados e de nível de algoritmo em um pipeline unificado. O framework é projetado para ser aplicado a montante de qualquer regressor padrão.

Fase 0: Particionamento Adaptativo de Bin do Espaço de Alvo

Para abordar a falta de rótulos de classe discretos na regressão, o framework primeiro segmenta o espaço de alvo contínuo em bins estatisticamente coerentes.

• Mecanismo: Emprega o particionamento de bin adaptativo impulsionado por pontuações de coerência de $R^2$ local. Um regressor linear simples é ajustado dentro de intervalos candidatos; se a pontuação $R^2$ exceder um limiar ($\tau$) e o tamanho do bin atender a um mínimo baseado em dados ($M$), o bin é aceito. Caso contrário, o intervalo é dividido recursivamente.
• Significância: Isso transforma o problema contínuo em uma estrutura semelhante à de classes, permitindo a consciência localizada da esparsidade e facilitando operações de equilíbrio subsequentes. O tamanho mínimo do bin $M$ é calculado dinamicamente usando uma combinação de uma proporção do tamanho do conjunto de dados e um inverso da densidade de pico da Estimativa de Densidade de Kernel (KDE) para garantir confiabilidade estatística.

Fase I: Aprendizado de Representação

Recursos brutos em regiões esparsas frequentemente falham em capturar estruturas latentes necessárias.

• Mecanção: Um Autoencoder Variacional Condicional (CVAE) é treinado, condicionado à variável alvo contínua $y$. O encoder mapeia os recursos de entrada $x$ e o alvo $y$ para um espaço latente $z$, enquanto o decoder reconstrói $x$ a partir de $z$ e $y$.
• Significância: Isso produz embeddings latentes conscientes do alvo que capturam padrões preditivos alinhados com a distribuição de saída, incluindo regiões de baixa densidade populacional. A natureza probabilística do CVAE também facilita representações conscientes de incerteza.

Fase II: Equilíbrio de Nível de Dados

Esta fase aborda a escassez de amostras tanto no espaço de alvo quanto no espaço de recursos através de uma estratégia de múltiplos estágios.

• Passo 1 (Clustering): Dentro de cada bin adaptativo da Fase 0, o DBSCAN é aplicado às representações latentes para identificar clusters minoritários e esparsos.
• Passo 2 (Oversampling): Uma técnica SMOGN (Synthetic Minority Oversampling Technique for Regression with Gaussian Noise) localizada é aplicada a esses clusters minoritários. Diferente do oversampling global, este é guiado por uma função de relevância específica do cluster $\phi_C(y)$ para priorizar valores de alvo raros dentro do contexto específico do cluster.
• Saída: Um MLP raso é treinado no conjunto de dados aumentado (original + sintético), e as ativações ocultas das amostras originais ($h_{data}$) são extraídas. Isso garante que os recursos se beneficiem da geometria dos vizinhos sintéticos enquanto mantêm a correspondência exata com as instâncias originais.

Fase III: Equilíbrio de Nível de Algoritmo

Esta fase adapta o objetivo de aprendizado para enfatizar regiões sub-representadas sem modificação adicional de dados.

• Mecanismo: Uma nova Perda de Densidade Latente Ponderada (LDWL) é introduzida. A função de perda pondera as amostras com base em sua raridade conjunta em dois espaços:
  1. Espaço Latente ($Z$): Densidade estimada via KDE sobre as representações latentes do CVAE.
  2. Espaço de Alvo ($Y$): Densidade estimada via KDE dentro dos bins adaptativos definidos na Fase 0.
• Fórmula: O peso $w_i$ para uma amostra é inversamente proporcional ao produto de sua densidade latente e sua densidade de alvo condicionada ao bin. Um termo de regularização penaliza pesos excessivamente grandes para evitar o overfitting a outliers.
• Saída: Um MLP é treinado usando LDWL, e as ativações ocultas das amostras originais ($h_{alg}$) são extraídas.

Fase IV: Fusão Final

A fase final integra as forças complementares das representações de nível de dados e de nível de algoritmo.

• Mecanismo: Um mecanismo de fusão baseada em atenção com portão (gated fusion) concatena $h_{data}$ e $h_{alg}$. Uma rede de portão aprende dinamicamente pesos específicos por instância ($\alpha_i$) para misturar os dois fluxos de recursos: $\tilde{x}_i = \alpha_i \odot h_{data} + (1-\alpha_i) \odot h_{alg}$.
• Significância: Isso permite que o modelo priorize adaptativamente os recursos mais informativos para cada amostra, produzindo uma representação enriquecida e robusta pronta para qualquer regressor downstream.

Principais Contribuições

1. Framework Híbrido Unificado: O primeiro pipeline end-to-end que integra de forma estreita a síntese de dados de nível de dados (via SMOGN localizado) com a reponderação explícita por amostra de sensibilidade ao custo (via LDWL) para regressão desbalanceada.
2. Particionamento de Bin Adaptativo: Uma etapa de pré-processamento inovadora que utiliza a coerência de $R^2$ local para segmentar dinamicamente espaços de alvos contínuos, emulando estruturas semelhantes a classes para um tratamento eficaz de desbalanceamento.
3. Perda de Densidade Latente Ponderada (LDWL): Uma nova função de perda que prioriza amostras raras ao considerar conjuntamente sua densidade no espaço de recursos latente (aprendido via CVAE) e no espaço de alvo (dentro de bins adaptativos).
4. Equilíbrio de Dados em Múltiplos Estágios: Uma estratégia que combina clustering de espaço de recursos (DBSCAN) com oversampling localizado para enriquecer regiões esparsas minimizando o viés sintético.
5. Design Agnóstico ao Regressor: O framework produz um vetor de recursos fundido que pode ser integrado perfeitamente com qualquer algoritmo de regressão padrão (linear, baseado em árvores ou neural).

Resultados Experimentais

O framework foi avaliado em 16 conjuntos de dados de benchmark (ex: California Housing, Wine Quality, Abalone) através de seis diferentes regressores (MLP, XGBoost, Regressão Linear, KNN, SVR, Ridge).

• Desempenho: O pipeline híbrido superou consistentemente tanto os métodos isolados de nível de dados quanto os de nível de algoritmo, bem como os regressores baselines padrão sem tratamento de desbalanceamento.
• Métricas: Melhorias foram observadas no RMSE (Raiz do Erro Quadrático Médio), MAE (Erro Absoluto Médio) e no Coeficiente de Determinação ($R^2$). Por exemplo, no dataset airfoild, a abordagem híbrida apresentou uma melhoria de 568,71% no $R^2$ em comparação com o regressor isolado.
• Correlação de Assimetria: A análise revelou uma correção positiva significativa entre a assimetria absoluta da variável alvo e a melhoria de desempenho do pipeline híbrido. O framework é mais eficaz em cenários de alta assimetria de alvo.
• Limitações: O framework apresenta uma dependência do volume de dados. Em conjuntos de dados com menos de ~1.000 amostras, o pipeline ocasionalmente teve desempenho inferior aos regressores isolados devido ao overfitting nas fases de particionamento de bin adaptativo e CVAE, além da instabilidade na estimativa de densidade.

Significância e Alegações

O artigo afirma que o framework proposto aborda uma lacuna crítica na literatura de regressão desbalanceada ao ir além das intervenções isoladas de nível de dados ou de algoritmo. Ao unificar essas estratégias, o framework oferece uma solução mais abrangente para prever valores de alvos raros, mas críticos.

Os autores afirmam que sua abordagem:

• Combina sinergicamente os benefícios de diversidade da aumentação de dados com a otimização fundamentada do aprendizado de sensibilidade ao custo.
• Melhora a generalização em regiões esparsas sem os riscos de ruído do oversampling ingênuo ou da cegueira distributiva das funções de perda padrão.
• Escala efetivamente para tarefas de regressão desbalanceada de larga escala, demonstrando que o grau de assimetria do alvo é um proxy confiável para a eficácia do framework.

O estudo conclui que, embora o framework exija volume de dados suficiente para estabilizar sua arquitetura de cinco fases, ele oferece um aprimoramento robusto, escalável e agnóstico ao regressor para aplicações do mundo real envolvendo previsão de clima extremo, detecção de anomalias e previsão de risco médico ou financeiro, onde eventos raros são de suma importância.