Resumen Técnico: Regresión Desbalanceada Híbrida mediante el Equilibrio Unificado a Nivel de Datos y de Algoritmo

Planteamiento del Problema

El aprendizaje desbalanceado es un desafío crítico en el aprendizaje automático donde los valores objetivo subrepresentados conducen a modelos sesgados que funcionan deficientemente ante fenómenos raros pero de alto impacto. Mientras que esto ha sido extensamente estudiado en tareas de clasificación con distribuciones de clases sesgadas, la regresión desbalanceada —caracterizada por densidades no uniformes en espacios de objetivos continuos— permanece poco explorada.

Los enfoques existentes en la regresión desbalanceada suelen caer en dos categorías, cada una con distintas limitaciones:

1. Métodos a nivel de datos: Estos sintetizan muestras (por ejemplo, mediante sobremuestreo) para enriquecer las regiones dispersas. Aunque son intuitivos y agnósticos al modelo, corren el riesgo de introducir ruido sintético o sobreajuste, particularmente en distribuciones complejas.
2. Métodos a nivel de algoritmo: Estos ajustan las funciones de pérdida para priorizar rangos de valores objetivos raros sin modificar los datos. Aunque son fundamentados, a menudo tienen dificultades con desbalances severos y distribuciones complejas, careciendo de los beneficios complementarios del enriquecimiento de datos.

La literatura actual carece de un enfoque verdaderamente híbrido que integre estrechamente la síntesis de muestras a nivel de datos con pérdidas explícitas de sensibilidad al costo o de reponderación durante el entrenamiento de un regresor neuronal único. La mayoría de los intentos "híbridos" existentes dependen de estrategias de ensamble o están limitados a dominios no tabulares, fallando al no unificar estas estrategias en un pipeline de extremo a extremo para tareas de regresión estándar.

Metodología

Los autores proponen un framework híbrido de cinco fases, agnóstico al regresor, que integra sinérgicamente estrategias a nivel de datos y a nivel de algoritmo en un pipeline unificado. El framework está diseñado para aplicarse de forma ascendente a cualquier regresor estándar.

Fase 0: Partición de Bins Adaptativa del Espacio de Objetivos

Para abordar la falta de etiquetas de clase discretas en la regresión, el framework primero segmenta el espacio de objetivos continuo en bins estadísticamente coherentes.

• Mecanismo: Emplea una partición de bins adaptativa impulsada por puntuaciones de coherencia de $R^2$ local. Se ajusta un regresor lineal simple dentro de intervalos candidatos; si la puntuación $R^2$ supera un umbral ($\tau$) y el tamaño del bin cumple con un mínimo basado en los datos ($M$), el bin es aceptado. De lo contrario, el intervalo se divide recursivamente.
• Significado: Esto transforma el problema continuo en una estructura similar a la de clases, permitiendo una conciencia localizada de la dispersión y facilitando las operaciones de equilibrio subsiguientes. El tamaño mínimo del bin $M$ se calcula dinámicamente utilizando una combinación de una proporción del tamaño del conjunto de datos y un inverso de la densidad máxima de la Estimación de Densidad de Kernel (KDE) para asegurar la fiabilidad estadística.

Fase I: Aprendizaje de Representación

Las características puras en regiones dispersas a menudo no logran capturar las estructuras latentes necesarias.

• Mecanismo: Se entrena un Autoencoder Variacional Condicional (CVAE), condicionado en la variable objetivo continua $y$. El codificador mapea las características de entrada $x$ y el objetivo $y$ a un espacio latente $z$, mientras que el decodificador reconstruye $x$ a partir de $z$ y $y$.
• Significado: Esto produce incrustaciones (embeddings) latentes conscientes del objetivo que capturan patrones predictivos alineados con la distribución de salida, incluyendo las regiones escasamente pobladas. La naturaleza probabilística del CVAE también facilita las representaciones conscientes de la incertidumbre.

Fase II: Equilibrio a Nivel de Datos

Esta fase aborda la escasez de muestras tanto en el espacio de objetivos como en el de características mediante una estrategia de múltiples etapas.

• Paso 1 (Clustering): Dentro de cada bin adaptativo de la Fase 0, se aplica DBSCAN a las representaciones latentes para identificar clusters minoritarios y dispersos.
• Paso 2 (Sobremuestreo): Se aplica una técnica de SMOGN (Técnica de Sobremuestreo de Minorías Sintéticas para Regresión con Ruido Gaussiano) localizada a estos clusters minoritarios. A diferencia del sobremuestreo global, este es guiado por una función de relevancia específica del cluster $\phi_C(y)$ para priorizar valores de objetivos raros dentro del contexto específico del cluster.
• Salida: Se entrena un MLP poco profundo en el conjunto de datos aumentado (original + sintético), y se extraen las activaciones ocultas de las muestras originales ($h_{data}$). Esto asegura que las características se beneficien de la geometría de los vecinos sintéticos manteniendo la correspondencia exacta con las instancias originales.

Fase III: Equilibrio a Nivel de Algoritmo

Esta fase adapta el objetivo de aprendizaje para enfatizar las regiones subrepresentadas sin modificar más los datos.

• Mecanismo: Se introduce una novedosa Pérdida de Densidad Latente Ponderada (LDWL). La función de pérdida pondera las muestras basándose en su rareza conjunta en dos espacios:
  1. Espacio Latente ($Z$): Densidad estimada mediante KDE sobre las representaciones latentes del CVAE.
  2. Espacio de Objetivos ($Y$): Densidad estimada mediante KDE dentro de los bins adaptativos definidos en la Fase 0.
• Fórmula: El peso $w_i$ para una muestra es inversamente proporcional al producto de su densidad latente y su densidad de objetivo condicionada al bin. Un término de regularización penaliza los pesos excesivamente grandes para prevenir el sobreajuste a valores atípicos (outliers).
• Salida: Se entrena un MLP utilizando LDWL, y se extraen las activaciones ocultas de las muestras originales ($h_{alg}$).

Fase IV: Fusión Final

La fase final integra las fortalezas complementarias de las representaciones a nivel de datos y a nivel de algoritmo.

• Mecanismo: Un mecanismo de fusión con compuerta basada en atención concatena $h_{data}$ y $h_{alg}$. Una red de compuerta aprende dinámicamente los pesos específicos de cada instancia ($\alpha_i$) para mezclar los dos flujos de características: $\tilde{x}_i = \alpha_i \odot h_{data} + (1-\alpha_i) \odot h_{alg}$.
• Significado: Esto permite que el modelo priorice adaptativamente las características más informativas para cada muestra, produciendo una representación enriquecida y robusta lista para cualquier regresor descendente.

Contribuciones Clave

1. Framework Híbrido Unificado: El primer pipeline de extremo a extremo que integra estrechamente la síntesis de muestras a nivel de datos (vía SMOGN localizado) con el reponderamiento explícito sensible al costo (vía LDWL) para la regresión desbalanceada.
2. Partición de Bins Adaptativa: Un paso de preprocesamiento novedoso que utiliza la coherencia de $R^2$ local para segmentar dinámicamente los espacios de objetivos continuos, emulando estructuras similares a clases para un manejo efectivo del desbalance.
3. Pérdida de Densidad Latente Ponderada (LDWL): Una nueva función de pérdida que prioriza las muestras raras considerando conjuntamente su densidad en el espacio de características latentes (aprendido vía CVAE) y el espacio de objetivos (dentro de los bins adaptativos).
4. Equilibrio de Datos Multietapa: Una estrategia que combina el clustering en el espacio de características (DBSCAN) con el sobremuestreo localizado para enriquecer las regiones dispersas minimizando el sesgo sintético.
5. Diseño Agnóstico al Regresor: El framework entrega un vector de características fusionado que puede integrarse sin problemas con cualquier algoritmo de regresión estándar (lineal, basado en árboles o neuronal).

Resultados Experimentales

El framework fue evaluado en 16 conjuntos de datos de referencia para regresión (ej. California Housing, Wine Quality, Abalone) a través de seis regresores diferentes (MLP, XGBoost, Regresión Lineal, KNN, SVR, Ridge).

• Desempeño: El pipeline híbrido superó consistentemente tanto a los métodos de nivel de datos como a los de nivel de algoritmo por separado, así como a los regresores base estándar sin manejo de desbalance.
• Métricas: Se observaron mejoras en el Error Cuadrático Medio (RMSE), el Error Absoluto Medio (MAE) y el Coeficiente de Determinación ($R^2$). Por ejemplo, en el conjunto de datos airfoild, el enfoque híbrico produjo una mejora del 568.71% en $R^2$ comparado con el regresor independiente.
• Correlación de Asimetría: El análisis reveló una correlación positiva significativa entre la asimetría absoluta de la variable objetivo y la mejora de desempeño del pipeline híbrido. El framework es más efectivo en escenarios de alta asimetría de objetivos.
• Limitaciones: El framework exhibe una dependencia del volumen de datos. En conjuntos de datos con menos de ~1,000 muestras, el pipeline ocasionalmente tuvo un desempeño inferior a los regresores independientes debido al sobreajuste en las fases de partición de bins adaptativa y CVAE, así como a la inestabilidad en la estimación de densidad.

Significado y Reivindicaciones

El artículo afirma que el framework propuesto aborda una brecha crítica en la literatura de regresión desbalanceada al ir más allá de las intervenciones aisladas a nivel de datos o de algoritmo. Al unificar estas estrategias, el framework proporciona una solución más integral para predecir valores objetivo raros pero críticos.

Los autores aseguran que su enfoque:

• Combina sinérgicamente los beneficios de diversidad de la aumentación de datos con la optimización fundamentada del aprendizaje sensible al costo.
• Mejora la generalización en regiones dispersas sin los riesgos de ruido del sobremuestreo ingenuo o la ceguidad distributiva de las funciones de pérdida estándar.
• Escala efectivamente a tareas de regresión desbalanceada a gran escala, demostando que el grado de asimetría del objetivo es un proxy fiable de la efectividad del framework.

El estudio concluye que, si bien el framework requiere un volumen de datos suficiente para estabilizar su arquitectura de cinco fases, ofrece una mejora robusta, escalable y agnóstica al regresor para aplicaciones del mundo real que involucran pronósticos meteorológicos extremos, detección de anomalías y predicción de riesgos médicos o financieros donde los eventos raros son de suma importancia.