Resumen Técnico: Aumento de Datos de Residuos Contrafácticos para Regresión

Planteamiento del Problema

Las tareas de regresión en el mundo real en dominios como la medicina, las finanzas y la fabricación sufren frecuentemente de escasez de datos, altos costos de recolección de datos y observaciones ruidosas. Si bien el aumento de datos es una piedra angular del éxito en la visión computacional y el procesamiento de lenguaje natural, las técnicas existentes (por ejemplo, transformaciones geométricas, Mixup) a menudo dependen de simetrías que preservan la etiqueta o invarianzas específicas del dominio que no se traducen naturalmente a la regresión tabular. En consecuencia, los modelos de aprendizaje supervisado suelen fallar al capturar procesos subyacentes cuando los ejemplos de entrenamiento son limitados, lo que conduce al sobreajuste y a una generalización deficiente.

Metodología: Aumento de Datos de Residuos Contrafácticos (CRDA)

Los autores proponen el Aumento de Datos de Residuos Contrafácticos (CRDA), un marco de trabajo agnóstico al modelo diseñado para sintetizar nuevas muestras de entrenamiento realistas para la regresión tabular mediante la explotación de la invariancia del ruido residual.

Percepción Central

El método se fundamenta en la observación de que, una vez que un regresor modela el componente sistemático de los datos, el ruido restante (residuo) puede verse como un componente invariante bajo pequeñas perturbaciones de características cuidadosamente seleccionadas. Al preservar este residuo mientras se modifican características específicas, el CRDA genera muestras contrafácticas que se adhieren a la distribución de los datos subyacentes sin requerir datos adicionales del mundo real.

Fundamento Teórico

El CRDA opera bajo el supuesto de un Modelo Causal Estructural de Ruido Aditivo (SCM):
$$Y = g(X_P, X_R) + Z$$
Donde:

• $Y$ es la variable objetivo.
• $g(X_P, X_R)$ es el componente sistemático (esperanza condicional).
• $Z$ es el ruido estructural (residuo).
• $X_P$ representa las características perturbables y $X_R$ representa las características fijas.

El método se basa en el Supuesto 3.1 (Invariancia del Residuo): El término de ruido $Z$ es condicionalmente independiente de las características perturbables $X_P$ dada las características fijas $X_R$ ($P(Z | X_P, X_R) = P(Z | X_R)$). Esto implica que perturbar $X_P$ cambia la predicción sistemática pero no altera el ruido específico de la instancia.

Flujo de Trabajo Algorítmico

El flujo de trabajo de CRDA (Algoritmo 1) procede de la siguiente manera:

1. Entrenamiento Base: Se entrena un regresor base $\hat{g}$ (por ejemplo, MLP o XGBoost) en el conjunto de datos original $D_{train}$.
2. Cómputo del Residuo: Se calculan los residuos empíricos: $\hat{z}_i = y_i - \hat{g}(x_i)$.
3. Selección de Características (Filtrado de Independencia): Para satisfacer el Supuesto 3.1, el algoritmo identifica un subconjunto de características $X_P$ que son probablemente independientes de los residuos. Esto se logra mediante:
   • Algoritmo PC: Una verificación de grafo causal para eliminar características con aristas directas hacia el residuo $\hat{Z}$.
   • Verificación de Correlación: Eliminar características fuertemente correlacionadas con $\hat{Z}$.
   • Las características restantes forman $X_P$; el resto forma $X_R$.
4. Generación de Contrafácticos: Para cada muestra de entrenamiento, se generan $M$ muestras sintéticas:
   • Se perturba $X_P$ usando un factor de escala uniforme: $x'_{i,P} = x_{i,P} \cdot (1 + \delta)$, donde $\delta \sim \text{Unif}[-p, p]$.
   • Se mantiene $X_R$ fijo.
   • Se computa la etiqueta contrafáctica preservando el residuo original: $y'_i = \hat{g}(x'_i) + \hat{z}_i$.
5. Validación de Seguridad: Antes del reentrenamiento final, una prueba de rango signado de Wilcoxon compara el rendimiento del modelo base contra un modelo entrenado con los datos aumentados mediante validación cruzada de K-pliegues. Si el valor p indica que no hay una mejora estadísticamente significativa, el aumento es rechazado y se retiene el modelo base.
6. Reentrenamiento Final: Si la validación pasa, se entrena un modelo final utilizando la unión de los datos originales y aumentados.

Principales Contribuciones

1. Nuevo Marco de Aumento de Datos: Una estrategia agnóstica al modelo para la regresión tabular centrada en el razonamiento contrafáctico y la invariancia del residuo, evitando la necesidad de heurísticas específicas del dominio.
2. Principio de Invariancia del Residuo: Una formalización de cómo características específicas pueden ser perturbadas sin corromper la estructura del ruido, proporcionando una base teórica para la selección de características en el aumento.
3. Validación Empírica: Evaluación exhaustiva a través de benchmarks sintéticos y conjuntos de datos del mundo real (UCI, PMLB, Kaggle), demostrando mejoras consistentes en modelos neuronales (MLP) y de ensamble (XGBoost).

Resultados Experimentales

Los autores evaluaron CRDA en nueve conjuntos de datos de referencia con tamaños de muestra variables, comparándolo contra:

• Baselines: Sin aumento.
• Competidores: Métodos de aumento de regresión de vanguardia (C-Mixup, ADA) y modelos generativos profundos (CTGAN, TVAE, TabDDPM).

Hallazgos Clave:

• Ganancias de Rendimiento: En promedio, CRDA redujo el Error Cuadrático Medio (MSE) en un 22.9% para regresores MLP y un 6.4% para regresores XGBoost en todos los conjuntos de datos.
• Robustez: A diferencia de los métodos geométricos (por ejemplo, ADA, C-Mixup) que mostraron modos de fallo catastróficos (aumentando el MSE en más del 100% en algunos casos) y modelos generativos profundos que a menudo degradaron el rendimiento, CRDA mejoró o mantuvo el rendimiento de manera consistente sin degradación significativa.
• Dependencia del Tamaño de la Muestra: El método es más efectivo en un "punto ideal" de tamaños de muestra (por ejemplo, 2.5k–20k para MLPs), donde el modelo base ha aprendido la señal principal pero aún se beneficia de la exploración localizada del espacio de características. Para conjuntos de datos muy pequeños, el modelo base es demasiado inexacto para producir residuos significativos; para conjuntos de datos muy grandes, el baseline ya es óptimo.
• Mecanismo de Seguridad: La compuerta de seguridad de Wilcoxon evitó con éxito el aumento en casos donde no ayudaría (por ejemplo, cuando se utiliza un baseline de regresión lineal débil), asegurando que el método no degrade el rendimiento.

Significado y Reivindicaciones

El artículo posiciona al CRDA como un remedio simple y eficiente para entornos de regresión con muestras pequeñas y propensos al ruido. Su importancia radica en:

• Practicidad: No requiere conocimiento específico del dominio ni modelado generativo complejo, lo que lo hace fácilmente aplicable a diversos regresores.
• Fundamentación Teórica: Al enmarcar el aumento a través de la lente de los contrafácticos causales y la invariancia del residuo, ofrece una alternativa fundamentada a los métodos de interpolación heurísticos.
• Fiabilidad: La validación de seguridad integrada asegura que el método actúe como un "guardarraíl", evitando la degradación del rendimiento en escenarios donde los supuestos de aumento (invariancia del residuo) se violan o el modelo base es insuficiente.

Los autores concluyen que el CRDA ofrece un enfoque robusto para expandir los conjuntos de datos sin requerir datos reales adicionales, reduciendo efectivamente la varianza y mejorando el ajuste del modelo en regímenes de escasez de datos. Se sugiere como trabajo futuro extender estos principios a tareas de clasificación y explorar algoritmos de descubrimiento causal más robustos para la partición de características.