🤖 machine learning

K-IPO: Kendall-constrained Importance Preserving Oversampling for Imbalanced Tabular Data

Este artículo presenta K-IPO, un marco de sobremuestreo agnóstico al generador que preserva los rankings de importancia de las características en datos tabulares desbalanceados mediante la generación iterativa y la aceptación selectiva de muestras sintéticas basadas en una restricción de correlación de tau de Kendall.

Autores originales: Marios Tyrovolas, Argiris Sofotasios, Dimitris Metaxakis, Georgios Mermigkis, George Georgoulas, Panagiotis Hadjidoukas, Chrysostomos Stylios

Publicado 2026-07-21

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Marios Tyrovolas, Argiris Sofotasios, Dimitris Metaxakis, Georgios Mermigkis, George Georgoulas, Panagiotis Hadjidoukas, Chrysostomos Stylios

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot a detectar una nube rara y peligrosa en un cielo lleno de nubes blancas inofensivas. Este es el mundo del aprendizaje automático (machine learning), donde las computadoras aprenden a tomar decisiones estudiando ejemplos. Pero hay un inconveniente: si el robot solo ve unas pocas nubes raras y millones de nubes blancas, se vuelve perezoso. Aprende a simplemente adivinar "nube blanca" cada vez porque eso suele ser lo correcto, y falla al detectar el peligro. Para solucionar esto, los científicos utilizan un truco llamado sobremuestreo (oversampling): crean ejemplos sintéticos y falsos de las nubes raras para darle al robot más práctica.

Sin embargo, existe un peligro oculto al crear datos falsos. Si creas demasiadas nubes falsas que se ven un poco "extrañas", el robot podría empezar a aprender reglas equivocadas. En lugar de buscar la forma específica de una tormenta, podría empezar a adivinar basándose en el color del cielo o la hora del día. Este es un problema para la IA Explicable (XAI), un campo dedicado a asegurar que los robots puedan decirnos por qué tomaron una decisión. Si los datos de entrenamiento del robot están mal, sus explicaciones se convierten en mentiras, lo cual es aterrador en trabajos de alto riesgo como la medicina o las finanzas. La gran pregunta es: ¿Podemos crear suficientes datos falsos para enseñar al robot sin engañarlo para que aprenda lecciones erróneas?

Entra en escena K-IPO, un nuevo método propuesto por Marios Tyrovolas y su equipo que actúa como un estricto inspector de control de calidad para los datos falsos.

El Problema: La trampa de los "datos falsos"

Cuando los científicos intentan equilibrar un conjunto de datos creando muestras minoritarias falsas (como esas nubes raras), a menudo utilizan herramientas que simplemente intentan que los nuevos datos parezcan estadísticamente similares a los antiguos. Piensa en ello como un falsificador intentando copiar una pintura. Pueden lograr que los colores y las pinceladas sean correctos, pero pierden el alma de la intención original del artista. En el aprendizaje automático, este "alma" es el ranking de importancia de las características (feature importance ranking). Esto es simplemente la lista de qué pistas importan más. Por ejemplo, en una prueba médica, la "fiebre" podría ser la pista más importante, seguida de la "tos", mientras que el "color de ojos" es irrelevante.

El artículo argumenta que muchos métodos actuales para crear datos falsos desordenan accidentalmente esta lista. Podrían hacer que el robot piense que el "color de ojos" es una pista vital solo porque los datos falsos vincularon ambos elementos por casualidad. Esto conduce a un robot que es preciso pero poco confiable, porque sus razones para decidir son erróneas.

La Solución: El filtro "Generar-luego-Seleccionar"

Los autores presentan K-IPO (Oversampling de Importancia Preservada con Restricción de Kendall). En lugar de simplemente producir datos falsos y esperar lo mejor, K-IPO utiliza una estrategia de "generar-luego-seleccionar".

Imagina una fábrica que produce miles de nubes falsas. Con el método antiguo, simplemente las arrojarías todas en la caja de entrenamiento del robot. Con K-IPO, tienes un portero en la puerta.

Generación: La fábrica (que puede ser cualquier herramienta estándar como SMOTE o incluso modelos complejos de IA) crea un lote de muestras minoritarias falsas.
La Prueba: Antes de que estas muestras entren en la caja de entrenamiento, el portero las coteja contra una lista de referencia. Esta lista es el "ranking de importancia" original de los datos reales (por ejemplo, Fiebre > Tos > Color de ojos).
La Regla: El portero utiliza una regla matemática llamada tau de Kendall para medir cuánto desordenarían las nuevas muestras el ranking. Si añadir las muestras falsas cambia demasiado el orden de importancia (como promover el "Color de ojos" al primer puesto), el portero rechaza todo el lote.
La Regla del Top-K: El portero también puede ser extra estricto con las pistas principales. Si las 3 pistas más importantes no están exactamente en el mismo orden, el lote es descartado.

Solo las muestras que pasan este estricto test tienen permitido unirse a los datos de entrenamiento. Esto asegura que el robot aprenda de suficientes ejemplos para detectar los eventos raros, pero sin olvidar nunca qué pistas realmente importan.

Lo que encontraron

El equipo probó K-IPO en 20 conjuntos de datos diferentes (que iban desde predecir retrasos en aerolíneas hasta detectar fallos en equipos) utilizando tres tipos diferentes de cerebros de robot (clasificadores) y varias formas de verificar el razonamiento del robot.

Esto es lo que mostraron los experimentos:

El Ranking se mantiene en su lugar: K-IPO fue el campeón indiscutible al mantener intacto el ranking de importancia de las características. Logró los mejores resultados, o empató en los mejores, preservando el orden original de importancia en los 20 conjuntos de datos. En contraste, otros métodos a menudo desordenaron la lista, con algunos mostrando un acuerdo muy bajo con los datos originales.
El Robot aún aprende: Crucialmente, K-IPO no solo protegió las reglas; también ayudó al robot a desempeñarse mejor. Logró el mayor número de victorias en precisión predictiva (Exactitud Balanceada, puntuación F1 y MCC) en comparación con otros métodos. Esto sugiere que, al filtrar los datos falsos "confusos", el robot en realidad aprende una imagen más clara del problema.
El "Por qué" importa: Cuando verificaron qué tan bien coincidían las explicaciones del robot con el mundo real, K-IPO fue el claro ganador nuevamente. Obtuvo la puntuación más alta en "consistencia de explicabilidad" en 15 de los 20 conjuntos de datos. Esto significa que las razones que el robot daba para sus decisiones eran mucho más probables de ser verdaderas y confiables.
El Costo: Hay un precio que pagar por esta rigurosidad. K-RO toma más tiempo de ejecución que los métodos más simples porque el portero tiene que revisar cada lote. El tiempo promedio fue de aproximadamente 9.6 segundos por conjunto de datos, comparado con menos de un segundo para los métodos más sencillos. Sin embargo, los autores señalan que para muchos conjuntos de datos, fue en realidad más rápido que los generadores complejos de aprendizaje profundo porque no necesitaba entrenar primero un modelo masivo.

El Veredicto

El artículo sugiere que K-IPO ofrece una nueva y poderosa forma de manejar datos desequilibrados. Demuestra que no tienes que elegir entre un robot que sea preciso y un robot que sea honesto. Al usar una regla simple de "verificar antes de aceptar" basada en la importancia de las pistas, K-IPO mantiene la honestidad de los datos de entrenamiento. Aunque requiere un poco más de tiempo de computación, el resultado es un modelo que no solo detecta los eventos raros, sino que también explica por qué los encontró, sin ser engañado por sus propios datos de práctica falsos. Los autores concluyen que este enfoque es un paso significativo hacia la construcción de una IA confiable en campos de alto riesgo.

Resumen Técnico: K-IPO (Oversampling de Preservación de Importancia con Restricción de Kendall)

1. Planteamiento del Problema

El desequilibrio de clases en la clasificación tabular supervisada sigue siendo un desafío significativo, lo que a menudo lleva a los modelos a favorecer patrones de la clase mayoritaria y resulta en fronteras de decisión sesgadas. Si bien el sobremuestreo (oversampling) es una estrategia ampliamente adoptada para abordar esto, los métodos existentes (que van desde la replicación aleatoria hasta los modelos generativos profundos) optimizan principalmente el equilibrio de clases, la fidelidad de la distribución o la utilidad predictiva descendente. Una limitación crítica, a menudo pasada por alto, es que estos métodos pueden distorsionar el ranking de importancia de las características que subyace a las explicaciones del modelo.

En dominios de alto riesgo (por ejemplo, salud, finanzas), la explicabilidad es primordial. Si el sobremuestreo altera qué predictores parecen más influyentes para un modelo entrenado, las explicaciones resultantes pueden ya no reflejar la tarea de predicción original, socavando la confianza y la reproducibilidad. Los marcos de trabajo actuales tratan este "desplazamiento de la explicación" (explanation drift) principalmente como un problema de diagnóstico post-hoc en lugar de prevenirlo durante el proceso de aumentación de datos.

2. Metodología: Marco de Trabajo K-IPO

Los autores proponen K-IPO (Kendall-constrained Importance-Preserving Oversampling), un marco de trabajo agnóstico al generador, de tipo "generar-luego-seleccionar", diseñado para preservar el ranking de importancia de las características de los datos originales durante la aumentación.

Flujo de Trabajo Principal

Perfilado de Referencia: Antes de la aumentación, el marco computa un ranking de importancia de características de referencia ( $s_{ref}$ ) del conjunto de datos desequilibrado original utilizando un estimador de importancia $\phi$ (por ejemplo, puntuación F de ANOVA, SHAP o Importancia de Características por Permutación).
Generación de Candidatos: Un generador externo $\mathcal{G}$ (por ejemplo, SMOTE, CTGAN, Copula, TabDDPM) produce iterativamente un bloque de muestras candidatas de la clase minoritaria.
Aceptación de Preservación de Importancia:
- El marco forma un conjunto de datos tentativo concatenando el conjunto de datos aumentados actual con un subconjunto candidato.
- Recomputa los puntajes de importancia de las características ( $s_{aug}$ ) para este conjunto tentativo.
- Restricción de Kendall ( $\tau$ ): El subconjunto se acepta solo si el coeficiente de correlación de rango de Kendall entre $s_{ref}$ y $s_{aug}$ cumple o supera un umbral definido por el usuario ( $\tau_0$ ).
- Restricciones Top-K (Opcional): Se pueden aplicar restricciones más estrictas para asegurar que el conjunto de las $k$ características principales (Set Top-K) o su orden interno (Rango Top-K) permanezcan sin cambios.
Búsqueda Adaptativa de Bloques y Fragmentos (Block-and-Chunk): Si un bloque completo de candidatos es rechazado, K-IPO no lo descarta por completo. En su lugar, particiona recursivamente el bloque en fragmentos (chunks) más pequeños (reduciendo su tamaño a la mitad iterativamente) y los evalúa secuencialmente. Los fragmentos aceptados se añaden inmediatamente al conjunto de datos, asegurando que las evaluaciones subsecuentes tengan en cuenta la actualización de los datos. Esto continúa hasta que se alcanza el número objetivo de muestras sintéticas ( $N^*$ ) o se alcanza un "límite de secado" (máximo de rechazos consecutivos).

Estrategia Computacional

K-IPO introduce una carga computacional adicional debido a las repetidas evaluaciones de importancia de características. Sin embargo, emplea una estrategia de cribado a nivel de bloque para minimizar estos costos. Si un bloque es aceptado sin particionamiento, el número de recomputaciones de importancia se minimiza. El marco es agnóstico al generador subycente, permitiendo a los usuarios elegir generadores basados en las características de los datos mientras confían en K-IPO para filtrar las muestras que causan desplazamiento de la explicación.

3. Contribuciones Clave

Cambio de Diagnóstico a Preventivo: A diferencia del trabajo previo que mide el desplazamiento de la importancia de las características después de la generación, K-IPO lo previene activamente integrando la estabilidad de la explicación directamente en el mecanismo de aceptación del sobremuestreo.
Diseño Agnóstico al Generador: El marco puede emparejarse con cualquier método de sobremuestreo (SMOTE, GANs, VAEs, modelos de Difusión) o sintetizador tabular, actuando como un filtro universal para asegurar la fidelidad estructural.
Preservación de Rango mediante Kendall's $\tau$ : El uso de la correlación de rango de Kendall proporciona una medida ordinal robusta para asegurar que el orden relativo de la importancia de las características permanezca consistente con los datos originales.
Mecanismo de Búsza Adaptativa: La búsqueda recursiva de bloques y fragmentos equilibra la compensación entre la restricción estricta de preservación y la utilización de candidatos, evitando la ineficiencia de evaluar muestras individualmente mientras evita el rechazo de bloques enteros válidos debido a unos pocos valores atípicos.

4. Resultados Experimentales

Los autores evaluaron K-IPO en 20 conjuntos de datos de clasificación binaria desequilibrados utilizando tres clasificadores (Random Forest, MLP, GAMI-Net) y múltiples métodos de explicación (SHAP, SOFI, intrínseco de GAMI-Net).

Aspectos Destacados del Rendimiento

Preservación de la Importancia de las Características: K-IPO logró el mejor o empató en el mejor Kendall's $\tau$ en los 20 conjuntos de datos, superando sustancialmente a los baselines (SMOTE, CTGAN, TVAE, Gaussian Copula, TabDDPM). Registró 20 victorias en esta métrica, frente a 3 del siguiente mejor competidor.
Consistencia de la Explicabilidad: K-IPO logró el puntaje de consistencia de explicabilidad ( $I$ ) más alto en 15 de los 20 conjuntos de datos, demostrando que los modelos entrenados con datos aumentados por K-IPO se alinean más estrechamente con los rankings de características de referencia derivados de métodos de filtrado.
Rendimiento Predictivo: A pesar de las restricciones estructurales, K-IPO se mantuvo altamente competitivo en las métricas predictivas. Logró la mayoría de las victorias en Exactitud Balanceada (9), F1-score (9), MCC (9) y el puntaje predictivo compuesto $P$ (9).
Separabilidad de Clases: K-IPO logró el mejor o empate en el mejor indicador de separabilidad de clases ( $1-N_3$ ) en 13 de los 20 conjuntos de datos, lo que sugiere que el método filtra las muestras sintéticas que podrían difuminar las fronteras de clase.
Significancia Estadística: Las pruebas post-hoc de Friedman y Nemenyi confirmaron que la superioridad de K-IPO en las métricas de interpretabilidad (Kendall's $\tau$ , $I$ y separabilidad) es estadísticamente significativa en comparación con todos los baselines. Para las métricas predictivas, K-IPO fue estadísticamente comparable o mejor que sus competidores, aunque algunos modelos generativos profundos (como CTGAN) se mantuvieron competitivos en tareas predictivas específicas.

Sobrecarga Computacional

K-IPO exhibió un tiempo de ejecución promedio más alto (9.6s) en comparación con métodos ligeros como SMOTE (1.1s) o Gaussian Copula (0.6s), principalmente debido a las repetidas evaluaciones de importancia. Sin embargo, su tiempo de ejecución mediana (3.2s) fue comparable a los modelos generativos profundos (CTGAN: 2.8s, TVAE: 2.8s). Los autores señalan que K-IPO puede ser más rápido que los baselines generativos profundos en conjuntos de datos donde los bloques de candidatos válidos se aceptan tempranamente, ya que evita la fase costosa de ajuste de modelos requerida por las GANs y VAEs.

5. Significación y Reivindicaciones

El artículo afirma que K-IPO aborda una brecha metodológica crítica: el sobremuestreo no solo debe generar muestras de la clase minoritaria plausibles, sino también preservar la estructura de importancia de las características derivada de los datos originales.

Confianza y Fiabilidad: Al prevenir el "desplazamiento de la explicación", K-IPO asegura que los modelos entrenados con datos aumentados produzcan explicaciones que reflejen las relaciones subyacentes reales de la tarea original, lo cual es vital para la auditoría y el soporte de decisiones en dominios de alto riesgo.
Sin Sacrificio de la Compensación: Los resultados sugieren que preservar explícitamente los rankings de importancia de las características no compromete sistemáticamente el rendimiento de la clasificación. De hecho, al filtrar las instancias sintéticas que distorsionan las fronteras de decisión, K-IPO a menudo mejora la separabilidad de clases y la robustez predictiva.
Utilidad Práctica: El marco ofrece un paradigma de "generar-luego-seleccionar" que permite a los profesionales utilizar generadores potentes y complejos mientras mitigan su tendencia a alterar el razonamiento del modelo, proporcionando un equilibrio entre la utilidad predictiva y la consistencia de la explicación.

Los autores concluyen que, si bien K-IPO introduce costos computacionales, estos son aceptables dados los beneficios en interpretabilidad y fidelidad estructural, y delinean direcciones futuras tales como implementaciones paralelas y extensiones a escenarios de clasificación multiclase/multietiqueta.