Revisiting Chebyshev Polynomial and Anisotropic RBF Models for Tabular Regression

Este artículo demuestra que, aunque los modelos basados en funciones de base suave como los polinomios de Chebyshev y las RBF anisotrópicas no superan a los transformadores en precisión absoluta, compiten eficazmente con los ensembles de árboles en entornos de CPU y ofrecen ventajas significativas en la generalización y la suavidad de las predicciones, por lo que se recomienda su inclusión sistemática en el proceso de modelado de regresión tabular.

Lo esencial

¡Claro que sí! Imagina que tienes que predecir el precio de una casa, la temperatura de un motor o el éxito de una película basándote en una hoja de cálculo llena de números. En el mundo de la inteligencia artificial, esto se llama regresión tabular.

Durante años, los expertos han estado usando una herramienta muy popular para esto: los árboles de decisión (como los bosques aleatorios o XGBoost). Piensa en estos árboles como un juego de "¿Adivina quién?" o un árbol genealógico de preguntas.

• "¿La casa tiene más de 3 habitaciones? Sí/No".
• "¿El barrio es caro? Sí/No".
• "¿El año de construcción es posterior a 1990? Sí/No".

Al final, llegas a una hoja del árbol que te da un precio. Es rápido, funciona bien y es muy popular. Pero tiene un defecto: sus predicciones son "escalonadas". Si el precio sube un centavo porque cruzaste una línea imaginaria en el árbol, el modelo puede saltar de 100.000€ a 100.001€ de golpe, como si subieras una escalera de peldaños duros.

La Nueva Propuesta: Los "Modelos Suaves"

Los autores de este paper (Luciano Gerber y Huw Lloyd) se preguntaron: "¿Y si en lugar de usar escaleras, usáramos una rampa?".

Presentan dos modelos antiguos de las matemáticas clásicas (Chebyshev y RBF) que han sido modernizados para competir con los árboles modernos. Imagina que estos modelos son como arcos de puente o colinas de arena en lugar de escaleras.

1. Polinomios de Chebyshev (El Arqueólogo de las Curvas):
   Imagina que intentas dibujar una montaña. Los árboles dibujan la montaña como una serie de bloques cuadrados. Los polinomios de Chebyshev, en cambio, dibujan la montaña con una línea curva perfecta y suave. Son excelentes para predecir cosas que cambian gradualmente, como la temperatura o la velocidad de un coche. Además, son como un mapa de tesoro transparente: puedes ver exactamente qué fórmula matemática están usando, lo que hace que sea fácil entender por qué predicen lo que predicen.

2. Redes de Funciones de Base Radial (El Pintor de Manchas):
   Imagina que tienes que pintar un paisaje. En lugar de usar bloques, pones gotas de pintura (centros) en el lienzo. Cada gota se difumina hacia afuera. La predicción es una mezcla suave de todas esas manchas. La versión nueva de este paper es "anisotrópica", lo que significa que las manchas pueden estirarse como gominolas en la dirección que más importa (por ejemplo, estirarse mucho en la dirección del "precio" pero ser estrechas en la dirección del "color de la casa").

3. El Híbrido (El Árbitro):
   También crearon un modelo que combina lo mejor de ambos mundos: un árbol que divide el mundo en zonas, pero dentro de cada zona, en lugar de dar un número fijo, dibuja una curva suave. Es como tener un mapa dividido en regiones, donde cada región tiene su propia colina suave.

La Gran Carrera (El Benchmark)

Los autores probaron estos modelos contra los reyes actuales (los árboles) y un nuevo competidor muy potente basado en transformadores (TabPFN) en 55 conjuntos de datos diferentes (desde ingeniería hasta economía).

Aquí están los hallazgos principales, explicados con analogías:

• El Campeón de la Precisión (pero caro): El modelo TabPFN (el transformador) ganó en precisión en la mayoría de los casos. Pero es como un Fórmula 1: necesita un motor de GPU (una tarjeta gráfica potente), es lento para responder y no puede manejar carreras muy largas (datos muy grandes). No es práctico para muchas empresas que usan ordenadores normales.
• La Carrera de los "Ordinarios" (CPU): Si quitamos al Fórmula 1 y solo comparamos lo que puede correr en un ordenador normal, ¡la carrera es un empate técnico! Los árboles (XGBoost, Random Forest) y los nuevos modelos suaves (Chebyshev y RBF) tienen la misma precisión. Nadie gana por mucho.
• El Verdadero Ganador: La Estabilidad (Generalización): Aquí es donde los modelos suaves brillan.
  • Imagina que entrenas a un estudiante para un examen.
  • El árbol es como un estudiante que memoriza el libro de texto palabra por palabra. Si le preguntas algo que no está exactamente en el libro, se confunde o da una respuesta extraña.
  • El modelo suave es como un estudiante que entiende los conceptos. Si le preguntas algo nuevo, aplica la lógica y da una respuesta sensata.
  • Resultado: Cuando los modelos suaves y los árboles tienen la misma precisión en los datos de entrenamiento, los modelos suaves fallan mucho menos cuando les presentas datos nuevos. Son más robustos y menos propensos a "alucinar" o sobreajustarse.

¿Por qué debería importarte esto?

1. Suavidad en el mundo real: En la vida real, las cosas raramente cambian de golpe. Si subes un poco tu salario, tu préstamo no debería saltar de "aprobado" a "rechazado" de la noche a la mañana solo porque cruzaste una línea arbitraria. Los modelos suaves evitan estos saltos bruscos, lo que es vital para la confianza del usuario y para optimizar procesos (como diseñar un avión o un motor).
2. Interpretabilidad: Los modelos suaves te dan fórmulas matemáticas claras. Puedes decir: "El modelo predice esto porque la variable X tiene un coeficiente Y". Con los árboles, a veces es un "cajón negro" difícil de explicar.
3. Eficiencia: Una vez entrenados, los modelos suaves son muy rápidos y no necesitan superordenadores.

En resumen

El mensaje del paper es: "Dejen de usar solo árboles por defecto".

Aunque los árboles (como XGBoost) son excelentes y siguen siendo una gran opción, los autores recomiendan incluir siempre a los modelos suaves (Chebyshev y RBF) en la lista de candidatos. Si tienes dos modelos con la misma precisión, elige el que tenga la "rampa" suave en lugar de la "escalera", porque es más probable que funcione bien en el mundo real, sea más estable y te dé una mejor explicación de sus decisiones.

Es como elegir entre un coche con suspensión rígida (árboles) y uno con suspensión suave (modelos suaves): ambos llegan a la meta a la misma velocidad, pero el viaje en el segundo es mucho más cómodo y seguro para los pasajeros (tus datos).

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Revisiting Chebyshev Polynomial and Anisotropic RBF Models for Tabular Regression", presentado en español:

1. Problema y Contexto

En el ámbito de la regresión con datos tabulares, los ensambles de árboles (como Random Forest y XGBoost) han dominado los benchmarks de precisión predictiva. Sin embargo, estos modelos presentan limitaciones en escenarios donde se requieren superficies de predicción suaves (diferenciables), como en la optimización basada en gradientes, el análisis de sensibilidad o aplicaciones donde pequeñas variaciones en las entradas no deben generar saltos bruscos en la salida (ej. cotizaciones de seguros).

Además, la evaluación estándar se centra casi exclusivamente en la precisión (R²), ignorando el gap de generalización (la diferencia entre el rendimiento en entrenamiento y prueba), que es un indicador clave de la estabilidad del modelo y su sensibilidad a la muestra de entrenamiento específica. Los autores se plantean si los modelos de base suave, específicamente los polinomios de Chebyshev y las redes de Funciones de Base Radial (RBF), pueden competir en precisión con los ensambles de árboles mientras ofrecen ventajas superiores en generalización y suavidad.

2. Metodología y Propuestas

Los autores desarrollaron e implementaron tres modelos compatibles con scikit-learn, optimizados para datos tabulares modernos:

• Red RBF Anisotrópica (erbf):
  • Innovación: A diferencia de las RBF clásicas (isotrópicas), este modelo utiliza anchos de banda diferentes por dimensión (anisotropía).
  • Entrenamiento en 3 etapas: Para evitar la optimización no convexa conjunta de centros y anchos, se propone un pipeline desacoplado:
    1. Ubicación de centros: Se utiliza una estrategia guiada por la constante de Lipschitz (supervisada) para colocar centros en regiones de alta variación de la función objetivo, o clustering K-means (no supervisado).
    2. Inicialización de anchos: Se estiman mediante regresión ridge local o varianza local.
    3. Optimización de anchos: Se optimizan los anchos por dimensión utilizando gradientes analíticos y el algoritmo L-BFGS-B en espacio logarítmico, manteniendo los centros fijos.
• Regresor Polinómico de Chebyshev (chebypoly):
  • Utiliza polinomios de Chebyshev de primera especie como base ortogonal, lo que ofrece un mejor condicionamiento numérico que las bases monomiales estándar.
  • Incluye términos de interacción par a par y regularización Ridge para controlar la complejidad.
  • Proporciona coeficientes explícitos y una superficie globalmente suave.
• Árbol de Modelos de Chebyshev (chebytree):
  • Un híbrido que combina la capacidad de los árboles de decisión para detectar discontinuidades y límites de régimen con la suavidad local de los polinomios de Chebyshev en cada hoja.
  • Cada hoja del árbol ajusta un regresor de Chebyshev independiente.

Protocolo de Evaluación:

• Datasets: 55 conjuntos de datos de regresión divididos en cuatro estratos (Ingeniería/Simulación, Conductual/Social, Ciencias Físicas/Químicas/Biológicas, Economía/Precios).
• Comparativa: Se compararon los 3 modelos propuestos contra:
  • Ensembles de árboles (Random Forest, XGBoost).
  • Un modelo transformador pre-entrenado (TabPFN).
  • Baselines (Regresión Ridge, Árbol de decisión único).
• Métricas: Precisión (R² ajustado), Gap de Generalización (R² entrenamiento - R² prueba) y costo computacional. Se utilizó validación cruzada anidada con ajuste de hiperparámetros vía Optuna.

3. Contribuciones Clave

1. Benchmark Multi-eje: Evaluación exhaustiva de 8 modelos en 55 datasets, introduciendo el "gap de generalización" como un eje de evaluación estándar y no solo diagnóstico.
2. Implementaciones Nuevas: Liberación de paquetes erbf y poly-basis-ml en PyPI, proporcionando implementaciones robustas y escalables de RBF anisotrópicas y polinomios de Chebyshev para regresión tabular.
3. Marco de Selección de Modelos: Propuesta de un marco práctico que considera la compensación entre precisión, generalización, costo computacional y suavidad de la superficie de predicción.

4. Resultados Principales

• Precisión:
  • TabPFN obtuvo la mejor precisión en la mayoría de los datasets, pero su dependencia de GPU, latencia de inferencia y limitaciones de tamaño de dataset lo hacen menos viable en entornos CPU estándar.
  • Entre los modelos ejecutables en CPU, los cinco modelos competitivos (erbf, chebytree, xgb, chebypoly, rf) son estadísticamente indistinguibles en términos de precisión (prueba de Friedman con post-hoc de Nemenyi).
• Generalización (Gap):
  • Los modelos suaves (chebypoly, erbf) exhiben gaps de generalización significativamente más estrechos que los ensambles de árboles.
  • Cuando la precisión es comparable (diferencia ≤ 0.02 en R²), los modelos suaves muestran un mejor gap en el 87% de las comparaciones emparejadas frente a los árboles.
  • chebypoly tuvo el mejor rendimiento en gap, seguido por erbf.
• Rendimiento por Dominio:
  • Los modelos suaves (erbf, chebypoly) tienden a superar a los árboles en dominios de Ingeniería y Ciencias Físicas (funciones objetivo suaves).
  • Los árboles (xgb) y el híbrido (chebytree) tienen una ligera ventaja en dominios de Economía y Precios, donde las estructuras de umbral (discontinuidades) son comunes.
  • erbf sufre en datos con objetivos discretos (no continuos), mientras que chebytree se adapta bien a ellos.
• Costo Computacional:
  • chebypoly y chebytree son los más rápidos de ajustar.
  • erbf tiene un costo de ajuste alto debido a la optimización de anchos, pero ofrece inferencia muy rápida una vez entrenado.
  • TabPFN tiene el costo de inferencia más alto debido a la arquitectura de transformador.

5. Significado e Implicaciones

El estudio desafía la narrativa de que los ensambles de árboles son la solución universal para datos tabulares. Sus hallazgos sugieren que:

1. Inclusión en el Pool de Candidatos: Los modelos de base suave deben incluirse rutinariamente en la selección de modelos, especialmente cuando la robustez de generalización es crítica.
2. Valor de la Suavidad: En aplicaciones de ingeniería (optimización basada en surrogados) y servicios al cliente (donde la estabilidad de la predicción es vital), la suavidad de la superficie de predicción es tan importante como la precisión bruta.
3. Trade-off Precisión-Generalización: Existe una compensación clara; los modelos suaves ofrecen una mejor relación entre precisión y estabilidad (menor sobreajuste) en comparación con los árboles de gradiente, incluso cuando sus métricas de precisión son similares.
4. Interpretabilidad Estructural: A diferencia de los árboles que requieren herramientas post-hoc (como SHAP), los modelos chebypoly y erbf ofrecen coeficientes explícitos y significados geométricos directos para la interpretación.

En conclusión, el trabajo demuestra que los modelos de base suave, revitalizados con técnicas de optimización modernas, son alternativas viables y a menudo superiores a los árboles de decisión cuando se consideran métricas más allá de la simple precisión, particularmente en entornos donde la estabilidad y la suavidad de las predicciones son requisitos funcionales.