Resumen Técnico: Modelos Fundacionales de Bolsillo

Enunciado del Problema

Los Modelos Fundacionales Tabulares (TFM) como TabICLv2, TabPFNv2.6 y LimiX han demostrado una precisión de vanguardia en conjuntos de datos estructurados pequeños mediante el uso de aprendizaje en contexto (ICL) a través de grandes transformadores. Sin embargo, estos modelos enfrentan una barrera crítica para su despliegue: requieren atender a todo el conjunto de entrenamiento en el momento de la consulta, lo que resulta en latencias de inferencia entre 151 ms y 1,275 ms en GPUs. Esta latencia es incompatible con aplicaciones en tiempo real como la detección de fraudes, la puntuación crediticia o el triaje de pacientes, que a menudo requieren respuestas inferiores a 2 ms. Además, los costos de GPU y las restricciones de producción que solo admiten CPU hacen que el despliegue directo de TFM sea poco práctico.

Aunque la destilación de conocimiento ofrece una vía para comprimir estos modelos en estudiantes de Árboles de Decisión Potenciados por Gradiente (GBDT) más rápidos, surge un obstáculo técnico específico con los maestros basados en ICL. Cuando un maestro ICL puntúa ejemplos que ya están presentes en su contexto (es decir, su propio conjunto de entrenamiento), sus predicciones colapsan a vectores casi one-hot con entropía casi nula. Esta "fuga" destruye la estructura interclase (etiquetas suaves) necesaria para una destilación efectiva, haciendo que el estudiante no aprenda más de lo que aprendería con etiquetas duras, a menudo desempeñándose peor que el entrenamiento estándar.

Metodología

El artículo propone una tubería de destilación consciente de la fuga que convierte maestros TFM en estudiantes GBDT o MLP listos para CPU. La innovación central es el uso de etiquetado estratificado fuera de pliegue (OOF) para prevenir la fuga de contexto.

1. Etiquetado OOF: El conjunto de datos de entrenamiento $D$ se divide en $K=5$ pliegues estratificados. Para cada pliegue $k$, el modelo maestro se ajusta sobre $D \setminus D_k$ y se utiliza para predecir probabilidades únicamente para el conjunto retenido $D_k$. Esto asegura que el maestro nunca vea los ejemplos de consulta en su contexto, preservando la señal de etiqueta suave (estructura interclase) requerida para la destilación.
2. Promedio de Múltiples Maestros: En configuraciones de múltiples maestros, las predicciones OOF de diferentes familias de TFM (por ejemplo, TabPFN, TabICL, LimiX) se promedian con pesos iguales antes de ser utilizadas como objetivos.
3. Objetivo del Estudiante: El estudiante (XGBoost, CatBoost, LightGBM o MLP) se entrena utilizando una función de pérdida mixta al estilo de Hinton:
   $$\mathcal{L} = \alpha \sum_i w_i T_i^2 \text{KL}(\hat{p}_i^{T_i} \parallel q_i^{T_i}) + (1-\alpha) \sum_i w_i \ell_{\text{CE}}(y_i, q_i)$$
   Donde $\alpha=0.7$, $T_i$ es un escalado de temperatura por muestra con la entropía del maestro, y $w_i$ es un peso de confianza que reduce el peso de las predicciones demasiado seguras o casi aleatorias. Para estudiantes basados en árboles, el término KL se simplifica a regresión MSE por clase sobre los logits de etiquetas suaves.
4. Selección del Maestro: El artículo encuentra que la clasificación de los maestros por su AUC individual en una muestra retenida se transfiere exactamente a la clasificación de los estudiantes resultantes. Por lo tanto, seleccionar el mejor maestro no requiere una búsqueda compleja de arquitecturas; simplemente se elige el maestro con el AUC individual más alto.

Contribuciones Clave

1. Etiquetado OOF Obligatorio: Los autores identifican que el etiquetado OOF no es opcional para los TFM basados en ICL. Sin él, la señal de etiqueta suave colapsa y la destilación produce estudiantes inferiores a las líneas base de etiquetas duras.
2. Rendimiento vs. Latencia: Destilar TabICLv2 en XGBoost logra un AUC medio macro de 0.882 (96.5% del AUC del maestro) con una latencia de 1.9 ms en un solo núcleo de CPU. Esto representa una aceleración de 38× a 860× en comparación con el maestro, superando estadísticamente a una línea base CatBoost ajustada en el 51% de 153 conjuntos de datos (Wilcoxon $p=0.0008$).
3. Ganancias Predecibles: Los beneficios de la destilación son altamente predecibles según la dimensionalidad de los datos:
   • Datos de baja dimensionalidad ($\le$ 21 características): La destilación proporciona una ganancia significativa (+0.011 AUC sobre CatBoost).
   • Datos de alta dimensionalidad ($>$ 21 características): Las ganancias son insignificantes (+0.001 AUC), y si el maestro en sí mismo tiene un rendimiento inferior a CatBoost, la destilación puede degradar aún más el rendimiento.
4. Dinámicas de Múltiples Maestros:
   • Estudiantes de Árboles: El promedio de múltiples maestros proporciona una ganancia estadísticamente detectable pero prácticamente insignificante (+0.0006 AUC). Un solo maestro fuerte es suficiente.
   • Estudiantes MLP: El promedio de múltiples maestros actúa como un suavizado de etiquetas efectivo, generando una ganancia significativa (+0.006 AUC, $p=0.003$) sobre el entrenamiento con un solo maestro.
5. Tubería de Código Abierto: La tubería completa está implementada y lanzada como parte de la biblioteca TabTune.

Resultados

La evaluación cubre 153 conjuntos de datos de clasificación de TALENT, OpenML-CC18, TabZilla y TabArena.

• Precisión: La mejor configuración destilada (TabICLv2 $\to$ XGBoost) logra un AUC de 0.882, reteniendo el 96.5% del rendimiento del maestro.
• Latencia: Los estudiantes de árboles destilados se ejecutan en 1.9–4.0 ms en CPU, en comparación con 151–1,275 ms para los maestros en GPU.
• Líneas Base: Los modelos destilados superan a una línea base CatBoost ajustada en el 51% de los conjuntos de datos. Por el contrario, OrionMSP, un maestro más débil, produce estudiantes que ganan solo el 22.6% de las veces.
• Ablación: Para estudiantes MLP en datos de baja dimensionalidad, el uso de etiquetas duras con OOF ($\alpha=0$) superó a la tubería completa de etiquetas suaves de Hinton en 0.034 AUC, lo que sugiere que para datos limpios y de baja dimensionalidad, la maquinaria compleja de etiquetas suaves es opcional, pero el etiquetado OOF sigue siendo crítico.

Significancia

El artículo demuestra que el "problema de despliegue" de los modelos fundacionales tabulares puede resolverse sin sacrificar sus ventajas de precisión. Al abordar el problema específico de fuga inherente a los maestros ICL, los autores muestran que es posible destilar la "estructura interclase" de un TFM en un GBDT ligero y nativo de CPU.

La significancia radica en la predecibilidad y el fallo elegante del enfoque:

• Si un TFM es fuerte, la destilación transfiere esa fuerza a un estudiante rápido.
• Si un TFM es débil (o los datos son de alta dimensionalidad), la destilación no infla artificialmente el rendimiento; falla limpiamente, a menudo desempeñándose peor que un GBDT estándar, señalando que el maestro no era un buen candidato.
• El método no requiere un ajuste complejo de hiperparámetros para el estudiante; la decisión principal es simplemente seleccionar el maestro con mejor rendimiento.

Los autores concluyen que para datos estructurados de baja dimensionalidad, los practicantes pueden lograr una precisión cercana a la del maestro al 1% del costo de inferencia, siempre que se adhieran estrictamente al protocolo de etiquetado OOF para evitar el colapso de la señal.