Resumen Técnico: LoMETab: Más allá de los conjuntos de rango 1 para el aprendizaje profundo tabular

Planteamiento del Problema

Las últimas evaluaciones en aprendizaje profundo tabular revelan un "grupo de rendimiento ajustado" donde los métodos líderes, incluidos los árboles de decisión impulsados por gradiente (GBDT), las arquitecturas basadas en atención y los conjuntos implícitos como TabM, desempeñan funciones con eficacia comparable. Si bien los conjuntos profundos son un método probado para mejorar el rendimiento del modelo, entrenar $K$ redes independientes escala linealmente con el costo. Los conjuntos implícitos, como BatchEnsemble y TabM, abordan esto compartiendo la mayoría de los parámetros mientras introducen perturbaciones específicas de cada miembro.

Sin embargo, los conjuntos implícitos existentes dependen de una estructura de rango 1 fija. En TabM, cada miembro modula una matriz de pesos compartida $W$ mediante una máscara de rango 1 ($W_k = W \odot (s_k r_k^\top)$). Este diseño carece de un eje explícito para aumentar la capacidad de la modulación específica de cada miembro. En consecuencia, la diversidad del conjunto, el motor clave de las ganancias del conjunto, no es directamente controlable; debe emerger implícitamente de las máscaras de rango 1 fijas y de la dinámica de entrenamiento. Trabajos anteriores sugieren que, bajo ciertas condiciones, los miembros de BatchEnsemble pueden converger a funciones casi idénticas, lo que indica que la modulación de rango 1 puede no lograr una diversidad significativa.

Metodología: LoMETab

Los autores proponen LoMETab, una generalización de rango-$r$ de los conjuntos implícitos multiplicativos diseñada para superar las limitaciones de las estructuras de rango 1 fijas.

Formulación Central

En lugar de una máscara de rango 1, LoMETab asigna a cada miembro $k$ un par de matrices adaptadoras de bajo rango, $A_k \in \mathbb{R}^{d_{out} \times r}$ y $B_k \in \mathbb{R}^{d_{in} \times r}$. El peso efectivo para el miembro $k$ se define como:
$$W_k = W \odot (1 + A_k B_k^\top)$$
Aquí, $W$ es el peso base compartido, y $A_k B_k^\top$ forma una matriz residual de rango a lo sumo $r$. El término $(1 + A_k B_k^\top)$ actúa como una perturbación multiplicativa residual-identidad. Cuando la residual está cerca de cero, el miembro se comporta como el peso compartido; residuos más grandes inducen desviaciones específicas del miembro.

Arquitectura y Entrenamiento

• Arquitectura: LoMETab se inserta en una columna vertebral MLP tabular. Una incrustación lineal por partes compartida procesa la entrada, que luego se copia en $K$ miembros. Cada capa lineal oculta se reemplaza por una capa Lineal LoMETab, que combina el peso compartido con adaptadores específicos de cada miembro.
• Objetivo de Entrenamiento: El modelo se entrena utilizando una función de pérdida por miembro, optimizando la pérdida promedio de la tarea a través de todos los $K$ miembros. Esto permite que los submodelos paralelos se especialicen a pesar de compartir la columna vertebral.
• Inferencia: Las predicciones finales se obtienen promediando las salidas de todos los $K$ miembros (promediando probabilidades para clasificación, salidas escalares para regresión).

Expresividad Teórica

El artículo establece una jerarquía estricta en las clases de hipótesis. Para cualquier rango $r \ge 2$, el conjunto de pesos efectivos representables en LoMETab contiene estrictamente al conjunto representable por BatchEnsemble (rango 1). Específicamente, cualquier máscara de BatchEnsemble $s_k r_k^\top$ puede representarse como $1 + A_k B_k^\top$ porque la diferencia $s_k r_k^\top - 1$ tiene un rango de a lo sumo 2. Por lo tanto, LoMETab amplía estrictamente el espacio de diseño para $r \ge 2$.

Contribuciones Clave

1. Generalización de Rango-$r$: Introducción de LoMETab, que reemplaza las máscaras de rango 1 fijas con perturbaciones Hadamard de bajo rango residual-identidad, parametrizadas por el rango del adaptador $r$ y la escala de inicialización $\sigma_{init}$.
2. Diversidad Controlable: Demostración de que la capacidad de rango añadida se manifiesta como una diversidad predictiva medible. Los autores muestran que LoMETab mantiene una mayor divergencia Kullback–Leibler (KL) par a par que las ablaciones de bajo rango aditivas. Además, la cuadrícula $(r, \sigma_{init})$ proporciona un control amplio sobre la diversidad, variando la KL par a par en varios órdenes de magnitud.
3. Ajuste Dependiente del Conjunto de Datos: Evidencia empírica de que las configuraciones óptimas para el rango y la escala de inicialización dependen del conjunto de datos. El artículo argumenta en contra de una construcción de "rango 1 fijo", proponiendo en su lugar una familia controlable de conjuntos implícitos donde $r$ y $\sigma_{init}$ sirven como ejes de ajuste prácticos.

Resultados Experimentales

Los autores evaluaron LoMETab en 37 conjuntos de datos académicos (incluyendo la evaluación de TabM y fuentes de TabZilla) y 77 tareas de evaluación.

• Rendimiento en la Evaluación: LoMETab logra una clasificación media de 2.1 ± 1.3 en 37 conjuntos de datos, superando a TabM (2.3 ± 1.8) y compitiendo con sólidas líneas base GBDT (por ejemplo, XGBoost, CatBoost) y arquitecturas neuronales recientes. Ocupa el primer lugar en 14 conjuntos de datos y entre los tres primeros en el 89.2% de los conjuntos de datos.
• Control de Diversidad:
  • Multiplicativo vs. Aditivo: LoMETab mantiene una "brecha sostenida" en la divergencia KL par a par en comparación con un conjunto de bajo rango aditivo ($W_k = W + A_k B_k^\top$), que converge rápidamente a una baja diversidad.
  • Recorrido de Cuadrícula: El barrido de $r \in \{1, 2, 4, 8, 16\}$ y $\sigma_{init} \in \{0.1, \dots, 3.0\}$ revela que la diversidad se controla conjuntamente por estos ejes. Un $\sigma_{init}$ bajo resulta en baja diversidad independientemente del rango, mientras que un $\sigma_{init}$ más alto activa el eje de rango, aumentando significativamente la diversidad.
  • Métricas a Nivel de Tarea: El aumento de la diversidad se correlaciona con un mayor desacuerdo argmax en clasificación y una mayor ambigüedad en regresión.
• Compensación entre Rendimiento y Diversidad: Si bien la diversidad generalmente mejora el rendimiento, la relación no es estrictamente monótona. El ajuste de $r$ y $\sigma_{init}$ permite una optimización específica del conjunto de datos, a menudo superando el escalado simple del tamaño del conjunto $K$ en TabM.
• Eficiencia de Parámetros: A pesar de la mayor expresividad, LoMETab no necesariamente incurre en una mayor cantidad de parámetros que TabM. La optimización de hiperparámetros a menudo selecciona configuraciones más compactas (por ejemplo, dimensiones ocultas más pequeñas) al usar rangos más altos, lo que lleva a conteos totales de parámetros comparables o incluso inferiores en muchos casos.

Significado y Afirmaciones

El artículo afirma que, para los conjuntos implícitos tabulares, cómo se permite que los miembros se desvíen de una columna vertebral compartida es una pregunta de diseño central. Al ir más allá de la restricción de rango 1 fijo, LoMETab expone el rango del adaptador y la escala de inicialización como ejes prácticos y controlables para gestionar la diversidad del conjunto.

Los autores enmarcan modestamente su contribución como la provisión de una "familia controlable de conjuntos implícitos" en lugar de una solución fija. Enfatizan que la configuración óptima depende del conjunto de datos y que el valor principal de LoMETab radica en su capacidad para ajustar la forma y la escala de las desviaciones de los miembros para adaptarse a tareas específicas. El trabajo sugiere que la investigación futura podría explorar si esta controlabilidad se traduce en una mejor estimación de incertidumbre o detección fuera de distribución, aunque estos se identifican como direcciones para trabajos futuros y no como resultados actuales.