Automatic Discovery of Intra-Class Sub-Structure for Supervised Tabular Classification: Offline Clustering vs. Joint Sub-Center Training

Resumen Técnico: Descubrimiento Automático de la Subestructura Intra-clase para la Clasificación Tabular Supervisada

Planteamiento del Problema
En la clasificación tabular supervisada, las etiquetas de clase suelen ser más gruesas que el proceso generador de datos subyacente. Una única etiqueta (por ejemplo, "silla" o "Fallo de Tipo A") puede abarcar múltiples subtipos o modos de fallo distintos. La pregunta central de investigación es si el descubrimiento y aprovechamiento automático de esta estructura subyacente intra-clase oculta puede mejorar la precisión de la clasificación sin depender de modelos fundacionales complejos o de preentrenamiento no supervisado. El artículo investiga dos enfoques principales para este problema: un pipeline de agrupamiento (clustering) fuera de línea de dos etapas y un mecanismo de entrenamiento conjunto de extremo a extremo (end-to-end) mediante subcentros.

Metodología
El estudio emplea un Perceptrón Multicapa (MLP) estándar de dos capas ocultas con una capa penultimate de expansión (sobrecompleta) como clasificador base. Los autores comparan rigurosamente dos estrategias para modelar la heterogeneidad intra-clase en diez conjuntos de datos tabulares diversos (incluyendo Letter, MNIST, HAR y Yeast), utilizando 5 semillas aleatorias independientes por conjunto de datos y pruebas de significancia por pares.

1. Pipeline de Agrupamiento Fuera de Línea y Relabeling (Dos Etapas):

   • Paso 1: Entrenar una red base con etiquetas gruesas.
   • Paso 2: Extraer las características de la capa penultimate y aplicar $k$-means clustering de forma independiente dentro de cada clase para generar sub-etiquetas.
   • Paso 3: Reentrenar una nueva red desde cero utilizando estas nuevas sub-etiquetas.
   • Paso 4: En la inferencia, predecir una sub-etiqueta y mapearla de vuelta a la clase padre.
   • Los autores realizan un barrido completo sobre $k \in \{2, 3, 5, 10\}$ para determinar si hiperparámetros específicos impulsan el éxito o el fracaso.

2. Cabezal de Subcentros Conjunto (Extremo a Extremo):

   • Reemplaza la capa de salida estándar con una capa de subcentros que posee $C \times k$ logits (donde $C$ es el número de clases y $k$ es el número de subcentros).
   • El modelo se entrena de extremo a extremo utilizando una verosimilitud de softmax marginalizada, donde la probabilidad de una clase es la suma de las probabilidades de sus $k$ subcomponentes.
   • No ocurre un proceso separado de agrupamiento o relabeling; la red aprende la subestructura de forma implícita.

3. Heurística y Controles:

   • Heurística RF-Gap: Una herramienta de diagnóstico que predice si el descubrimiento de sub-clases ayudará basándose en la brecha de precisión entre un Random Forest (RF) y el MLP base.
   • Control de Parámetros Emparejados: Una variante no marginalizada (logits con promedio de pooling) para distinguir entre los beneficios del objetivo de modelo de mezcla frente a la simple expansión de la anchura de la capa de salida.
   • Diagnóstico de Codificador Congelado (Frozen-Encoder): Para determinar si las ganancias provienen de la flexibilidad de la capa de salida o de cambios en la representación compartida.

Resultos Clave

• El Agrupamiento Fuera de Línea es Poco Fiable: El pipeline de dos etapas fuera de línea es empíricamente inestable. En diez conjuntos de datos, mejoró la precisión en solo 2/10 (marginalmente) y degradó el rendimiento en 8/10. En seis conjuntos de datos, la degradación fue estadísticamente significativa (hasta -2.83 puntos porcentuales en Yeast). Un barrido sobre $k$ reveló que la degradación empeoró monótonamente a medida que $k$ aumentaba en 8/10 conjuntos de datos, lo que sugiere que el método es propenso a fabricar particiones espurias que perjudican la precisión de la etiqueta gruesa.
• El Entrenamiento Conjunto de Subcentros es Seguro: Reemplazar el pipeline fuera de línea con el cabezal conjunto de subcentros eliminó el modo de fallo. La peor degradación observada fue de -0.03 puntos porcentuales (estadísticamente indistinguible del ruido). El método conjunto mejoró la precisión en los conjuntos de datos donde el método fuera de línea falló (por ejemplo, Yeast, Vowel).
• Mecanismo Autolimitante (Effective-$k$): A pesar de tener asignado un presupuesto de $k=10$ subcentros, el cabezal conjunto se autolimita a 1–2 componentes activos por clase en 9/10 conjuntos de datos. Este "colapso de expertos" evita que el modelo se sobreajuste al ruido en clases que carecen de una subestructura genuina, actuando como una forma de regularización implícita.
• Rol de la Marginalización vs. Capacidad: Un control de parámetros emparejados (logits con mean-pooling sin marginalización) funcionó de manera estadísticamente indistinguible del cabezal conjunto marginalizado en todos los 10 conjuntos de datos. Esto sugiere que, en el tamaño de muestra actual, el margen de seguridad es atribuible al aumento de la anchura de la capa de salida más que al mecanismo específico de verosimilitud marginal, aunque el cabezal conjunto sigue siendo estrictamente más seguro que el enfoque fuera de línea.
• Heurística RF-Gap: La heurística (que predice "división" si la precisión de RF supera a la del MLP por >2pp) predijo correctamente la dirección de la mejora en 13/17 conjuntos de datos (76%). Sin embargo, esto es solo marginalmente mejor que una línea base trivial de "siempre omitir" (70.6%), y la correlación no es estadísticamente significativa ($r=0.37, p=0.15$). Sirve como una regla de oro débil y direccional en lugar de un predictor robusto.
• Artefacto del Presupuesto de Entrenamiento: Los autores identificaron un artefacto metodológico donde una implementación anterior que utilizaba descenso de gradiente de lote completo (full-batch) para la red de extremo a extremo (frente a un solver bien ajustado para el probe lineal) sugería falsamente que las características de la capa penultimate eran superiores. Cuando ambos fueron entrenados con presupuestos de mini-lote iguales, el probe de extremo a extremo igualó o superó al probe en 8/10 conjuntos de datos, corrigiendo una interpretación errónea previa.

Significancia y Reivindicaciones
Los autores posicionan este trabajo principalmente como un estudio empírico y diagnóstico riguroso más que como una propuesta de una arquitectura novedosa. Sus contribuciones son:

1. Caracterización Empírica: Proporcionar una comparación sistemática y estadísticamente rigurosa que muestra que el enfoque intuitivo de agrupamiento fuera de línea es poco fiable para la clasificación tabular supervisada, mientras que el enfoque conjunto de subcentros ofrece una alternativa segura que evita los modos de fallo mediante la autorregularización.
2. Perspectivas Diagnósticas: Descubrir el fenómeno de "effective-$k$" (autolimitación de subcentros) y el artefacto del presupuesto de entrenamiento, lo que aclara por qué ciertas comparaciones en la literatura pueden ser erróneas.
3. Limitaciones Honestas: El artículo establece explícitamente que no reclama novedad arquitectónica para el cabezal de subcentros (que adapta mecanismos existentes de ACOL y Sub-center ArcFace) ni novedad en el rendimiento de MLP contra ensambles de árboles. El valor reside en la rendición de cuentas estadística honesta, el reporte transparente de resultados nulos (por ejemplo, la indistinguibilidad de los cabezales marginalizados vs. mean-pooled) y los hallazgos cautelares sobre el agrupamiento fuera de línea.

El estudio concluye que, si bien el descubrimiento automático de la subestructura mediante entrenamiento conjunto es un mecanismo seguro que no degrada el rendimiento, sus beneficios son modestos y a menudo indistinguibles de la flexibilidad de una capa de salida más ancha. El enfoque de agrupamiento fuera de línea, por el contrario, debe tratarse con precaución debido a su alto riesgo de degradación significativa del rendimiento.