Automatic Discovery of Intra-Class Sub-Structure for Supervised Tabular Classification: Offline Clustering vs. Joint Sub-Center Training

Resumo Técnico: Descoberta Automática de Subestrutura Intra-Classe para Classificação Tabular Supervisionada

Definição do Problema
Na classificação tabular supervisionada, os rótulos das classes são frequentemente mais grosseiros do que o processo gerador de dados subjacente. Um único rótulo (por exemplo, "cadeira" ou "Falha do Tipo A") pode abranger múltiplos subtipos ou modos de falha distintos. A questão central de pesquisa é se a descoberta automática e a exploração dessa subestrutura intra-classe oculta podem melhorar a precisão da classificação sem depender de modelos de fundação complexos ou pré-treinamento não supervisionado. O artigo investiga duas abordagens primárias para este problema: um pipeline de agrupamento (clustering) offline em dois estágios e um mecanismo de treinamento de subcentros conjunto e de ponta a ponta (end-to-end).

Metodologia
O estudo emprega um Perceptron Multicamadas (MLP) padrão com duas camadas ocultas e uma camada penultimate de expansão (sobrecompleta) como o classificador base. Os autores comparam rigorosamente duas estratégias para modelar a heterogeneidade intra-classe em dez conjuntos de dados tabulares diversos (incluindo Letter, MNIST, HAR e Yeast), utilizando 5 sementes aleatórias independentes por conjunto de dados e testes de significância pareados.

1. Pipeline de Agrupamento Offline e Relabeling (Dois Estágios):

   • Passo 1: Treinar uma rede base em rótulos grosseiros.
   • Passo 2: Extrair características penúltimas e aplicar agrupamento k-means de forma independente dentro de cada classe para gerar sub-rótulos.
   • Passo 3: Retreinar uma nova rede do zero usando esses novos sub-rótulos.
   • Passo 4: Na inferência, prever um sub-rótulo e mapeá-lo de volta para a classe pai.
   • Os autores realizam uma varredura completa sobre $k \in \{2, 3, 5, 10\}$ para determinar se hiperparâmetros específicos impulsionam o sucesso ou o fracasso.

2. Cabeça de Subcentro Conjunta (Ponta a Ponta):

   • Substitui a camada de saída padrão por uma camada de subcentros com $C \times k$ logits (onde $C$ é o número de classes e $k$ é o número de subcentros).
   • O modelo é treinado de ponta a ponta usando uma verossimilhança de softmax marginalizada, onde a probabilidade de uma classe é a soma das probabilidades de seus $k$ subcomponentes.
   • Não ocorre um estágio de agrupamento separado ou relabeling; a rede aprende a subestrutura implicitamente.

3. Heurística e Controles:

   • Heurística RF-Gap: Uma ferramenta diagnóstica que prevê se a descoberta de sub-classe ajudará com base na lacuna de precisão entre uma Floresta Aleatória (RF) e o MLP base.
   • Controle de Parâmetros Correspondentes: Uma variante não marginalizada (logits com média agrupada/mean-pooled) para distinguir os benefícios do objetivo de modelo de mistura (mixture-model) em relação à simples expansão da largura da camada de saída.
   • Diagnóstico de Codificador Congelado: Para determinar se os ganhos advêm da flexibilidade da camada de saída ou de mudanças na representação compartilhada.

Resultados Principais

• O Agrupamento Offline é Não Confiável: O pipeline offline de dois estágios é empiricamente instável. Em dez conjuntos de dados, ele melhorou a precisão em apenas 2/10 (marginalmente) e degradou o desempenho em 8/10. Em seis conjuntos de dados, a degradação foi estatisticamente significativa (até -2,83 pontos percentuais em Yeast). Uma varredura sobre $k$ revelou que a degradação piorou monotonicamente à medida que $k$ aumentava em 8/10 conjuntos de dados, sugerindo que o método é propenso a fabricar partições espúrias que prejudicam a precisão do rótulo grosseiro.
• O Treinamento de Subcentro Conjunto é Seguro: Substituir o pipeline offline pela cabeça de subcentro conjunta eliminou o modo de falha. A pior degradação observada foi de -0,03 pontos percentuais (estatisticamente indistinguível de ruído). O método conjunto melhorou a precisão nos conjuntos de dados onde o método offline falhou (ex: Yeast, Vowel).
• Mecanismo Autolimitante (Effective-$k$): Apesar de possuir um orçamento alocado de $k=10$ subcentros, a cabeça conjunta se autolimita para 1–2 componentes ativos por classe em 9/10 conjuntos de dados. Este "colapso de especialistas" evita que o modelo sofra overfitting ao ruído em classes que carecem de subestrutura genuína, atuando como uma forma de regularização implícita.
• Papel da Marginalização vs. Capacidade: Um controle de parâmetros correspondentes (logits com média agrupada sem marginalização) teve desempenho estatisticamente indistinguível da cabeça conjunta marginalizada em todos os 10 conjuntos de dados. Isso sugere que, no tamanho de amostra atual, a margem de segurança é atribuível ao aumento da largura da camada de saída, em vez do mecanismo específico de verossimilhança marginal, embora a cabeça conjunta permaneça estritamente mais segura que a abordagem offline.
• Heurística RF-Gap: A heurística (prevendo "divisão" se a precisão da RF exceder a do MLP em >2pp) previu corretamente a direção de melhoria em 13/17 conjuntos de dados (76%). No entanto, isso é apenas marginalmente melhor do que uma linha de base trivial de "sempre pular" (70,6%), e a correlação não é estatisticamente significativa ($r=0,37, p=0,15$). Serve como uma regra prática fraca e direcionalmente útil, em vez de um preditor robusto.
• Artefato de Orçamento de Treinamento: Os autores identificaram um artefato metodológico onde uma implementação anterior usando gradiente descendente de lote total (full-batch) para a rede de ponta a ponta (em vez de um solver bem ajustado para a sonda linear) sugeriu falsamente que as características penúltimas eram superiores. Quando ambos foram treinados com orçamentos de mini-lote iguais, a saída de ponta a ponta igualou ou superou a da sonda em 8/10 conjuntos de dados, corrigindo uma interpretação errônea anterior.

Significância e Alegações
Os autores posicionam este trabalho primariamente como um estudo empírico e diagnóstico rigoroso, em vez de uma proposta de uma nova arquitetura. Suas contribuições são:

1. Caracterização Empírica: Fornecer uma comparação sistemática e estatisticamente rigorosa mostrando que a intuitiva abordagem de agrupamento offline é não confiável para classificação tabular supervisionada, enquanto a abordagem de subcentro conjunta oferece uma alternativa segura que evita modos de falha através de autorregularização.
2. Insights Diagnósticos: Revelar o fenômeno "effective-$k$" (subcentros autolimitantes) e o artefato de orçamento de treinamento, o que esclarece por que certas comparações na literatura podem ser falhas.
3. Limitações Honestas: O artigo declara explicitamente que não reivindica novidade arquitetônica para a cabeça de subcentro (que adapta mecanismos existentes de ACOL e Sub-center ArcFace) nem novidade no desempenho de MLP contra conjuntos de árvores. O valor reside na prestação de contas estatística honesta, no relato transparente de resultados nulos (ex: a indistinguibilidade de cabeças marginalizadas vs. médias agrupadas) e nos achados cautelosos sobre o agrupamento offline.

O estudo conclui que, embora a descoberta automática de subestrutura via treinamento conjunto seja um mecanismo seguro que não degrada o desempenho, seus benefícios são modestos e muitas vezes indistinguíveis da flexibilidade de uma camada de saída mais larga. A abordagem de agrupamento offline, inversamente, deve ser tratada com cautela devido ao seu alto risco de degradação significativa de desempenho.