Resumo Técnico: SeBA - Aprendizado Semi-supervisionado com Poucos Exemplos via Alinhamento Separado ao Nascer para Dados Tabulares

1. Declaração do Problema

O artigo aborda o Aprendizado Semi-supervisionado com Poucos Exemplos (SS-FSL) para dados tabulares. Neste cenário, um modelo deve aprender a classificar dados usando um número muito pequeno de exemplos rotulados (o conjunto de suporte), enquanto aproveita um grande pool de dados não rotulados.

Embora o SS-FSL seja bem estabelecido em visão computacional (CV) e processamento de linguagem natural (NLP), ele permanece pouco explorado para dados tabulares. O principal gargalo para aplicar métodos padrão de SS-FSL a dados tabulares é a dependência de frameworks de Aprendizado Auto-supervisionado (SSL) que exigem aumentação de dados.

• O Desafio da Aumentação: Em CV, aumentações (por exemplo, recorte, rotação) preservam o significado semântico. Em dados tabulares, definir aumentações significativas é não trivial. Estratégias comuns como mascaramento zero, ruído gaussiano ou amostragem a partir de distribuições marginais frequentemente distorcem semânticas, geram amostras fora da distribuição ou violam restrições de características (por exemplo, tornar uma variável categórica não inteira), minando assim a eficácia do SSL.
• Limitações Atuais: Métodos de pré-treinamento tabulares existentes frequentemente contornam o SSL por completo, confiando em vez disso na detecção de clusters, modelos de difusão ou meta-aprendizado em tarefas auto-geradas, o que pode não explorar plenamente o potencial dos paradigmas de aprendizado contrastivo.

2. Metodologia: Alinhamento Separado ao Nascer (SeBA)

Os autores propõem o SeBA, um framework de embedding conjunto que elimina a necessidade de aumentações de dados artesanais. Em vez de criar pares positivos via aumentação, o SeBA os constrói separando os dados "ao nascer" em duas visões independentes e complementares.

Mecanismo Central

1. Separação de Dados: Para cada minibatch de dados não rotulados, uma máscara binária $m$ é amostrada. Esta máscara divide as características de cada ponto de dados $x$ em duas visões:

   • Visão de Características ($x_f$): Características onde a máscara é 0 ($x \odot (1-m)$).
   • Visão Alvo ($x_t$): Características onde a máscara é 1 ($x \odot m$).
     Estas visões são complementares e independentes.

2. Grafo de Similaridade Alvo: Pares positivos são definidos com base na Visão Alvo. Para uma amostra $x$, seu vizinho mais próximo $x'$ é identificado dentro do batch usando apenas as características na visão alvo ($x_t$ e $x'_t$). Esta relação de vizinho mais próximo serve como a "verdade fundamental" para similaridade semântica.

3. Objetivo de Alinhamento: O modelo é treinado para alinhar a representação da Visão de Características ($x_f$) com a representação da visão de características de seu vizinho mais próximo ($x'_f$).

   • Projetor Condicionado: Como a visão de características $x_f$ não contém inerentemente informações sobre a máscara $m$ usada para criá-la, o SeBA emprega um projetor condicionado $\pi(h, m)$. Este projetor recebe a saída do codificador $h$ e a máscara $m$ como entradas, permitindo que o modelo aprenda um espaço latente específico da tarefa que leva em conta o esquema de separação específico.
   • Função de Perda: O alinhamento é otimizado usando a perda InfoNCE, que aproxima as representações de pares positivos ($z, z'$) e afasta amostras não relacionadas.

4. Tratamento de Especificidades Tabulares:

   • Separação Consciente de Tipo: Para evitar dividir uma única variável categórica (codificada via one-hot) entre visões, a máscara é aplicada à representação original antes da codificação.
   • Imputação de Dados Faltantes: Características separadas são substituídas por zeros (imputação zero), o que os autores encontraram superior à amostragem a partir de distribuições marginais para seu codificador MLP leve.
   • Ensemble: Para lidar com a diversidade de conjuntos de dados e evitar a seleção de uma taxa de separação subótima, os autores treinam múltiplos modelos com diferentes taxas de separação fixas ($r \in \{0.1, \dots, 0.5\}$) e fazem ensemble de suas previsões durante a inferência.

3. Principais Contribuições

• Framework de Pré-treinamento Novel: Introdução do SeBA, o primeiro método de SS-FSL para dados tabulares que substitui a construção de pares positivos baseada em aumentação por um grafo de vizinho mais próximo derivado da separação de dados.
• Justificativa Teórica: Uma análise teórica para dados Gaussianos demonstrando que a probabilidade de um vizinho mais próximo na visão alvo pertencer a uma classe diferente decai exponencialmente à medida que a dimensionalidade da visão alvo e a separação entre classes aumentam. Isso valida que a correspondência de vizinho mais próximo na visão alvo produz pares positivos significativos.
• Validação Empírica: Extensos experimentos mostrando que o SeBA gera um espaço de saída que melhora a relação característica-rótulo, superando as linhas de base mais avançadas na maioria dos casos.

4. Resultados Experimentais

Os autores avaliaram o SeBA em 8 conjuntos de dados de benchmark padrão (do OpenML-CC18) e 3 conjuntos de dados adicionais desafiadores (alta dimensionalidade e esparsos: CNAE, Devnagari, FashionMNIST).

• Desempenho: O SeBA alcançou desempenho state-of-the-art (SOTA) em 17 de 24 instâncias através dos cenários 1-shot, 5-shot e 10-shot. Ele esteve entre os três melhores métodos nas 7 instâncias restantes.
• Robustez: O SeBA demonstrou estabilidade superior em comparação com concorrentes como STUNT e D2R2-c, exibindo menor variância nos resultados entre diferentes sementes aleatórias.
• Pontos Fortes Específicos:
  • O SeBA alcançou o melhor desempenho em conjuntos de dados com valores puramente categóricos (DNA, PIX).
  • A lacuna de desempenho entre o SeBA e as linhas de base foi particularmente pronunciada em conjuntos de dados de alta dimensionalidade (por exemplo, PIX, SEM).
• Estudos de Ablação:
  • Projetor Condicionado: Essencial para o desempenho, especialmente em regimes de poucos dados (1-shot).
  • Arquitetura do Codificador: Um MLP leve de 2 camadas superou uma arquitetura FT-Transformer mais complexa.
  • Pré-processamento: Normalização combinada com imputação zero produziu os melhores resultados.
  • Taxa de Separação: Fazer ensemble de modelos treinados com diferentes taxas forneceu os resultados mais robustos em comparação com uma única taxa fixa.

5. Significado e Alegações

O artigo alega que o desempenho inferior dos métodos de SSL no aprendizado com poucos exemplos em dados tabulares não é uma limitação inerente dos dados tabulares, mas sim uma consequência de confiar em estratégias de aumentação inadequadas.

Ao repensar o SSL através do Alinhamento Separado ao Nascer, os autores demonstram que:

1. É possível construir pares positivos significativos para dados tabulares sem aumentação manual.
2. Esta abordagem produz representações que melhoram significativamente a relação característica-rótulo, conforme evidenciado pelo aumento da consistência de rótulos no espaço latente em comparação com o espaço de entrada.
3. O SeBA abre uma nova via para o paradigma de SS-FSL em dados tabulares, oferecendo uma solução prática, leve e altamente eficaz para domínios como medicina, finanças e ciência, onde dados rotulados são escassos.

O trabalho posiciona o SeBA como um passo fundamental para aplicações com restrições de dados, sugerindo que pesquisas futuras devem explorar estratégias de alinhamento sem aumentação semelhantes para aprendizado de representação tabular.