Resumo Técnico: LUCoS (Seleção de Contexto Não Supervisionada Latente)

Declaração do Problema

No aprendizado tabular com poucos rótulos, selecionar quais instâncias rotular é um desafio crítico. Modelos Fundacionais Tabulares (TFMs) recentes, como o TabPFN, dependem de Aprendizado em Contexto (ICL), onde o desempenho preditivo é altamente sensível às instâncias rotuladas específicas escolhidas como "conjunto de contexto". Embora experimentos com oráculo supervisionado demonstrem que conjuntos de contexto cuidadosamente selecionados podem superar significativamente a seleção aleatória sob o mesmo orçamento de rotulagem, o cenário de início frio — onde as instâncias devem ser selecionadas antes que qualquer rótulo esteja disponível — permanece amplamente não abordado na literatura de TFM.

Os métodos atuais de seleção de instâncias não supervisionada operam tipicamente no espaço de características tabulares original. No entanto, dados tabulares carecem de uma métrica natural devido a tipos de características heterogêneos, escalas mistas, esparsidade e interações não lineares. Consequentemente, distâncias geométricas no espaço bruto são frequentemente pouco confiáveis para similaridade preditiva, fazendo com que métodos de seleção performem de forma inconsistente ou até pior do que a amostragem aleatória à medida que o orçamento de rotulagem aumenta.

Metodologia: LUCoS

Os autores propõem o LUCoS (Seleção de Contexto Não Supervisionada Latente), um pipeline de quatro etapas projetado para realizar a seleção de instâncias sem acesso a rótulos. A hipótese central é que substituir a geometria pouco confiável do espaço de características original por uma geometria latente significativa induzida por um TFM não supervisionado permite que métodos de seleção geométrica simples identifiquem conjuntos de contexto informativos.

O framework consiste em dois componentes principais:

1. Mapa de Representação ($\phi$): Instâncias de treinamento não rotuladas são incorporadas em um espaço latente de alta dimensão usando o codificador de uma Rede Pré-Ajustada (PFN) não supervisionada. Especificamente, os autores utilizam o Codificador PIN do TabClustPFN, que gera incorporações de 512 dimensões independentes de atribuições de clusters. Esta etapa cria um espaço de representação relevante para a tarefa onde distâncias euclidianas refletem melhor a similaridade preditiva.
2. Seletor Geométrico ($\sigma$): Instâncias representativas são selecionadas neste espaço latente usando agrupamento K-Medoids com distância euclidiana. O número de medoides ($K$) é fixado ao orçamento de rotulagem. O K-Medoids é escolhido porque:
   • Seleciona instâncias reais de treinamento (medoides) em vez de centróides sintéticos, satisfazendo o requisito de que as amostras selecionadas sejam rotuláveis.
   • Minimiza um objetivo explícito de cobertura, garantindo que o subconjunto selecionado cubra a distribuição dos dados.
   • É determinístico (até a inicialização) e não requer priores de classe.

Fluxo do Pipeline:

1. Incorporar dados de treinamento não rotulados no espaço latente via codificador PFN não supervisionado.
2. Aplicar K-Medoids para selecionar $K$ medoides representativos no espaço latente.
3. Mapear os índices selecionados de volta ao espaço de características original e consultar um oráculo (especialista) por rótulos.
4. Usar o subconjunto rotulado resultante como o conjunto em contexto para um TFM supervisionado (TabPFN-2.5) para prever em dados de teste não vistos.

Contribuições Principais

1. Validação Empírica da Sensibilidade: Os autores demonstram que o desempenho do TFM em regimes de poucos rótulos é altamente sensível às instâncias de contexto específicas selecionadas. Uma análise com oráculo supervisionado (usando um Algoritmo Memético de Estado Estável) revela uma lacuna substancial de desempenho (até $\approx 0.19$ $\Delta$AUC nos menores orçamentos) entre a seleção aleatória e a seleção otimizada, indicando espaço significativo para melhoria.
2. Framework LUCoS: A proposta de um pipeline principiado e livre de rótulos que desacopla o aprendizado de representação da seleção. Ao realizar a seleção no espaço latente de uma PFN não supervisionada, o LUCoS permite que métodos geométricos simples (K-Medoids) identifiquem subconjuntos de alto desempenho.
3. Benchmarks Abrangentes: Avaliação em 67 conjuntos de dados OpenML-CC18 em seis orçamentos de poucos rótulos ($1C$ a $32C$, onde $C$ é o número de classes). O LUCoS alcança o primeiro lugar em AUC médio, Precisão e F1 em todos os orçamentos.
4. Decomposição de Mecanismos: O artigo decompõe os ganhos do LUCoS em componentes de seletor e representação:
   • Nos menores orçamentos ($1C$), o ganho é impulsionado principalmente pelo efeito do seletor (impondo cobertura via K-Medoids), com o espaço latente contribuindo pouco além das características brutas.
   • A partir de orçamentos de médio alcance ($4C$), o efeito de representação torna-se dominante. Neste regime, a seleção no espaço de características original degrada (frequentemente caindo abaixo do aleatório), enquanto o espaço latente "salva" o desempenho. Este efeito de "salvamento" é observado na maioria dos conjuntos de dados (78% dos casos).

Resultados

• Desempenho: O LUCoS supera consistentemente as linhas de base, incluindo amostragem aleatória, K-Medoids no espaço original, RDSS e ZCore. Ele ocupa o primeiro lugar em todos os seis orçamentos de rotulagem.
• Comparação com Oráculo: O LUCoS recupera aproximadamente 13–20% da lacuna entre a seleção aleatória e o oráculo supervisionado, apesar de operar sem qualquer informação de rótulo.
• Robustez: Os resultados são estáveis sob análise de deixar-um-conjunto-de-dados-de-fora, remoção progressiva de conjuntos de dados e em diferentes métricas de avaliação (AUC, ACC, F1).
• Modos de Falha de Alternativas: K-Medoids no espaço original e outros métodos não supervisionados (RDSS, ZCore) falham em vencer consistentemente a seleção aleatória, particularmente à medida que o orçamento cresce, confirmando que a geometria do espaço de representação é o gargalo crítico.

Significado e Alegações

O artigo argumenta que a seleção de contexto não supervisionada confiável para dados tabulares depende menos da sofisticação do algoritmo de seleção e mais da definição de representatividade dentro de uma geometria de representação significativa.

Os autores afirmam que:

• O "espaço para melhoria" no aprendizado tabular com poucos exemplos é substancial, mas não pode ser acessado simplesmente aplicando métodos de seleção baseados em distância projetados para visão ou linguagem a características tabulares brutas.
• Induzir uma geometria latente via PFNs não supervisionadas é um pré-requisito necessário para a seleção eficaz de instâncias no cenário de início frio.
• Melhorar o aprendizado de representação para dados tabulares é tão crítico quanto projetar heurísticas de seleção complexas.

O trabalho posiciona a seleção de contexto não supervisionada como uma ponte entre dados não rotulados abundantes e as previsões fortes e sensíveis ao contexto dos TFMs. Os autores reconhecem limitações, incluindo a restrição a tarefas de classificação com $\le 10$ classes, o custo computacional do K-Medoids em pools muito grandes e o acoplamento atual ao TabClustPFN como fonte de representação. Eles sugerem que trabalhos futuros devem explorar tarefas de regressão, aproximações escaláveis e se outros modelos de incorporação ou estratégias de seleção podem melhorar ainda mais o desempenho.