Correcting Class Imbalance in Prior-Data Fitted Networks for Tabular Classification

Resumo Técnico: Correção do Desequilíbrio de Classes em Redes Ajustadas a Dados Prévios para Classificação Tabular

Enunciado do Problema
Redes Ajustadas a Dados Prévios (PFNs), em particular o TabPFN, demonstraram desempenho de última geração em tarefas de classificação tabular, aproveitando a aprendizagem em contexto (ICL) sem atualizar os pesos do modelo. No entanto, como muitos classificadores, as PFNs sofrem significativamente quando aplicadas a dados com desequilíbrio de classes. Nessas situações, embora a precisão média possa permanecer alta, o desempenho nas classes minoritárias degrada-se drasticamente, limitando a utilidade desses modelos para aplicações críticas como a detecção de doenças raras ou de ciberataques.

Estratégias padrão de mitigação para o desequilíbrio de classes dividem-se em três categorias: baseadas em perda (reponderação), baseadas em dados (reamostragem) e baseadas em decisão (limiarização). Contudo, a dinâmica única de ICL das PFNs torna as estratégias baseadas em perda impossíveis, uma vez que os pesos do modelo não são atualizados durante a inferência. Além disso, abordagens baseadas em dados existentes, como a geração de amostras sintéticas minoritárias, mostraram eficácia limitada e altos custos computacionais neste cenário. Há uma falta de técnicas comprovadas para abordar o desequilíbrio especificamente dentro do framework PFN.

Metodologia
Os autores investigam as características únicas de calibração das PFNs para desenvolver e avaliar estratégias de correção compatíveis com a ICL. O estudo foca em quatro técnicas específicas:

1. Limiarização (Nível de Decisão): Ajustar o limite de decisão para além do limiar padrão de 0,5. Os autores hipotetizam que definir o limiar $\tau$ igual à probabilidade a priori da classe minoritária ($\pi_1$) pode contrabalançar o desequilíbrio de dados, minimizando efetivamente o risco esperado $R$ definido por custos desiguais de falsos negativos e falsos positivos.
2. Subamostragem (Nível de Dados): Reduzir o número de amostras da classe majoritária no conjunto de contexto para igualar o tamanho da classe minoritária, equalizando assim as priores ($\pi_0 = \pi_1$) sem gerar novos dados.
3. Superamostragem (Nível de Dados): Repetir amostras da classe minoritária no conjunto de contexto para equilibrar as priores.
4. Superamostragem Sintética (Nível de Dados): Gerar amostras minoritárias artificiais usando um modelo gerador para suplementar o conjunto de contexto.

Os experimentos utilizam o TabPFN-2.5 em 11 tarefas de classificação binária do benchmark OpenML-CC18. Os conjuntos de dados são artificialmente desequilibrados com priores minoritárias ($\pi_1$) variando de 0,05 a 0,3, enquanto o conjunto de teste permanece equilibrado. O desempenho é avaliado usando precisão por classe, precisão equilibrada e Precisão da Pior Classe (WCA).

Principais Descobertas e Resultados
O estudo produz várias observações críticas sobre o comportamento das PFNs e a eficácia dos métodos de correção:

• Características de Calibração: Ao contrário de muitos classificadores não lineares que são superconfiantes ou subconfiantes, as PFNs exibem um viés específico: são bem calibradas em dados equilibrados, mas tornam-se enviesadas para a classe majoritária quando os dados estão desequilibrados. Esse viés é consistente e previsível, sugerindo que uma simples limiarização pode corrigi-lo efetivamente.
• Desempenho da Limiarização: Os resultados experimentais confirmam que o limiar de decisão ótimo para maximizar a precisão equilibrada alinha-se estreitamente com a prior da classe minoritária ($\tau = \pi_1$). Este método alcança a melhor precisão equilibrada geral, melhorando significativamente o desempenho da classe minoritária com apenas uma diminuição mínima na precisão da classe majoritária.
• Eficácia da Subamostragem: A subamostragem desempenha de forma comparável à limiarização em termos de precisão equilibrada e alcança a maior Precisão da Pior Classe (WCA). Uma vantagem distinta da subamostragem é a redução no custo computacional da inferência, pois a complexidade de consulta do TabPFN escala quadraticamente com o tamanho do contexto.
• Ineficácia da Reamostragem: Tanto a superamostragem quanto a superamostragem sintética (TabPFGen) apresentam desempenho inferior ao modelo base. A superamostragem leva a um ajuste posterior "pontudo" devido à repetição de amostras, enquanto a superamostragem sintética falha em melhorar a precisão porque as amostras geradas originam-se da mesma classe de modelo e distribuição de dados, não oferecendo nenhuma informação nova.

Significado e Alegações
O artigo alega que o desempenho de modelos PFN de última geração em dados tabulares desequilibrados pode ser significativamente aprimorado através de correções simples e fundamentadas, em vez de mudanças arquitetônicas complexas ou geração de dados.

A contribuição principal é a identificação de que o viés de calibração específico das PFNs em direção à classe majoritária permite uma correção eficaz via limiarização (definindo $\tau = \pi_1$) e subamostragem. Os autores enfatizam que esses métodos são:

• Simples de implementar: Não requerem retreinamento ou ajuste fino do modelo pré-treinado.
• Eficazes: Melhoram drasticamente a detecção da classe minoritária enquanto mantêm alta precisão equilibrada.
• Computacionalmente eficientes: Especialmente a subamostragem, que reduz os custos de inferência.

Os autores concluem que, embora esses métodos simples abordem o problema imediato do desequilíbrio, eles podem deixar espaço para ganhos de desempenho futuros através de métodos especificamente projetados para as forças únicas das PFNs. Eles também observam que estender essas estratégias para classificação multiclasse permanece um desafio não trivial para trabalhos futuros.