High Performance, Low Reliability: Uncertainty Benchmarking for Tabular Foundation Models

Resumo Técnico: Alto Desempenho, Baixa Confiabilidade: Benchmarking de Incerteza para Modelos Fundamentais Tabulares

Declaração do Problema
Modelos Fundamentais Tabulares (TFMs) recentes, como TabPFN e TabICL, demonstraram desempenho preditivo de última geração em conjuntos de dados tabulares de pequena e média escala, frequentemente superando as tradicionais Árvores de Decisão com Gradiente Reforçado (GBDTs). No entanto, a confiabilidade desses modelos, especificamente no que tange à sua quantificação de incerteza, permanece amplamente inexplorada. Embora a precisão preditiva (AUC) seja a métrica principal para os benchmarks atuais, a confiabilidade da confiança do modelo é crítica para aplicações de segurança crítica em finanças e saúde. A literatura existente foca quase exclusivamente na precisão, deixando uma lacuna na compreensão de se os TFMs fornecem estimativas de incerteza bem calibradas ou se exibem excesso de confiança, particularmente sob condições ruidosas ou complexas.

Metodologia
Os autores propõem um protocolo de avaliação abrangente que vai além das métricas padrão de precisão para incluir a quantificação de incerteza via Predição Conformal (CP). O estudo avalia quatro famílias de modelos em 112 conjuntos de dados tabulares de pequena e média escala do benchmark TALENT, suplementados por 20 conjuntos de dados sintéticos projetados para isolar regimes de alto ruído e baixa separabilidade.

• Modelos Avaliados:
  • TFMs: TabPFN, TabICL, PFN-v2 e Mitra.
  • GBDTs: XGBoost, LightGBM e CatBoost.
  • Baselines: Métodos clássicos (k-NN, Regressão Logística) e Aprendizado Profundo (MLP, TabM).
• Framework de Predição Conformal:
  • O estudo utiliza a pontuação da Classe Menos Ambígua (LAC), $s(x, y) = 1 - \hat{p}(y|x)$, para transformar previsões pontuais em conjuntos de previsão.
  • Um conjunto de calibração (disjunto dos dados de treinamento) é usado para calcular pontuações de não conformidade e determinar um limiar de quantil $q_\alpha$ para uma cobertura alvo de $1-\alpha = 0.90$.
  • Isso garante garantias livres de distribuição de que o rótulo verdadeiro reside dentro do conjunto de previsão com probabilidade $\geq 1-\alpha$.
• Métricas de Avaliação:
  • AUC: Desempenho preditivo padrão.
  • Taxa de Cobertura (CR): A proporção de amostras de teste onde o rótulo verdadeiro está no conjunto de previsão.
  • Tamanho Médio do Conjunto (SS): Mede a informatividade dos conjuntos de previsão (conjuntos menores implicam maior confiança).
  • Pontuação de Cobertura Estratificada por Tamanho (SSCS): Uma métrica crítica introduzida para avaliar a cobertura condicional. Ela mede a cobertura empírica através de grupos de amostras com tamanhos de conjunto semelhantes. Um SSCS baixo indica que o modelo está excessivamente confiante (produzindo conjuntos pequenos) quando está, na verdade, errado, uma falha de calibração que a cobertura marginal pode não capturar.

Resultados Principais
Os resultados empíricos, médios sobre 15 sementes, revelam uma distinta compensação entre desempenho e incerteza:

1. Desempenho Preditivo vs. Confiabilidade: Os TFMs alcançam as maiores pontuações de AUC (por exemplo, TabICL em 0.890, PFN-v2 em 0.889) em comparação com as GBDTs (por exemplo, LightGBM em 0.864). No entanto, os TFMs exibem pontuações de SSCS significativamente mais baixas (variando de 0.494 a 0.517) em comparação com as GBDTs (variando de 0.532 a 0.544).
2. A Compensação: Existe uma tendência invertida entre a precisão e a qualidade da incerteza. Embora os TFMs sejam mais precisos, sua confiança não reflete fielmente a incerteza preditiva. Eles tendem a produzir "erros excessivamente confiantes" — conjuntos de previsão estreitos que falham em incluir o rótulo verdadeiro.
3. Descobertas com Dados Sintéticos: Em conjuntos de dados sintéticos com alto ruído e fraca separabilidade de classes, a lacuna se amplia. Os TFMs produzem previsões de alta variância e excessivamente confiantes, enquanto os modelos baseados em árvores (GBDTs) permanecem robustos e mantêm maior cobertura condicional (SSCS de 0.840 para GBDTs vs. 0.614 para TFMs em testes sintéticos).
4. Comportamento das Baselines: A Regressão Logística Clássica mostrou boa calibração marginal, mas lutou com a cobertura condicional perto de fronteiras não lineares. As baselines de aprendizado profundo (MLP, TabM) geralmente performaram pior do que os TFMs tanto em precisão quanto em calibração.

Significado e Alegações
O artigo conclui que, embora os TFMs avancem a fronteira da precisão preditiva, eles atualmente sofrem de um déficit majoritário de confiabilidade no que diz respeito à quantificação de incerteza. Os autores afirmam que:

• Os TFMs ainda não estão prontos para implantação de alto risco onde incerteza calibrada é necessária, pois eles sistematicamente produzem pontuações de cobertura estratificada por tamanho mais baixas do que os modelos tradicionais.
• As GBDTs permanecem a escolha mais confiável para conjuntos de dados de pequeno a médio porte, particularmente aqueles com alto ruído, heterogeneidade ou distribuições complexas de características, oferecendo melhor calibração e robustez apesar de um AUC ligeiramente inferior.
• Trabalho Futuro: Os autores identificam que alcançar incerteza bem calibrada é um grande desafio aberto. Eles sugerem que pesquisas futuras devem explorar deslocamentos de distribuição, mecanismos de incerteza específicos do modelo (por exemplo, ensembles, cabeças bayesianas) e distribuições de pré-treinamento alternativas para reduzir o excesso de confiança.

O estudo fornece a primeira avaliação sistemática da incerteza de TFM, demonstrando que alto desempenho não garante inerentemente alta confiabilidade no aprendizado tabular.