Pre-trained Tabular Foundation Models as Versatile Summary Networks for Neural Posterior Estimation

Resumo Técnico: Modelos Fundamentais Tabulares Pré-treinados como Redes de Resumo Versáteis para Estimativa de Posteriori Neural

Declaração do Problema

A inferência baseada em simulação (SBI) aborda problemas de inferência bayesiana onde a função de verossimilhança $p(x|\theta)$ é intratável ou cara de avaliar, mas amostras podem ser geradas via um simulador $x \sim p(x|\theta)$. Métodos padrão de SBI neural, como a Estimativa de Posteriori Neural (NPE), tipicamente treinam estimadores de densidade condicional diretamente em pares simulados de parâmetro-observação. No entanto, a qualidade desses estimadores depende fortemente do orçamento de simulação e da qualidade das estatísticas de resumo utilizadas para representar as observações. Embora redes pré-ajustadas (PFNs) como o TabPFN ofereçam uma rota sem treinamento para inferência amortizada, adaptando-se a novas tarefas via aprendizado em contexto, sua aplicação à SBI tem sido limitada. Trabalhos anteriores (NPE-PFN) utilizaram o TabPFN como um amostrador de posteriori autoregressivo direto, limitado por seu tamanho de contexto e interface de alvo escalar. Este artigo investiga uma abordagem alternativa: aproveitar o TabPFN não como um amostrador direto, mas como uma rede de resumo modular e congelada para extrair representações informativas das saídas do simulador para inferência a jusante.

Metodologia: PFN-NPE

Os autores propõem o PFN-NPE, uma receita geral que desacopla a aprendizagem de representação da amostragem de posteriori. O método consiste em três componentes configuráveis:

1. Construção em Contexto: Para cada coordenada de parâmetro $d$ do vetor de parâmetros $\theta$, um contexto de regressão escalar $C_d$ é construído usando um subconjunto de $m$ simulações de treinamento. Neste contexto, as saídas do simulador $x_i$ servem como características tabulares, e a coordenada de parâmetro escalar $\theta_{i,d}$ serve como alvo de regressão.
2. Extração de Resumo Congelada: Um codificador TabPFN pré-treinado (pesos fixos) é consultado para cada simulação de treinamento, simulação de validação e observação de referência $x_o$ usando o contexto $C_d$. Isso produz um embedding da camada final $h_d(x)$ para cada coordenada de parâmetro. Esses embeddings são concatenados para formar um resumo bruto $h_{raw}(x)$.
3. Projeção e Inferência: O resumo bruto é projetado para uma dimensão fixa (padrão 64) usando uma transformação linear (por exemplo, PCA) ajustada no conjunto de treinamento. Um estimador de densidade condicional (padrão: Fluxo de Spline Neural) é então treinado em pares desses resumos fixos e os parâmetros correspondentes $\{(s(x_i), \theta_i)\}$.

Crucialmente, o TabPFN é consultado apenas uma vez durante a fase de pré-cálculo do resumo. O cabeçalho de inferência a jusante é específico da tarefa e treinado nos resumos fixos, permitindo que o modelo fundamental sirva como um componente reutilizável em diferentes tarefas de SBI.

Contribuições Principais

1. Formulação do PFN-NPE: O artigo formula um método que utiliza um TabPFN congelado como uma rede de resumo para Estimativa de Posteriori Neural, separando as capacidades de representação do modelo fundamental do mecanismo de amostragem de posteriori.
2. Avaliação Empírica Abrangente: Os autores avaliam o PFN-NPE em toda a suíte de benchmarks SBIBM, incluindo tarefas padrão, variantes com coordenadas de incômodo (distratores) e simuladores de séries temporais estruturadas, sob orçamentos de simulação correspondentes (tipicamente $n=10.000$).
3. Estrutura de Diagnóstico: Além do desempenho conjunto agregado, o estudo emprega C2ST marginal, C2ST no espaço de ranks e sondas de quantis para dissecar onde surgem discrepâncias de posteriori. Isso inclui analisar se os resumos congelados preservam a localização marginal, a escala e as estruturas de dependência conjunta.

Resultados

A comparação empírica revela um cenário de desempenho dependente da tarefa:

• Desempenho: Com um orçamento de 10.000 simulações, o método autoregressivo NPE-PFN geralmente alcança o menor C2ST conjunto médio em tarefas de benchmark padrão (por exemplo, GLM Bernoulli, SIR, Lotka-Volterra). No entanto, o PFN-NPE supera tanto o NPE-PFN quanto as bases NPE com resumo aprendido em modelos de mistura (por exemplo, Mistura Gaussiana) e tarefas com coordenadas de incômodo (distratores).
• Informação Marginal vs. Conjunta: Sondagens de diagnóstico indicam que os resumos derivados do TabPFN frequentemente preservam informações de posteriori unidimensionais úteis. Sondagens lineares decodificam com sucesso médias de posteriori e quantis marginais dos embeddings congelados em várias tarefas.
• Limitações na Estrutura Conjunta: Apesar da boa recuperação marginal, o PFN-NPE exibe C2ST conjunto e C2ST no espaço de ranks elevados em tarefas com estruturas de dependência complexas (por exemplo, SLCP, Lotka-Volterra, séries temporais). A lacuna "conjunto menos marginal" sugere que, embora os resumos capturem localização e escala marginais, eles lutam para representar a geometria de posteriori conjunta completa necessária para amostragem multivariada precisa.
• Eficiência: O PFN-NPE incorre em um custo único para o treinamento de embedding e fluxo, mas oferece custo de amostragem negligenciável para consultas repetidas, em contraste com o NPE-PFN, que realiza inferência em contexto para cada consulta.

Significado e Alegações

O artigo alega que o TabPFN pode servir como uma rede de resumo eficaz e sem treinamento para SBI, particularmente em configurações envolvendo distribuições de mistura ou coordenadas de incômodo onde resumos aprendidos padrão podem ter dificuldades. O significado reside em demonstrar que modelos fundamentais congelados podem codificar informações suficientes de posteriori marginal para suportar estimativa de densidade a jusante, mesmo sem ajuste fino específico da tarefa.

No entanto, os autores são modestos quanto à universalidade do método. Eles afirmam explicitamente que o principal modo de falha para essa abordagem de resumo congelado é a representação de estruturas de dependência multivariada. Os diagnósticos sugerem que, embora o objetivo de pré-treinamento (previsão supervisionada escalar em modelos causais estruturados) se alinhe bem com tarefas que exigem recuperação marginal, ele pode não capturar inerentemente as dependências conjuntas complexas necessárias para amostragem de posteriori precisa em todos os regimes de SBI. O artigo conclui que o PFN-NPE é uma alternativa versátil e modular que transfere o ônus da aproximação de posteriori para o cabeçalho de inferência, mas sua eficácia é contingente ao alinhamento entre o prior de pré-treinamento do modelo fundamental e os requisitos estruturais específicos da tarefa de SBI.