Resumo Técnico: PFNs Desacopladas via Priors Sintéticos Estruturados

Declaração do Problema

Redes Pré-Ajustadas (Prior-Fitted Networks - PFNs) oferecem um mecanismo poderoso para previsão Bayesiana amortizada através de meta-aprendizado sobre priors de tarefas sintéticas. Elas mapeiam um conjunto de dados de contexto e uma entrada de consulta para uma distribuição preditiva posterior em uma única passagem forward, eliminando a necessidade de otimização por tarefa. No entanto, para tarefas de tomada de decisão sequencial, como Aprendizado Ativo e Otimização Bayesiana (BO), a saída padrão de uma PFN apresenta uma limitação crítica: ela fornece uma distribuição preditiva posterior sobre observações ruidosas ($p(y^*|x^*, D)$).

Esta distribuição conflita duas fontes distintas de incerteza:

1. Incerteza Epistêmica: Incerteza redutível sobre o sinal latente (a função subjacente).
2. Incerteza Aleatória: Incerteza irredutível devido ao ruído de observação.

Na tomada de decisão sequencial, as funções de aquisição devem priorizar a redução da incerteza epistêmica para explorar o sinal latente. Se um modelo não consegue distinguir entre alto ruído (aleatório) e alta ignorância (epistêmica), regras de aquisição baseadas na variância preditiva total podem desperdiçar orçamento ao consultar repetidamente regiões de alto ruído em vez de áreas inexploradas da função latente.

O artigo estabelece uma barreira teórica para resolver isso com PFNs padrão: a Proposição 1 prova que a divisão epistêmica–aleatória não é identificável a partir da distribuição preditiva marginal isoladamente. Mesmo que uma PFN padrão aprenda perfeitamente a distribuição preditiva marginal $p(y^*|x^*, D)$, existe um contínuo de decomposições aditivas em variância de sinal e variância de ruído que produzem exatamente a mesma distribuição marginal. Consequentemente, uma PFN padrão treinada apenas em alvos ruidosos não tem incentivo no nível objetivo para aprender uma decomposição única.

Metodologia

Para superar essa não-identificabilidade, os autores aproveitam a vantagem única das PFNs: o processo de geração de dados sintéticos está sob o controle do pesquisador. Eles propõem uma arquitetura de PFN Desacoplada treinada com supervisão privilegiada derivada de um prior de tarefa sintética aumentado.

1. Prior de Tarefa Sintética Aumentado

Durante o pré-treinamento, o gerador sintético é modificado para definir explicitamente a decomposição sinal-ruído para cada tarefa $\tau$:

• Uma função de sinal latente sem ruído $f_\tau(x)$ é amostrada.
• Uma função de ruído de observação $\sigma^2_\tau(x)$ é amostrada (suportando tanto ruído homoscedástico quanto heteroscedástico).
• As observações são geradas como $y = f_\tau(x) + \epsilon$, onde $\epsilon \sim \mathcal{N}(0, \sigma^2_\tau(x))$.

Crucialmente, o gerador fornece alvos auxiliares privilegiados durante o treinamento: o sinal sem ruído $f_\tau(x^*)$ e a variância do ruído $\sigma^2_\tau(x^*)$ para cada consulta. No momento do teste, o modelo recebe apenas as entradas padrão (contexto $D$ e consulta $x^*$), mantendo a interface padrão da PFN.

2. Arquitetura Desacoplada com Bins

O modelo é adaptado para prever os componentes de sinal e ruído separadamente usando uma estratégia de saída com bins:

• Cabeça de Sinal Latente (Epistêmica): Prevê uma distribuição categórica $\pi^{(f)}_\theta$ sobre bins fixos representando o sinal sem ruído $f^*$. Esta distribuição captura a incerteza epistêmica.
• Cabeça Aleatória: Prevê a variância do ruído de observação $\hat{\sigma}^2_\theta(x^*, D)$ no espaço de log-variância.
• Predição Induzida: A distribuição preditiva final ao nível de observação $p(y)$ é obtida convoluindo a distribuição do sinal latente com o modelo de ruído Gaussiano aprendido. Isso garante que o modelo mantenha a interface padrão da PFN para tarefas ao nível de observação, enquanto expõe o sinal latente para tomada de decisão.

3. Objetivo de Treinamento

O objetivo de treinamento combina três termos de perda:

1. Perda Preditiva: Log-verossimilhança negativa padrão com bins na distribuição de observação induzida (garantindo que o modelo permaneça um bom preditor de $y$).
2. Perda Epistêmica: Perda de entropia cruzada nos bins do sinal latente, supervisionada pelo $f_\tau(x^*)$ privilegiado.
3. Perda Aleatória: Erro quadrático no espaço de log-variância, supervisionado pelo $\sigma^2_\tau(x^*)$ privilegiado.

Os autores provam (Proposição 2) que, sob este objetivo, as cabeças auxiliares recuperam a distribuição condicional Bayes-ótima do sinal discretizado e a média geométrica condicional da variância do ruído.

4. Estratégia de Aquisição

Para tarefas a jusante (BO, HPO, Aprendizado Ativo), os autores definem funções de aquisição usando métricas apenas epistêmicas derivadas da cabeça latente (por exemplo, Melhoria Esperada baseada na média latente e variância epistêmica), em vez da variância preditiva total usada por bases padrão.

Contribuições Principais

1. Não-Identificabilidade Teórica: O artigo demonstra formalmente que a distribuição preditiva posterior de uma PFN padrão não identifica unicamente uma decomposição epistêmica–aleatória, mesmo com aprendizado perfeito da distribuição marginal.
2. Arquitetura de PFN Desacoplada: Um método novel que utiliza supervisão privilegiada do gerador sintético para treinar cabeças separadas para sinais latentes e ruído, permitindo que o modelo exponha um sinal epistêmico relevante para decisão.
3. Validação Empírica: O método é instanciado em dois modelos de fundação públicos (TabICL e TabPFN v2.5) e avaliado em Otimização de Hiperparâmetros (HPO), Otimização Bayesiana Sintética e Aprendizado Ativo.

Resultados

O artigo relata resultados em três configurações principais, comparando os modelos Desacoplados contra bases "Ajustadas" correspondentes (que compartilham a mesma espinha dorsal e pré-treinamento, mas carecem das cabeças desacopladas e supervisão privilegiada) e bases externas padrão (GP, TPE, Busca Aleatória).

• Otimização de Hiperparâmetros (HPO): Os modelos desacoplados mostram os ganhos mais claros aqui. Em uma varredura de 8 benchmarks envolvendo avaliações ruidosas e heteroscedásticas (por exemplo, LightGBM, XGBoost, Random Forest), o modelo Dec-ICL (TabICL Desacoplado) alcançou o melhor rank médio (2,50), superando significativamente sua contraparte ajustada (3,62). Os autores atribuem isso à capacidade da aquisição apenas epistêmica de evitar regiões de alto ruído no espaço de busca.
• Otimização Bayesiana Sintética: Em benchmarks sintéticos suaves e de baixa dimensão (Branin, Hartmann, Ackley), os modelos desacoplados permanecem competitivos. O Dec-PFN alcançou o melhor rank médio (2,60), superando ligeiramente sua contraparte ajustada (2,80) e superando as bases padrão GP e TPE. Os ganhos foram menores do que na HPO, consistente com o fato de que funções suaves e de baixo ruído alinham a incerteza total e a incerteza epistêmica mais estreitamente.
• Aprendizado Ativo: Em conjuntos de dados de regressão do mundo real, os modelos desacoplados usando variância epistêmica para aquisição superaram consistentemente as bases ajustadas usando variância total em 7 de 10 comparações de RMSE.

Significado e Alegações

O artigo alega que o valor primário do método proposto reside na tomada de decisão sequencial e não na precisão pura de regressão.

• Mitigação de Modos de Falha: A abordagem desacoplada mitiga o modo de falha de "exploração por variância total", onde modelos padrão ficam presos em regiões de alto ruído porque não conseguem distinguir ruído de ignorância.
• Transferência de Viés Indutivo: O método demonstra que uma decomposição sinal-ruído aprendida via supervisão privilegiada em dados sintéticos transfere-se efetivamente para tarefas do mundo real, atuando como um viés indutivo útil.
• Reenquadramento de PFNs: Os autores sugerem que as PFNs devem ser vistas não apenas como aproximadores rápidos de previsões posteriores, mas como veículos para aprender representações de incerteza relevantes para decisão através do desenho de objetivos de pré-treinamento sintético.

Os autores permanecem modestos quanto ao escopo, notando que a eficácia depende de quão bem as suposições de ruído sintético transferem-se para tarefas reais e que a implementação atual usa aproximações de correspondência de momentos Gaussianos para aquisição, o que é uma simplificação prática. Os ganhos são mais pronunciados em configurações ruidosas e estruturadas (como HPO) e menos críticos em ambientes suaves e de baixo ruído.