Mechanistic Evidence for Spectral Structures in Prior-Data Fitted Networks

Resumo Técnico: Evidências Mecanísticas para Estruturas Espectrais em Redes Ajustadas a Dados Prioritários

Declaração do Problema
Redes Ajustadas a Dados Prioritários (PFNs) habilitam inferência bayesiana amortizada mapeando dados de contexto diretamente para distribuições preditivas posteriores em uma única passagem forward, oferecendo vantagens computacionais significativas sobre métodos tradicionais como Processos Gaussianos (GPs). No entanto, as PFNs sofrem de opacidade estrutural. Enquanto GPs clássicos utilizam kernels explícitos e interpretáveis, acredita-se que as PFNs absorvam implicitamente a estrutura bayesiana em seus pesos e ativações. Permanece desconhecido se as PFNs codificam estruturas espectrais identificáveis ou meramente memorizam mapeamentos entrada-saída, e se qualquer tal estrutura latente pode ser extraída como um objeto bayesiano explícito e portátil.

Metodologia
Os autores empregam uma combinação de ferramentas de interpretabilidade mecanicista e arquiteturas de decodificação inovadoras para investigar as representações internas de três arquiteturas PFN distintas: uma PFN de atenção vanilla padrão (VA-PFN), uma PFN de Atenção a Valores Desacoplados (DVA-PFN) e a TabPFN lançada publicamente.

1. Experimentos de Sondagem: O estudo utiliza uma "escada de sondas" para avaliar a acessibilidade de informações espectrais dentro das pontuações de atenção latentes ($\bar{H}$). Isso inclui métricas de alinhamento geométrico sem parâmetros (correlacionando distâncias latentes com mudanças de frequência de entrada) e sondagem supervisionada com classificadores lineares e não lineares (MLP) para determinar se parâmetros espectrais (frequência, peso) são linearmente decodificáveis.
2. Intervenções Causais: Para ir além da correlação, os autores aplicam correção de ativação e intervenções em subespaços direcionados.
   • Correção de Ativação: Substituir a representação latente de um sinal por outro para medir o efeito causal (CE) na previsão.
   • Correção de Subespaço Direcionado: Substituir apenas os $k$ principais componentes principais do espaço latente para determinar se a informação espectral está concentrada em um subespaço de baixa dimensão ou distribuída difusamente.
3. Decodificador de Banco de Filtros: Com base nas descobertas mecanicistas, os autores introduzem um "Decodificador de Banco de Filtros". Este módulo mapeia latentes PFN congelados para estimativas explícitas de densidade espectral. Usando o teorema de Bochner, essas densidades são reconstruídas em kernels estacionários, permitindo regressão GP a jusante sem otimização no tempo de teste.

Principais Contribuições

• Evidência Mecanicista de Codificação Espectral: O artigo fornece a primeira evidência sistemática de que PFNs aprendem representações espectrais estruturadas. A informação espectral é encontrada como linearmente decodificável a partir da pontuação de atenção latente média ($\bar{H}$) e organizada ao longo de um eixo principal dominante.
• Validação Causal: Através da correção de ativação, os autores demonstram que $\bar{H}$ é um portador causal de identidade espectral. Crucialmente, intervenções em subespaços direcionados revelam que essa informação está concentrada em um subespaço de baixa dimensão (frequentemente os primeiros poucos componentes principais), que é significativamente mais eficaz para previsão do que direções aleatórias.
• Generalizabilidade: Essas propriedades espectrais mostram-se características emergentes da amortização estilo-PFN sobre tarefas de regressão contínua, em vez de artefatos de priores de treinamento específicos. Elas se mantêm através de diferentes mecanismos de atenção (conjunta, desacoplada, alternada) e tanto em entradas sintéticas quanto em séries temporais do mundo real (Passageiros de Aviação, Produção de Leite) convertidas para regressão tabular.
• Extração de Kernel Explícito: O Decodificador de Banco de Filtros proposto extrai com sucesso kernels explícitos e portáteis de representações PFN congeladas. Esses kernels suportam regressão GP competitiva com baselines iterativas (como Aprendizado de Kernel Profundo e Características de Fourier Aleatórias), exigindo apenas uma única passagem forward e nenhuma otimização no tempo de teste.

Resultados

• Decodificabilidade Linear: Sondas lineares alcançam altas pontuações $R^2$ ($>0,93$) na recuperação de frequência e pesos a partir de $\bar{H}$ em todas as arquiteturas, indicando que a informação espectral é codificada em uma forma aproximadamente linearmente separável.
• Subespaço Causal: Na correção de subespaço direcionado, substituir os principais componentes espectrais da TabPFN desloca as previsões em direção ao sinal doador com alta eficiência. Por exemplo, corrigir apenas algumas direções espectrais alcança um efeito causal comparável à substituição completa de tensores, enquanto direções aleatórias exigem correção em mais de 100 dimensões para alcançar efeitos semelhantes.
• Desempenho do Kernel Decodificado: Os kernels extraídos performam competitivamente em benchmarks de kernel padrão (RBF, Periódico, Misto Espectral). Notavelmente, o decodificador executa $\sim250\times$ mais rápido do que baselines iterativas que exigem otimização por tarefa. Embora o decodificador não corresponda ao próprio desempenho preditivo da PFN (que mantém acesso ao latente completo), ele supera significativamente métodos clássicos de estimação espectral (como Periodogramas) em alvos não vistos, herdando a regularização estrutural da PFN.
• Insights de Arquitetura: O estudo sugere que a estrutura espectral é construída na primeira etapa de atenção cruzada, com camadas subsequentes dedicadas principalmente à formatação posterior. Isso implica que a profundidade e largura da PFN além de certo ponto rendem retornos decrescentes para a construção espectral.

Significância e Alegações
O artigo afirma fechar a lacuna entre a eficiência da inferência amortizada e a interpretabilidade de objetos bayesianos explícitos. Ao demonstrar que priores PFN não são meramente implícitos, mas explicitamente recuperáveis como kernels portáteis, o trabalho desafia a visão de PFNs como "caixas pretas". Os autores postulam que essas descobertas oferecem uma "verificação de sanidade" para o design de PFN, sugerindo que arquiteturas futuras poderiam ser otimizadas focando nas etapas iniciais de atenção cruzada para construção espectral, em vez de camadas de formatação profundas. Além disso, a capacidade de extrair kernels que suportam tarefas a jusante (como otimização bayesiana em CPU) sem reinvocar a rede neural destaca um caminho prático para implantar PFNs em ambientes com recursos limitados ou críticos para interpretabilidade. Os autores permanecem modestos, reconhecendo que o decodificador é uma leitura diagnóstica e não uma substituição completa da PFN, e que algumas informações preditivas permanecem fora da parametrização de mistura espectral.