Mechanistic Evidence for Spectral Structures in Prior-Data Fitted Networks

Resumen Técnico: Evidencia Mecanicista de Estructuras Espectrales en Redes Ajustadas con Datos Previos

Enunciado del Problema
Las Redes Ajustadas con Datos Previos (PFN, por sus siglas en inglés) permiten la inferencia bayesiana amortizada al mapear datos de contexto directamente a distribuciones predictivas posteriores en una sola pasada hacia adelante, ofreciendo ventajas computacionales significativas sobre métodos tradicionales como los Procesos Gaussianos (GP). Sin embargo, las PFN sufren de opacidad estructural. Mientras que los GP clásicos utilizan kernels explícitos e interpretables, se cree que las PFN absorben implícitamente la estructura bayesiana en sus pesos y activaciones. Se desconoce si las PFN codifican estructuras espectrales identificables o simplemente memorizan mapeos de entrada-salida, y si dicha estructura latente puede extraerse como un objeto bayesiano explícito y portátil.

Metodología
Los autores emplean una combinación de herramientas de interpretabilidad mecanicista y arquitecturas de decodificación novedosas para investigar las representaciones internas de tres arquitecturas PFN distintas: una PFN de atención estándar simple (VA-PFN), una PFN de atención de valor desacoplado (DVA-PFN) y la TabPFN de lanzamiento público.

1. Experimentos de Sondeo: El estudio utiliza una "escalera de sondas" para evaluar la accesibilidad de la información espectral dentro de las puntuaciones de atención latente ($\bar{H}$). Esto incluye métricas de alineación geométrica libres de parámetros (correlacionando distancias latentes con cambios de frecuencia de entrada) y sondeo supervisado con clasificadores lineales y no lineales (MLP) para determinar si los parámetros espectrales (frecuencia, peso) son decodificables linealmente.
2. Intervenciones Causales: Para ir más allá de la correlación, los autores aplican parcheo de activaciones e intervenciones dirigidas a subespacios.
   • Parcheo de Activaciones: Reemplazar la representación latente de una señal con otra para medir el efecto causal (CE) sobre la predicción.
   • Parcheo Dirigido a Subespacios: Reemplazar solo los $k$ componentes principales superiores del espacio latente para determinar si la información espectral está concentrada en un subespacio de baja dimensión o distribuida difusamente.
3. Decodificador de Banco de Filtros: Basándose en los hallazgos mecanicistas, los autores introducen un "Decodificador de Banco de Filtros". Este módulo mapea las latentes congeladas de la PFN a estimaciones explícitas de densidad espectral. Utilizando el teorema de Bochner, estas densidades se reconstruyen en kernels estacionarios, permitiendo la regresión GP aguas abajo sin optimización en tiempo de prueba.

Contribuciones Clave

• Evidencia Mecanicista de Codificación Espectral: El artículo proporciona la primera evidencia sistemática de que las PFN aprenden representaciones espectrales estructuradas. Se encuentra que la información espectral es decodificable linealmente a partir de la puntuación de atención latente promediada ($\bar{H}$) y está organizada a lo largo de un eje principal dominante.
• Validación Causal: Mediante el parcheo de activaciones, los autores demuestran que $\bar{H}$ es un portador causal de la identidad espectral. Crucialmente, las intervenciones dirigidas a subespacios revelan que esta información está concentrada en un subespacio de baja dimensión (a menudo los primeros componentes principales), lo cual es significativamente más efectivo para la predicción que las direcciones aleatorias.
• Generalizabilidad: Se demuestra que estas propiedades espectrales son características emergentes de la amortización al estilo PFN sobre tareas de regresión continua, en lugar de ser artefactos de priores de entrenamiento específicos. Se mantienen a través de diferentes mecanismos de atención (conjunta, desacoplada, alterna) y tanto en entradas sintéticas como en series temporales del mundo real (Pasajeros de Aerolíneas, Producción de Leche) convertidas a regresión tabular.
• Extracción de Kernels Explícitos: El Decodificador de Banco de Filtros propuesto extrae con éxito kernels explícitos y portátiles de las representaciones congeladas de la PFN. Estos kernels soportan regresión GP competitiva con baselines iterativos (como Aprendizaje de Kernel Profundo y Características de Fourier Aleatorias) mientras requieren solo una sola pasada hacia adelante y ninguna optimización en tiempo de prueba.

Resultados

• Decodificabilidad Lineal: Las sondas lineales logran puntuaciones $R^2$ altas ($>0.93$) al recuperar la frecuencia y los pesos de $\bar{H}$ en todas las arquitecturas, lo que indica que la información espectral está codificada en una forma aproximadamente linealmente separable.
• Subespacio Causal: En el parcheo dirigido a subespacios, reemplazar los componentes principales espectrales superiores de TabPFN desplaza las predicciones hacia la señal donante con alta eficiencia. Por ejemplo, parchear solo unas pocas direcciones espectrales logra un efecto causal comparable al reemplazo de tensor completo, mientras que las direcciones aleatorias requieren parchear más de 100 dimensiones para lograr efectos similares.
• Rendimiento del Kernel Decodificado: Los kernels extraídos tienen un rendimiento competitivo en benchmarks de kernels estándar (RBF, Periódico, Mezcla Espectral). Cabe destacar que el decodificador se ejecuta $\sim250\times$ más rápido que las baselines iterativas que requieren optimización por tarea. Aunque el decodificador no iguala el rendimiento predictivo propio de la PFN (que mantiene acceso a la latente completa), supera significativamente a los métodos clásicos de estimación espectral (como los Periodogramas) en objetivos no vistos al heredar la regularización estructural de la PFN.
• Perspectivas de Arquitectura: El estudio sugiere que la estructura espectral se construye en el primer paso de atención cruzada, con las capas subsiguientes dedicadas principalmente al formato posterior. Esto implica que la profundidad y el ancho de la PFN más allá de cierto punto producen rendimientos decrecientes para la construcción espectral.

Significado y Afirmaciones
El artículo afirma cerrar la brecha entre la eficiencia de la inferencia amortizada y la interpretabilidad de los objetos bayesianos explícitos. Al demostrar que los priores de PFN no son meramente implícitos, sino que son explícitamente recuperables como kernels portátiles, el trabajo desafía la visión de las PFN como "cajas negras". Los autores postulan que estos hallazgos ofrecen una "prueba de realidad" para el diseño de PFN, sugiriendo que las arquitecturas futuras podrían optimizarse centrándose en los pasos iniciales de atención cruzada para la construcción espectral en lugar de en capas profundas de formato. Además, la capacidad de extraer kernels que soportan tareas aguas abajo (como la optimización bayesiana en CPU) sin volver a invocar la red neuronal destaca una vía práctica para desplegar PFN en entornos con recursos limitados o críticos para la interpretabilidad. Los autores permanecen modestos, reconociendo que el decodificador es una lectura de diagnóstico en lugar de un reemplazo completo de la PFN, y que cierta información predictiva permanece fuera de la parametrización de mezcla espectral.