Riepilogo Tecnico: PFN Disaccoppiate tramite Prior Sintetici Strutturati

Enunciato del Problema

Le Reti Adattate a Priori (Prior-Fitted Networks, PFN) offrono un meccanismo potente per la previsione bayesiana ammortizzata mediante meta-apprendimento su prior di task sintetici. Mappano un dataset di contesto e un input di query in una distribuzione predittiva a posteriori in un singolo passaggio in avanti, eliminando la necessità di ottimizzazione per task. Tuttavia, per task di decisione sequenziale come l'Apprendimento Attivo e l'Ottimizzazione Bayesiana (BO), l'output standard delle PFN presenta una limitazione critica: fornisce una distribuzione predittiva a posteriori su osservazioni rumorose ($p(y^*|x^*, D)$).

Questa distribuzione fonde due fonti distinte di incertezza:

1. Incertezza epistemica: Incertezza riducibile sul segnale latente (la funzione sottostante).
2. Incertezza aleatoria: Incertezza irriducibile dovuta al rumore di osservazione.

Nella decisione sequenziale, le funzioni di acquisizione dovrebbero dare priorità alla riduzione dell'incertezza epistemica per esplorare il segnale latente. Se un modello non riesce a distinguere tra alto rumore (aleatorio) e alta ignoranza (epistemica), le regole di acquisizione basate sulla varianza predittiva totale possono sprecare il budget interrogando ripetutamente regioni ad alto rumore invece di aree inesplorate della funzione latente.

Il documento stabilisce una barriera teorica alla risoluzione di questo problema con le PFN standard: la Proposizione 1 dimostra che la separazione epistemica-aleatoria non è identificabile dalla sola distribuzione predittiva marginale. Anche se una PFN standard apprendesse perfettamente la distribuzione predittiva marginale $p(y^*|x^*, D)$, esiste un continuum di decomposizioni additive in varianza del segnale e varianza del rumore che producono esattamente la stessa distribuzione marginale. Di conseguenza, una PFN standard addestrata esclusivamente su target rumorosi non ha alcun incentivo a livello obiettivo per apprendere una decomposizione unica.

Metodologia

Per superare questa non-identificabilità, gli autori sfruttano il vantaggio unico delle PFN: il processo di generazione dei dati sintetici è sotto il controllo del ricercatore. Propongono un'architettura PFN Disaccoppiata addestrata con supervisione privilegiata derivata da un prior di task sintetico aumentato.

1. Prior di Task Sintetico Aumentato

Durante il pre-addestramento, il generatore sintetico viene modificato per definire esplicitamente la decomposizione segnale-rumore per ogni task $\tau$:

• Viene campionata una funzione di segnale latente senza rumore $f_\tau(x)$.
• Viene campionata una funzione di rumore di osservazione $\sigma^2_\tau(x)$ (supportando sia rumore omoschedastico che eteroschedastico).
• Le osservazioni sono generate come $y = f_\tau(x) + \epsilon$, dove $\epsilon \sim \mathcal{N}(0, \sigma^2_\tau(x))$.

Crucialmente, il generatore fornisce target ausiliari privilegiati durante l'addestramento: il segnale senza rumore $f_\tau(x^*)$ e la varianza del rumore $\sigma^2_\tau(x^*)$ per ogni query. Al momento del test, il modello riceve solo gli input standard (contesto $D$ e query $x^*$), mantenendo l'interfaccia standard delle PFN.

2. Architettura Binnata Disaccoppiata

Il modello viene adattato per prevedere separatamente i componenti segnale e rumore utilizzando una strategia di output binnato:

• Testa del Segnale Latente (Epistemica): Prevede una distribuzione categorica $\pi^{(f)}_\theta$ su bin fissi che rappresentano il segnale senza rumore $f^*$. Questa distribuzione cattura l'incertezza epistemica.
• Testa Aleatoria: Prevede la varianza del rumore di osservazione $\hat{\sigma}^2_\theta(x^*, D)$ nello spazio della log-varianza.
• Predittiva Indotta: La distribuzione predittiva finale a livello di osservazione $p(y)$ è ottenuta convolvendo la distribuzione del segnale latente con il modello di rumore gaussiano appreso. Ciò garantisce che il modello mantenga l'interfaccia standard delle PFN per task a livello di osservazione, esponendo al contempo il segnale latente per la decisione.

3. Obiettivo di Addestramento

L'obiettivo di addestramento combina tre termini di perdita:

1. Perdita Predittiva: Negativa log-verosimiglianza binnata standard sulla distribuzione di osservazione indotta (assicurando che il modello rimanga un buon predittore di $y$).
2. Perdita Epistemica: Perdita di entropia incrociata sui bin del segnale latente, supervisionata dal $f_\tau(x^*)$ privilegiato.
3. Perdita Aleatoria: Errore quadratico nello spazio della log-varianza, supervisionato dal $\sigma^2_\tau(x^*)$ privilegiato.

Gli autori dimostrano (Proposizione 2) che sotto questo obiettivo, le teste ausiliarie recuperano la distribuzione condizionale bayesiana ottimale del segnale discretizzato e la media geometrica condizionale della varianza del rumore.

4. Strategia di Acquisizione

Per task a valle (BO, HPO, Apprendimento Attivo), gli autori definiscono funzioni di acquisizione utilizzando metriche solo epistemiche derivate dalla testa latente (ad esempio, Miglioramento Atteso basato sulla media latente e sulla varianza epistemica), piuttosto che la varianza predittiva totale utilizzata dalle baseline standard.

Contributi Chiave

1. Non-Identificabilità Teorica: Il documento dimostra formalmente che la distribuzione predittiva a posteriori di una PFN standard non identifica univocamente una decomposizione epistemica-aleatoria, anche con un apprendimento perfetto della distribuzione marginale.
2. Architettura PFN Disaccoppiata: Un metodo innovativo che utilizza la supervisione privilegiata dal generatore sintetico per addestrare teste separate per segnali latenti e rumore, consentendo al modello di esporre un segnale epistemico rilevante per la decisione.
3. Validazione Empirica: Il metodo è istanziato su due modelli fondazione pubblici (TabICL e TabPFN v2.5) e valutato su Ottimizzazione degli Iperparametri (HPO), Ottimizzazione Bayesiana Sintetica e Apprendimento Attivo.

Risultati

Il documento riporta risultati su tre scenari principali, confrontando i modelli disaccoppiati con baseline "Ottimizzate" corrispondenti (che condividono lo stesso backbone e pre-addestramento ma mancano delle teste disaccoppiate e della supervisione privilegiata) e baseline esterne standard (GP, TPE, Ricerca Casuale).

• Ottimizzazione degli Iperparametri (HPO): I modelli disaccoppiati mostrano i guadagni più chiari qui. In una scansione di 8 benchmark che coinvolgono valutazioni rumorose ed eteroschedastiche (ad esempio, LightGBM, XGBoost, Random Forest), il modello Dec-ICL (TabICL Disaccoppiato) ha ottenuto il miglior rango medio (2.50), superando significativamente la sua controparte ottimizzata (3.62). Gli autori attribuiscono ciò alla capacità dell'acquisizione solo epistemica di evitare regioni ad alto rumore nello spazio di ricerca.
• Ottimizzazione Bayesiana Sintetica: Su benchmark sintetici lisci e a bassa dimensionalità (Branin, Hartmann, Ackley), i modelli disaccoppiati rimangono competitivi. Dec-PFN ha ottenuto il miglior rango medio (2.60), superando leggermente la sua controparte ottimizzata (2.80) e superando le baseline standard GP e TPE. I guadagni sono stati minori rispetto all'HPO, coerentemente con il fatto che funzioni lisce e a basso rumore allineano più da vicino l'incertezza totale e quella epistemica.
• Apprendimento Attivo: Su dataset di regressione reali, i modelli disaccoppiati che utilizzano la varianza epistemica per l'acquisizione hanno superato costantemente le baseline ottimizzate che utilizzano la varianza totale in 7 confronti RMSE su 10.

Significato e Affermazioni

Il documento afferma che il valore principale del metodo proposto risiede nella decisione sequenziale piuttosto che nella pura accuratezza di regressione.

• Mitigazione dei Modi di Fallimento: L'approccio disaccoppiato mitiga il modo di fallimento dell'"esplorazione a varianza totale", dove i modelli standard rimangono intrappolati in regioni ad alto rumore perché non riescono a distinguere il rumore dall'ignoranza.
• Trasferimento dell'Induzione Bias: Il metodo dimostra che una decomposizione segnale-rumore appresa tramite supervisione privilegiata su dati sintetici si trasferisce efficacemente a task reali, agendo come un utile bias induttivo.
• Riformulazione delle PFN: Gli autori suggeriscono che le PFN dovrebbero essere viste non solo come approssimatori veloci di previsioni a posteriori, ma come veicoli per apprendere rappresentazioni dell'incertezza rilevanti per la decisione attraverso la progettazione di obiettivi di pre-addestramento sintetico.

Gli autori rimangono modesti riguardo alla portata, notando che l'efficacia dipende da quanto bene le ipotesi sul rumore sintetico si trasferiscono ai task reali e che l'implementazione attuale utilizza approssimazioni gaussiane a momenti accoppiati per l'acquisizione, che è una semplificazione pratica. I guadagni sono più pronunciati in ambienti strutturati e rumorosi (come l'HPO) e meno critici in ambienti lisci e a basso rumore.