Sintesi Tecnica: Acquisizione Dati Adattiva Efficiente tramite Rappresentazioni di Credenza Pre-addestrate (POLAR)

Definizione del Problema

L'acquisizione adattiva di dati comprende problemi di apprendimento sequenziale come il Bayesian Experimental Design (BED), il Bayesian Optimisation (BO) e l'Active Learning (AL). In questi contesti, un apprendente deve selezionare sequenzialmente delle query (design) per massimizzare un'utilità a valle (ad esempio, guadagno di informazione, identificazione dell'ottimo globale o accuratezza predittiva) sotto un budget finito.

Gli approcci esistenti per apprendere politiche di acquisizione ricadono generalmente in due categorie problematiche:

1. Metodi basati sulla distribuzione a posteriori (Posterior-based methods): si affidano all'adattamento di un modello probabilistico ai dati osservati per calcolare una distribuzione a posteriori, che viene poi utilizzata per valutare una funzione di acquisizione (ad esempio, Expected Improvement, Expected Information Gain). Questi metodi sono limitati dalla qualità dell'approssimazione della distribuzione a posteriori. L'errata specificazione del modello o gli errori di approssimazione possono distorcere la regola di acquisizione, e tali errori si cumulano nel corso dei round sequenziali.
2. Metodi di apprendimento diretto della politica (Direct policy-learning methods): mappano direttamente le cronologie di osservazioni grezze verso le decisioni (ad esempio, tramite Reinforcement Learning). Sebbene evitino l'inferenza esplicita sulla distribuzione a posteriori, devono apprendere da zero una mappatura complessa dai dati grezzi alle decisioni. Ciò richiede di apprendere simultaneamente come rappresentare il dataset e come agire su tale rappresentazione, portando spesso a un'inefficienza campionaria e a difficoltà di addestramento.

Metodologia: POLAR

Gli autori introducono POLAR (Policy Learning with Belief Representations), un framework che scinde l'apprendimento della rappresentazione dall'apprendimento della politica. L'intuizione centrale è che la decisione sequenziale ottimale dipende dalla cronologia delle osservazioni solo attraverso uno stato di credenza (belief state) sufficiente. Invece di apprendere questo stato da zero o di fare affidamento su approssimazioni esplicite della distribuzione a posteriori, POLAR sfrutta modelli fondativi predittivi pre-addestrati come encoder dello stato di credenza.

Architettura

1. Encoder di Credenza (Backbone): POLAR utilizza un Modello Fondativo Tabulare (TFM), come TabPFN o TabICL, pre-addestrato su diversi compiti sintetici. Data una cronologia di osservazioni $D_{t-1}$ e un candidato design $x$, il TFM produce una rappresentazione nascosta condizionata dal candidato $r_\psi(x, D_{t-1})$.

   • A differenza della distribuzione predittiva finale prodotta dal TFM, questa rappresentazione nascosta è trattata come la rappresentazione di credenza. Essa codifica come le predizioni cambiano con i dati (incertezza predittiva, struttura locale, comportamento dipendente dal contesto) senza impegnarsi in una specifica approssimazione della distribuzione a posteriori.
   • Il framework opera in un contesto basato su pool (pool-based setting), dove la politica seleziona da un insieme finito di candidati $C_t$. Il backbone elabora la cronologia una sola volta per generare le rappresentazioni per tutti i candidati nel pool.

2. Testa della Politica (Policy Head): Una testa della politica leggera e apprendibile $g_\eta$ mappa la rappresentazione di credenza $r_\psi$ a un logit scalare per ogni candidato. Una funzione softmax su questi logit definisce la politica stocastica $\pi_\eta$. In fase di deployment, viene selezionato il candidato con il punteggio più alto.

3. Obiettivo di Addestramento:

   • Perdita della Politica (Policy Loss): La politica è addestrata tramite gradienti di politica su rollout simulati. L'obiettivo massimizza un'utilità specifica del compito (ad esempio, Expected Information Gain per BED, valore massimo terminale per BO). Gli autori utilizzano una strategia di assegnazione del credito locale (incrementi a singolo step) per ridurre la varianza, piuttosto che una funzione di valore completa a lungo orizzonte.
   • Adattamento del Backbone (Opzionale): Per allineare il backbone pre-addestrato alla specifica distribuzione del compito a valle, viene applicata una perdita di predizione supervisionata ausiliaria ($L_{pred}$) ai parametri del backbone.
   • Disaccoppiamento (Decoupling): Una scelta di design critica è che i gradienti della politica non vengono propagati nel backbone. Il backbone viene aggiornato solo tramite la perdita di predizione supervisionata, mentre la testa della politica viene aggiornata tramite il gradiente della politica. Ciò evita che segnali di reinforcement learning ad alta varianza destabilizzino le rappresentazioni pre-addestrate.

Fondamento Teorico

Il documento fornisce una visione decisionale unificata, dimostrando che la politica Bayes-ottimale $\pi^*$ è una funzione della distribuzione a posteriori pertinente al compito $p(w|D_{t-1})$. Poiché la distribuzione a posteriori è una funzione della cronologia, qualsiasi rappresentazione $e_t$ che permetta il recupero della distribuzione a posteriori (tramite un decoder) è una valida rappresentazione di credenza. POLAR postula che i TFM pre-addestrati forniscano tali rappresentazioni che siano abbastanza ricche da determinare le azioni ottimali, ma sufficientemente strutturate da rendere facile la mappatura verso la testa della politica, evitando gli estremi della cronologia grezza (troppo complessa) o della distribuzione a posteriori esplicita (propensa ad errori di approssimazione).

Contributi Chiave

1. Visione Unificata: Gli autori formalizzano l'acquisizione adattiva di dati come l'apprendimento di politiche sopra rappresentazioni di credenza, colmando il divario tra approcci basati sulla cronologia grezza e approcci basati sulla distribuzione a posteriori.
2. Architettura Disaccoppiata: Propongono un'architettura semplice che utilizza modelli fondativi pre-addestrati come encoder di credenza fissi (o sottoposti a fine-tuning) e addestra una separata testa della politica, separando l'apprendimento della rappresentazione dal processo decisionale.
3. Efficienza Campionaria: I risultati empirici dimostrano che POLAR raggiunge prestazioni allo stato dell'arte in diversi compiti (BED, BO, AL) richiedendo significativamente meno campioni di addestramento (fino a $100\times$ meno) rispetto ai metodi ammortizzati esistenti.

Risultati Sperimentali

Gli autori valutano POLAR su tre benchmark principali:

1. Progettazione Sperimentale Bayesiana (BED):

   • Compiti: Localizzazione (2D e 5D) e Costante di Elasticità di Sostituzione (CES).
   • Risultati: POLAR supera significativamente i metodi ammortizzati allo stato dell'arte (DAD, RL-BOED, ALINE). Nel compito di Localizzazione 5D, POLAR supera le prestazioni di picco di RL-BOED e DAD utilizzando 10.000$\times$ meno campioni di addestramento e supera ALINE con 100$\times$ meno campioni.
   • Ablazioni:
     • Backbone Frozen vs. Finetuned: Il fine-tuning del backbone con perdita di predizione ausiliaria produce prestazioni migliori rispetto al mantenerlo congelato, sebbene anche la versione congelata sia competitiva.
     • Gradienti Disaccoppiati vs. Accoppiati: Permettere ai gradienti della politica di aggiornare il backbone (accoppiati) degrada gravemente le prestazioni, confermando la necessità del disaccoppiamento.
     • Pretrained vs. Scratch: L'addestramento dell'architettura da zero converge molto più lentamente e produce prestazioni peggiori, evidenziando il valore del modello fondativo pre-addestrato.

2. Ottimizzazione Bayesiana (Ottimizzazione degli Iperparametri):

   • Benchmark: HPO-B (Hyperparameter Optimisation Benchmark).
   • Risultati: POLAR raggiunge il regret medio più basso e il miglior rango medio attraverso sei spazi di ricerca, superando i processi gaussiani classici, i Meta-GP e i metodi ammortizzati end-to-end come NAP. Dimostra che l'uso di un backbone TFM pre-addestrato produce prestazioni più forti rispetto all'apprendimento delle rappresentazioni da zero.

3. Ottimizzazione Molecolare:

   • Benchmark: DOCKSTRING (docking molecolare ad alta dimensionalità).
   • Risultati: In uno spazio discreto a 512 dimensioni, POLAR raggiunge il regret più basso rispetto a GP con kernel Tanimoto, Random Forest e un baseline TabICL con una funzione di acquisizione progettata a mano. Ciò conferma che l'apprendimento diretto della regola di acquisizione dalla rappresentazione di credenza supera le strategie di acquisizione fisse.

Significato e Rivendicazioni

Il documento sostiene che POLAR rappresenti un passo significativo verso la scalabilità e l'efficienza dell'acquisizione di dati ammortizzata. Spostando il paradigma dall'apprendimento congiunto di rappresentazioni e decisioni all'azione su rappresentazioni di credenza pre-addestrate, POLAR mitiga l'inefficienza campionaria e l'instabilità dell'addestramento associate al diretto apprendimento della politica e agli errori di approssimazione dei metodi basati sulla distribuzione a posteriori.

Gli autori sottolineano che il loro approccio non consiste nel progettare un nuovo stimatore o un algoritmo di addestramento, ma nel riutilizzare un modello predittivo pre-addestrato come encoder di credenza. Ciò consente a una piccola testa della politica di essere addestrata con standard policy gradients, ottenendo prestazioni superiori con costi computazionali di addestramento drasticamente ridotti. Il framework è presentato come una soluzione unificata applicabile a BED, BO e AL, che differisce solo per l'utilità specifica del compito utilizzata per l'addestramento.