Learning the Pareto Frontier of Predictive Models under Distribution Shift

Sintesi Tecnica: Apprendere la Frontiera di Pareto dei Modelli Predittivi sotto Shift di Distribuzione

Enunciato del Problema
Il moderno apprendimento automatico si affida sempre più al riutilizzo di modelli fondativi pre-addestrati per task downstream. Tuttavia, questi modelli differiscono non solo nelle prestazioni, ma anche nell'accessibilità: alcuni sono "black-box" (forniscono solo predizioni tramite API), mentre altri sono "white-box" (permettono l'accesso alle rappresentazioni interne). Quando si distribuiscono questi modelli in un dominio target con uno shift di distribuzione, nessuna singola strategia — riutilizzo zero-shot, fine-tuning o addestramento diretto sui dati target — è uniformemente ottimale. La scelta dipende dalla natura sconosciuta dello shift tra sorgente e target. Gli analisti si trovano di fronte a un dilemma: i modelli zero-shot possono essere convenienti ma mal calibrati; i modelli sottoposti a fine-tuning possono andare in overfitting con dati target limitati; e i modelli addestrati direttamente possono mancare di efficienza. Gli approcci attuali tipicamente impongono una scelta tra queste strategie mutuamente esclusive, potenzialmente scartando informazioni complementari.

Metodologia: Frontier Learning (Apprendimento della Frontiera)
Gli autori propongono il Frontier Learning, un framework che tratta una libreria di modelli candidati (che spaziano per storia di addestramento e regimi di accesso) come fonti di informazione complementari piuttosto che come alternative.

1. Costruzione di una Rappresentazione Unificata:

   • Il framework costruisce un vettore di caratteristiche unificato per il dominio target, $\Psi(x)$, concatenando i segnali di tutti i modelli candidati.
   • Per i candidati white-box, estrae le rappresentazioni interne (ad esempio, caratteristiche del bottleneck o dello strato pre-penultimo, $r_m(x)$).
   • Per i candidati black-box, utilizza gli output predittivi ($q_m(x)$), come logit o probabilità.
   • La rappresentazione frontiera risultante è $\Psi(x) = [\psi_1(x); \dots; \psi_M(x)]$, dove $\psi_m$ è una rappresentazione o una predizione.

2. Learner Supervisionato sul Target:

   • Un learner supervisionato leggero e regolarizzato $g_\theta$ viene addestrato sulla rappresentazione frontiera concatenata utilizzando dati etichettati del dominio target.
   • Per la regressione, viene utilizzato un modello lineare regolarizzato; per la classificazione, una regressione logistica o multinomiale logistica regolarizzata.
   • L'obiettivo è minimizzare il rischio empirico regolarizzato: $\hat{\theta} = \arg\min_\theta \left[ \frac{1}{|I_{tr}|} \sum \ell(y_i, g_\theta(\Psi(x_i))) + \lambda \Omega(\theta) \right]$.
   • Fondamentalmente, i modelli candidati rimangono fissi; vengono appresi solo i pesi di combinazione finali.

3. Proprietà Teorica:

   • La classe di ipotesi del Frontier Learning contiene le strategie standard (zero-shot, fine-tuning, addestramento diretto) come casi particolari.
   • Di conseguenza, il metodo garantisce di ottenere un rischio empirico sul campione di addestramento non peggiore di qualsiasi singolo candidato di base. Ciò fornisce una base strutturale per una composizione cauta senza garanzie incondizionate di un rischio di test inferiore.

Contributi Chiave

1. Formulazione: Il documento formula la predizione sotto shift di distribuzione come un problema di apprendimento "model-frontier", motivato dall'ecosistema eterogeneo dei modelli fondativi (varianti per regime di addestramento e modalità di accesso).
2. Framework Unificato: Introduce un metodo che combina simultaneamente le rappresentazioni interne di modelli accessibili (white-box) e gli output predittivi di modelli inaccessibili (black-box).
3. Garanzia Statistica: Stabilisce una proprietà di "rischio empirico non peggiore" tramite l'inclusione della classe di ipotesi, dimostrando che le strategie standard sono recuperabili come casi limite.
4. Valutazione Empirica: Il framework è valutato in simulazioni e in due contesti del mondo reale, dimostrando robustezza attraverso diversi gradi di compatibilità sorgente-target.

Risultati Sperimentali
Gli autori hanno valutato il Frontier Learning in tre setting:

• Simulazioni: In un esperimento di regressione controllato variando il numero di dimensioni di feature condivise ($d_{share}$) tra sorgente e target:

  • Nessun singolo baseline (zero-shot, fine-tuning o diretto) era uniformemente il migliore in tutti i regimi di shift.
  • Il Frontier Learning ha costantemente ottenuto l'MSE (Errore Quadratico Medio) più basso in tutte le configurazioni.
  • I miglioramenti sono stati più significativi quando i singoli candidati erano deboli o catturavano informazioni complementari (ad esempio, ~89% di riduzione dell'MSE quando $d_{share}=0$).

• Adattamento del Dominio Visivo (DomainNet/VisDA):

  • Task: Classificare immagini nel dominio "Painting" utilizzando modelli addestrati su "Real", "Clipart", "Sketch" e addestramento diretto su "Painting".
  • Setup: Combinazione di rappresentazioni bottleneck da modelli white-box (Direct, Fine-tuned Real, Fine-tuned Clipart) con output predittivi da un modello zero-shot black-box (Sketch).
  • Risultato: Il Frontier Learning ha raggiunto il 69,55% di accuratezza top-1, superando il baseline individuale più forte (Direct Painting al 68,17%) e superando significativamente il debole candidato zero-shot (31,76%).

• Predizione della Mortalità Clinica (MIMIC-IV-Note):

  • Task: Predire la mortalità ospedaliera nel dominio CVICU utilizzando sintesi di dimissioni.
  • Setup: Combinazione di rappresentazioni a livello di nota di modelli fine-tuned (MICU), zero-shot (SICU, CCU) e direttamente addestrati (CVICU). Tutti sono stati trattati come white-box per l'estrazione delle rappresentazioni.
  • Risultato: Il Frontier Learning ha ottenuto l'AUPRC più alto (0,6638), migliorando il miglior candidato individuale (Fine-tuning MICU a 0,6494) di circa il 2,2%. Ha inoltre ottenuto l'accuratezza, l'F1 score e l'accuratezza più elevati.

Significatività e Claim
Il documento afferma che, in un'era di proliferazione di modelli fondativi black-box e white-box, il Frontier Learning offre un'alternativa pratica e statisticamente fondata all'impegno verso un singolo modello pre-addestrato.

• Robustezza: Imparando come combinare le rappresentazioni e le predizioni dei candidati basandosi sulle etichette target, il framework si adatta allo specifico regime di shift invece di fare affidamento su una strategia pre-selezionata.
• Efficienza: Il metodo aggiunge un carico computazionale minimo, poiché addestra solo un learner leggero sugli output fissi dei candidati.
• Cautela: Gli autori sottolineano che il metodo fornisce una garanzia di "rischio non peggiore" sul rischio di addestramento e una base strutturale per una composizione cauta, ma non garantisce incondizionatamente un rischio di test inferiore senza una corretta regolarizzazione e validazione.
• Cambio di Paradigma: Il lavoro suggerisce un passaggio dalla selezione di un singolo modello "migliore" all'apprendimento su una frontiera eterogenea di candidati, consentendo un riutilizzo più affidabile di modelli AI su larga scala sotto shift di distribuzione.

Gli autori prendono nota dei limiti, tra cui la dipendenza dalla diversità della libreria di candidati e l'uso di una semplice concatenazione di feature, suggerendo che metodi di fusione più sofisticati potrebbero rappresentare una direzione per il lavoro futuro.