Riepilogo Tecnico: Apprendimento Multi-Obiettivo per Modelli di Diffusione in Regimi Semi-Supervisionati

1. Enunciato del Problema

I modelli di diffusione sono sempre più impiegati come generatori condizionali per compiti diversificati, come la sintesi testo-immagine attraverso domini di prompt eterogenei o il controllo robotico in ambienti multipli. Questi scenari costituiscono naturalmente un problema di Apprendimento Multi-Obiettivo (MOL), in cui un singolo modello deve raggiungere prestazioni Pareto-ottimali su più distribuzioni target.

Una sfida centrale in questo contesto è il costo statistico dell'addestramento di un modello "generalista". Per gestire obiettivi multipli, la classe di modelli generalisti ($\mathcal{F}$) richiede tipicamente una capacità sostanzialmente maggiore rispetto alle classi di modelli "specialisti" ($\mathcal{H}_k$) necessarie per i singoli compiti. In contesti completamente supervisionati, la complessità campionaria per l'addestramento del generalista scala con la sua stessa complessità ($C_\mathcal{F}$), che è spesso proibitivamente elevata.

Inoltre, le implementazioni nel mondo reale affrontano spesso un regime di dati asimmetrico:

• I dati accoppiati $(x, y)$ (ad esempio, coppie testo-immagine curate o dimostrazioni di robot esperti) sono scarsi e costosi da acquisire.
• I dati di condizione non accoppiati $y$ (ad esempio, prompt testuali grezzi o osservazioni di stato) sono abbondanti.

Il lavoro affronta la seguente domanda: Possiamo apprendere un modello di diffusione Pareto-ottimale in modo efficiente dal punto di vista del campione sfruttando dati debolmente supervisionati (condizioni non etichettate)?

2. Metodologia

Gli autori propongono un framework di addestramento semi-supervisionato in due fasi che concilia la necessità di un generalista ad alta capacità con la scarsità di dati accoppiati.

Fase 1: Addestramento degli Specialisti

Per ciascuno dei $K$ obiettivi (distribuzioni target $P_k$), una funzione di punteggio specialista leggera $h_k \in \mathcal{H}_k$ viene addestrata utilizzando solo i limitati dati accoppiati disponibili $\{(x_i^k, y_i^k)\}_{i=1}^n$.

• Si assume che le classi di specialisti $\mathcal{H}_k$ abbiano una complessità significativamente inferiore ($C_{\mathcal{H}_k} \ll C_\mathcal{F}$) rispetto alla classe generalista.
• L'addestramento minimizza l'obiettivo di corrispondenza del punteggio di denoising sui dati accoppiati.

Fase 2: Addestramento del Generalista tramite Pseudo-Campionamento

Un grande modello generalista $f \in \mathcal{F}$ viene addestrato per approssimare l'insieme Pareto-ottimale su tutti gli obiettivi.

• Generazione di Pseudo-Campioni: Gli specialisti addestrati $\{h_k\}$ vengono utilizzati per generare dati pseudo-accoppiati. Per ciascuna abbondante condizione non etichettata $y_i^k \sim P_Y^k$, lo specialista genera un pseudo-target $\tilde{x}_i^k \sim P_{h_k}(\cdot|y_i^k)$.
• Obiettivo: Il generalista viene addestrato su una combinazione dei dati etichettati originali e dei dati pseudo-accoppiati generati. L'obiettivo di addestramento minimizza una scalarizzazione $S$ delle perdite di corrispondenza del punteggio su tutti i $K$ obiettivi:
  $$\hat{f}_S = \arg\min_{f \in \mathcal{F}} S(\tilde{L}_1(f), \dots, \tilde{L}_K(f))$$
  dove $\tilde{L}_k$ è la perdita empirica calcolata sui pseudo-campioni (con un termine di correzione per tenere conto del bias dello specialista).

Estensione al Processo Decisionale Sequenziale

Il framework viene esteso alle politiche di diffusione nell'apprendimento per imitazione. Qui, la "condizione" è lo stato $s$ e il "target" è l'azione $a$. Gli autori affrontano lo spostamento di distribuzione intrinseco nei rollout on-policy: poiché le distribuzioni degli stati esperti sono difficili da campionare direttamente, la seconda fase utilizza traiettorie generate dalle politiche specialiste apprese sotto le dinamiche dell'ambiente per raccogliere pseudo-dati per la politica generalista.

3. Contributi Teorici Chiave

Limiti di Complessità Campionaria

Il lavoro stabilisce limiti di generalizzazione non asintotici per l'approccio semi-supervisionato proposto.

• Risultato Principale (Teorema 3.2): Il numero di campioni accoppiati (etichettati) necessari per raggiungere un errore target $\epsilon$ dipende solo dalla complessità delle classi di specialisti ($C_{\mathcal{H}_k}$), non dalla classe generalista ($C_\mathcal{F}$).
  • Campioni etichettati richiesti: $\tilde{O}\left(\frac{K C_\mathcal{H}}{\epsilon^2}\right)$.
  • Condizioni non etichettate richieste: $\tilde{O}\left(\frac{K C_\mathcal{F}}{\epsilon^2}\right)$.
• Confronto: Al contrario, l'addestramento completamente supervisionato "vanilla" del generalista richiederebbe $\tilde{O}\left(\frac{K C_\mathcal{F}}{\epsilon^2}\right)$ campioni etichettati. Ciò dimostra un miglioramento significativo nell'efficienza campionaria quando $C_\mathcal{F} \gg C_\mathcal{H}$.
• Scalarizzazioni Lineari (Teorema 3.5): Per scalarizzazioni lineari (somma pesata) e classi di funzioni convesse, gli autori derivano tassi più precisi, affinando ulteriormente il limite sull'errore di approssimazione.

Stima della Distribuzione e Garanzie sulle Politiche

• Stima della Distribuzione: Il lavoro colma il divario tra l'errore di corrispondenza del punteggio e la stima della distribuzione (distanza di Variazione Totale). Dimostra che il generalista appreso raggiunge prestazioni Pareto-ottimali nell'approssimazione delle distribuzioni condizionali target.
• Politiche di Diffusione (Teorema 3.6): Gli autori forniscono la prima garanzia teorica sul gap di sub-ottimalità delle politiche di diffusione nell'apprendimento per imitazione in contesti semi-supervisionati. Mostrano che il framework gestisce con successo lo spostamento di distribuzione causato dai rollout on-policy, mantenendo al contempo i benefici di efficienza campionaria della pipeline da specialista a generalista.

4. Risultati Sperimentali

Gli autori validano la loro teoria su due domini distinti:

1. Manipolazione Robotica (StackCube & PickCube):

   • Configurazione: Addestramento di politiche di diffusione per compiti sotto diversa randomizzazione di dominio (scena, illuminazione, posa della telecamera).
   • Risultato: Il metodo MOL semi-supervisionato supera significativamente una baseline basata solo su dati etichettati, specialmente in contesti Out-of-Distribution (OOD) (ad esempio, +16% di tasso di successo su StackCube Livello 2, +14% su Livello 3). Ciò suggerisce che i pseudo-rollout forniscono una supervisione cruciale per gestire gli spostamenti di distribuzione.

2. Ripristino di Immagini (Inpainting su CelebA-HQ):

   • Configurazione: Inpainting di volti con tre diversi tipi di maschera (linee alternate, regione del viso, tratto ampio).
   • Risultato: L'approccio semi-supervisionato ha migliorato PSNR, SSIM e LPIPS su tutti i tipi di maschera rispetto alla baseline basata solo su dati etichettati, dimostrando l'efficacia del metodo nei compiti generativi di immagini.

5. Significato e Affermazioni

Il lavoro afferma di fornire un framework statistico principiato per l'apprendimento multi-obiettivo nei modelli di diffusione in regimi semi-supervisionati. Il suo significato principale risiede in:

• Collegare Teoria e Pratica: Formalizza la pipeline di distillazione "da specialista a generalista", offrendo una giustificazione teorica sul perché questo approccio sia più efficiente dal punto di vista del campione rispetto all'apprendimento multi-task diretto quando i dati etichettati sono scarsi.
• Efficienza Campionaria: Dimostra che il costo statistico dell'apprendimento di un generalista complesso può essere disaccoppiato dalla sua stessa capacità, affidandosi invece alla complessità di specialisti leggeri addestrati su dati limitati.
• Gestione dello Spostamento di Distribuzione: Estende queste garanzie al processo decisionale sequenziale (apprendimento per imitazione), affrontando una sfida pratica critica nella robotica.

Gli autori mantengono una posizione modesta, riconoscendo che le loro garanzie dipendono da un'assunzione di realizzabilità (che le vere funzioni di punteggio giacciano all'interno delle classi di specialisti) e che attualmente non affrontano la generalizzazione Out-of-Distribution (OOD) oltre ai specifici livelli di randomizzazione di dominio testati. Considerano questo lavoro un passo fondamentale verso la comprensione delle proprietà statistiche dell'MOL semi-supervisionato per i modelli generativi.