Riepilogo Tecnico: Il Behavioral Cloning non è tutto ciò di cui hai bisogno

Problema

Il paper affronta un enigma centrale nell'Imitation Learning (IL): mentre i risultati teorici suggeriscono che i metodi offline come il Behavioral Cloning (BC) possano raggiungere prestazioni ottimali e indipendenti dall'orizzonte (horizon-free) nel setting dell'esperto pulito, l'evidenza empirica nelle moderne applicazioni (particolarmente nell'addestramento di Large Language Models tramite On-Policy Distillation, o OPD) mostra costantemente che i metodi online superano quelli offline.

Gli autori propongono un modello di esperto rumoroso per spiegare questa discrepanza. In questo setting, il learner non ha accesso a una policy di un esperto perfetto $\pi^\star$, ma piuttosto a una versione corrotta $\pi^\star_\eta = (1-\eta)\cdot\pi^\star + \eta\cdot\nu$, dove $\eta$ è il livello di rumore e $\nu$ è una distribuzione di rumore. L'obiettivo del learner è apprendere una policy $\hat{\pi}$ che competere con la ricompensa attesa dell'esperto pulito $\pi^\star$, nonostante abbia accesso solo a traiettorie generate dall'esperto rumoroso. Questo modello cattura scenari del mondo reale come l'addestramento di modelli linguistici su testo umano imperfetto, la distillazione da grandi modelli teacher che non sono completamente converguti, o compiti di ragionamento in cui l' "esperto" è stocastico.

Metodologia e Framework Teorico

Gli autori analizzano sia i setting di IL offline che online sotto l'assunto dell'esperto rumoroso, utilizzando la distanza di Hellinger tra le distribuzioni delle traiettorie come proxy per il regret.

1. Imitation Learning Offline (Il Risultato di Difficoltà)

Nel setting offline, il learner riceve un dataset fisso di $n$ traiettorie da $\pi^\star_\eta$.

• Analisi: Gli autori dimostrano che per recuperare una policy vicina all'esperto pulito $\pi^\star$, è necessario invertire il rumore. Derivano un limite che mette in relazione la distanza di Hellinger delle traiettorie pulite $D_H^2(P_{\pi^\star}, P_{\hat{\pi}})$ con la distanza di Hellinger delle traiettorie rumorose $D_H^2(P_{\pi^\star_\eta}, P_{\hat{\pi}_\eta})$.
• Risultato Chiave: Senza assunti aggiuntivi, la complessità campionaria necessaria per competere con l'esperto pulito cresce esponenzialmente con l'orizzonte $H$ (specificamente, scalando come $(1-\eta)^{-H}$). Anche con una "condizione di dominazione" (dove la distribuzione del rumore è dominata dalla classe di policy), la dipendenza rimane esponenziale in $H$ se il rumore non è trascurabile rispetto a $1/H$.
• Limite Inferiore (Lower Bound): Gli autori dimostrano che questa dipendenza esponenziale è fondamentale. Costruiscono un controesempio che mostra come qualsiasi algoritmo offline richieda una complessità campionaria esponenziale in $H$ per raggiungere un errore costante, rendendo l'IL offline fondamentalmente intrattabile in setting rumorosi a lungo orizzonte.

2. Imitation Learning Online (La Soluzione)

Nel setting online, il learner può interagire con l'ambiente, eseguire i rollout della propria policy corrente e interrogare l'esperto rumoroso per le azioni negli stati visitati.

• Traiettorie Augmentate: Gli autori introducono il concetto di distribuzioni di traiettoria aumentate $P_{\pi, \pi'}$, dove il learner esegue il rollout della policy $\pi$ ma interroga l'esperto $\pi'$ per le azioni in ogni stato. Ciò consente al learner di confrontare la propria distribuzione di traiettoria rispetto al comportamento dell'esperto sugli stessi stati.
• Garanzia Teorica: Dimostrano che la subottimalità della policy appresa può essere limitata dalla distanza di Hellinger (o divergenza KL) tra le distribuzioni delle traiettorie aumentate del learner e dell'esperto rumoroso. Fondamentalmente, sotto una condizione di $\kappa$-dominazione (dove la distribuzione del rumore è dominata dalle policy dell'esperto e del learner), questo limite diventa indipendente dall'orizzonte (horizon-free). Anche senza questa condizione, la dipendenza dall'orizzonte è solo polinomiale ($\sqrt{H}$), un netto contrasto con la dipendenza esponenziale nel caso offline.
• Algoritmo (NAIL): Gli autori propongono NAIL (Noise-robust Aggregation for Imitation Learning). A differenza di DAgger standard che apprende policy step-wise, NAIL aggrega le policy a livello di traiettoria utilizzando pesi esponenziali sul log-likelihood negativo delle traiettorie aumentate.
  • Corruzione Nota: NAIL raggiunge un limite di regret scalando come $H \sqrt{\log|\Pi|/n}$.
  • Corruzione Sconosciuta (Esperto Deterministico): Per il caso in cui l'esperto sia deterministico e il rumore sia "smooth" (massa di probabilità limitata su qualsiasi azione), gli autori propongono NAILGUN. Questo algoritmo raggiunge un limite di regret horizon-free di $\log|\Pi|/n$ senza richiedere la conoscenza del livello di rumore $\eta$ o della distribuzione $\nu$.

Contributi Chiave

1. Separazione Teorica: Il paper stabilisce una netta separazione tra l'IL offline e quello online in presenza di esperti rumorosi. Dimostra che l'IL offline è fondamentalmente difficile (esponenziale nell'orizzonte) mentre l'IL online può raggiungere garanzie horizon-free o polinomiali.
2. Modello di Esperto Rumoroso: L'introduzione di un modello di esperto rumoroso generale ($\pi^\star_\eta$) che spiega il successo empirico di OPD rispetto al Supervised Fine-Tuning (SFT) nell'addestramento dei modelli linguistici, anche quando l'architettura del teacher e dello studente sono identiche (escludendo la misspecification come unica causa).
3. Analisi delle Traiettorie Augmentate: La derivazione di limiti che collegano le prestazioni dell'esperto pulito alla divergenza tra le distribuzioni delle traiettorie aumentate ($P_{\hat{\pi}, \pi^\star_\eta}$ vs $P_{\hat{\pi}, \hat{\pi}_\eta}$), fornendo una giustificazione teorica per gli obiettivi di on-policy distillation.
4. Algoritmi e Limiti:
   • NAIL: Un algoritmo per i setting di corruzione nota con una complessità campionaria quasi ottimale.
   • NAILGUN: Un algoritmo per i setting di corruzione sconosciuta (esperto deterministico) che raggiunge garanzie horizon-free.
   • Lower Bounds: Limiti inferiori corrispondenti che dimostrano l'ottimalità degli algoritmi proposti fino a fattori costanti.

Risultati Sperimentali

Gli autori validano la loro teoria su due compiti:

1. Modular Addition (Sintetico): Un compito che richiede un "chain of thought" per sommare numeri modulo 7.
   • Esperto Pulito: L'offline BC (SFT) performa meglio, in linea con la teoria.
   • Esperto Rumoroso: L'offline BC e la OPD standard falliscono nell'apprendimento. Le varianti proposte di NAIL (minimizzando la forward/reverse KL sulle traiettorie aumentate) raggiungono un'accuratezza perfetta.
2. GSM-8K (Linguaggio Naturale): Un benchmark di ragionamento matematico utilizzando modelli Gemma.
   • Esperto Pulito: I metodi online superano l'offline BC.
   • Esperto Rumoroso: Solo le varianti NAIL rimangono efficaci, raggiungendo un'accuratezza non banale, mentre la OPD standard e il SFT falliscono completamente (0% di accuratezza).

Questi risultati confermano che le funzioni di perdita derivate dall'analisi teorica (specificamente quelle che coinvolgono le traiettorie aumentate) sono più robuste al feedback dell'esperto rumoroso rispetto agli standard obiettivi di apprendimento supervisionato.

Significato e Rivendicazioni

Il paper sostiene di fornire una base teorica per cui l'on-policy distillation (OPD) supera il classico supervised fine-tuning (SFT) quando si addestrano modelli linguistici da teacher imperfetti.

• Spiegazione dei Fenomeni Empirici: Risolve il divario "teoria vs pratica" nell'IL mostrando che l'assunto di un esperto "pulito" è spesso violato nella pratica (a causa del rumore nei dati umani o di modelli teacher imperfetti), e che in presenza di tale rumore, l'interazione online non è solo benefica ma necessaria per evitare una complessità campionaria esponenziale.
• Funzione di Perdita Principata: L'analisi porta a una funzione di perdita alternativa (minimizzare la divergenza sulle traiettorie aumentate) che viene comunemente considerata empiricamente per l'addestramento dei LM ma che mancava di una rigorosa giustificazione. Il paper fornisce tale giustificazione.
• Limitazioni: Gli autori sono modesti riguardo alle loro rivendicazioni, notando che i loro risultati si basano su classi di policy finite, modelli di corruzione idealizzati e assunti specifici (come gli esperti deterministici per il caso di corruzione sconosciuta). Riconoscono che tradurre questi risultati direttamente nella pratica richiede ulteriore lavoro su modelli di rumore più sofisticati ed esperimenti di scala.

In sintesi, il paper argomenta che il Behavioral Cloning non è tutto ciò di cui hai bisogno quando gli esperti sono rumorosi; invece, l'On-Policy Distillation è teoricamente ottimale per recuperare il comportamento dell'esperto pulito da dati rumorosi in compiti a lungo orizzonte.