Sintesi Tecnica: Apprendimento per Imitazione con Critica Linguistica da Dimostrazioni Subottimali

Definizione del Problema

L'apprendimento per imitazione (IL) da dimostrazioni subottimali mira a apprendere policy robuste sfruttando traiettorie abbondanti e imperfette insieme a dati esperti limitati. Tuttavia, i metodi esistenti si affidano tipicamente a segnali di supervisione scalari compressi — come stime di confidenza, punteggi del discriminatore, pesi di importanza o ricompense — per distinguere i comportamenti utili dal rumore. Gli autori sostengono che questi segnali scalari siano intrinsecamente limitati perché non possono esprimere esplicitamente il ragionamento intermedio riguardante il progresso del compito, i modi specifici di fallimento o le azioni correttive. Di conseguenza, spesso non riescono a catturare le informazioni strutturate necessarie per l'apprendimento in compiti a lungo termine o multimodali, dove il successo dipende da decisioni sottili e specifiche per ogni fase.

Metodologia

Il documento propone il Language-Critique Imitation Learning, un framework offline che sostituisce i segnali scalari con il linguaggio naturale come segnale di supervisione strutturato. Il metodo consiste in tre componenti principali:

1. Generazione di Etichette Linguistiche Strutturate

Per evitare la variabilità e il costo dell'annotazione umana o della generazione libera tramite Large Language Model (LLM), gli autori introducono un Generatore di Etichette Linguistiche ($\mu_g$) deterministico. Per ogni coppia stato-azione $(s, a)$, $\mu_g$ estrae euristiche specifiche del compito (ad es., distanza dell'oggetto, stato della pinza) e le instrada a tre selettori specifici per generare un'etichetta linguistica composta $l$:

• Progresso del Compito ($<T>$): Descrive la fase semantica attuale del compito (ad es., "avvicinamento all'oggetto", "movimento verso l'obiettivo").
• Ottimalità dell'Azione ($<A>$): Valuta se l'azione è benefica, inefficace o dannosa per il contesto corrente (ad es., "L'azione è buona", "L'azione è cattiva").
• Guida al Movimento ($<M>$): Fornisce istruzioni correttive granulari (ad es., "Spostati a destra delicatamente", "Inclinati verso il basso").

Questo approccio strutturato garantisce che le etichette siano coerenti, riproducibili e direttamente rilevanti per il compito di controllo senza dipendere da informazioni privilegiate dell'ambiente.

2. LLM-Captioner Differenziabile ($\mu_\phi$)

Per consentire l'ottimizzazione della policy end-to-end, le etichette linguistiche discrete generate da $\mu_g$ vengono distillate in un LLM-Captioner ($\mu_\phi$) differenziabile. Questo modello, costruito su un LLM pre-addestrato (specificamente SmolLM2) e un proiettore MLP, mappa le coppie stato-azione alla distribuzione dell'etichetta linguistica strutturata.

• Addestramento: $\mu_\phi$ viene perfezionato sul dataset generale (che contiene sia dati esperti che subottimali) utilizzando una perdita di cross-entropia a livello di token per imitare $\mu_g$.
• Ruolo: Una volta addestrato, $\mu_\phi$ agisce come un critico differenziabile congelato che può valutare la probabilità che l'azione della policy $\hat{a}$ produca l'etichetta linguistica dell'esperto $l^E$.

3. Perdita di Critica Linguistica ($L_{LC}$)

L'obiettivo centrale di apprendimento è la Perdita di Critica Linguistica (Language-Critique Loss), che addestra direttamente la policy $\pi_\theta$ utilizzando i segnali strutturati da $\mu_\phi$ senza ridurli a scalari.

• Meccanismo: La perdita penalizza le azioni della policy che rendono l'etichetta linguistica dell'esperto meno probabile rispetto all'azione dell'esperto stesso. È formulata come una differenza clippata tra la perdita di cross-entropia della policy e la perdita di cross-entropia dell'esperto:
  $$L_{LC}(\pi_\theta, \pi_E) = [L_{CE}(\pi_\theta) - \text{sg}(L_{CE}(\pi_E))]_+$$
  dove $[x]_+ = \max(x, 0)$ e $\text{sg}$ indica lo stop-gradient.
• Istanziazioni:
  • LC-BC: Applicata allo standard Behavior Cloning (BC) feedforward.
  • LC-DP: Applicata alle Diffusion Policies. Poiché i modelli di diffusione predicono il rumore piuttosto che le azioni, la perdita è applicata all'azione ricostruita a un passo $\hat{a}_0$. Viene introdotto un fattore di riponderazione dipendente dal timestep $\omega_k$ per bilanciare il contributo dei diversi passi di diffusione, garantendo che la perdita sia allineata con l'obiettivo standard della diffusione.

Contributi Chiave

1. Framework: Introduzione di un framework di critica linguistica che utilizza il linguaggio naturale come segnale di supervisione strutturato e non scalare per l'apprendimento per imitazione da dimostrazioni subottimali.
2. Algoritmo: Sviluppo di LC-BC e LC-DP, che integrano la supervisione guidata dal linguaggio nel behavior cloning e nelle diffusion policies, rispettivamente.
3. Garanzia Teorica: Una prova teorica che mostra come la minimizzazione del gap di critica linguistica ponga un limite superiore al gap di prestazione tra l'esperto e la policy sotto assunzioni standard (realizzabilità delle feature lineari e sufficienza del linguaggio).
4. Validazione Empirica: Valutazione completa su otto diversi compiti di controllo continuo (navigazione, manipolazione, gameplay) che dimostra un superamento costante dei forti baseline.

Risultati Sperimentali

Gli autori hanno valutato i loro metodi su otto compiti: MAZE, PARKING, SWEEP, BOX-CLOSE, BLOCKPUSH, PEGINSERT, HAMMER e RELOCATE.

• Prestazioni vs. Baseline: LC-BC e LC-DP hanno costantemente superato o eguagliato forti baseline di apprendimento per imitazione (ad es., DemoDICE, DWBC, ILID) e metodi di RL offline (ad es., CQL, TD3+BC, Decision Transformer, Diffusion Policy).
  • Si sono osservati guadagni notevoli nei compiti multimodali (BLOCKPUSH) e di controllo di precisione (PEGINSERT, HAMMER). Ad esempio, su BLOCKPUSH, LC-BC ha migliorato il tasso di successo dal 34,4% (BC standard) al 47,2%.
  • Nel compito di precisione PEGINSERT, LC-DP ha mantenuto un chiaro vantaggio rispetto alla standard Diffusion Policy, mentre LC-BC ha mostrato miglioramenti modesti, suggerendo che le diffusion policies integrino meglio la guida linguistica di alto livello attraverso il denoising iterativo.
• Dati di Qualità Mista: Il metodo è rimasto efficace anche quando il dataset dell'esperto non era chiaramente separato, utilizzando euristiche basate sul linguaggio per filtrare i dati subottimali da un dataset misto.
• Studi di Ablazione:
  • Strutturato vs. Scalare: I metodi che utilizzano etichette linguistiche hanno superato significativamente le varianti che hanno collassato le etichette in premi scalari (LC-BC-reward) o classi discrete (LC-BC-classifier), confermando il valore della preservazione dell'espressività del linguaggio naturale.
  • Importanza dei Componenti: Tutti e tre i componenti ($<T>, <A>, <M>$) sono risultati complementari; la rimozione di uno di essi ha degradato le prestazioni.
  • Fonte delle Etichette: Il generatore strutturato $\mu_g$ si è dimostrato superiore alle etichette generate da VLM a contenuto aperto (ad es, da o4-mini) grazie a una migliore consistenza semantica e allineamento delle feature, particolarmente per la guida al movimento fine.

Significato e Rivendicazioni

L'articolo sostiene che il linguaggio naturale funga da forma potente e strutturata di supervisione che è superiore ai segnali scalari compressi per l'apprendimento da dati subottimali. Descrivendo esplicitamente il progresso del compito, i modi di fallimento e le azioni correttive, le etichette linguistiche forniscono le informazioni strutturate necessarie per guidare le policy in ambienti complessi, a lungo termine e multimodali.

Gli autori sottolineano che il loro approccio non utilizza semplicemente il linguaggio come un ausilio descrittivo, ma come un segnale di supervisione diretto e differenziabile che consente un apprendimento di policy robusto senza richiedere ulteriori interazioni con l'ambiente o dati esperti. I risultati teorici avvalorano ulteriormente questo successo empirico, mostrando che l'obiettivo proposto controlla il gap di prestazione rispetto alla policy dell'esperto. Il lavoro suggerisce che il linguaggio può colmare efficacemente il divario tra dati esperti limitati e dati subottimali abbondanti, offrendo una via scalabile verso un apprendimento per imitazione robusto nel controllo continuo.