ViterbiPlanNet: Injecting Procedural Knowledge via Differentiable Viterbi for Planning in Instructional Videos

Il paper introduce ViterbiPlanNet, un framework innovativo che integra esplicitamente la conoscenza procedurale tramite un Livello Viterbi Differenziabile per migliorare l'efficienza dei campioni e le prestazioni nella pianificazione di video istruttivi, superando i metodi basati su modelli di grandi dimensioni con un numero significativamente inferiore di parametri.

L'essenziale

Immagina di dover insegnare a un robot come preparare un panino con il tacchino, ma gli dai solo due foto: una con il pane vuoto e una con il panino finito. Il robot deve capire da solo quali sono i passaggi intermedi (mettere il tacchino, la lattuga, ecc.) e in quale ordine.

Fino a poco tempo fa, per insegnare questo ai computer, si usavano "cervelli" enormi (come i grandi modelli linguistici o le reti neurali complesse) che dovevano imparare tutto da soli, guardando migliaia di video. Era come se dovessimo far studiare a un bambino tutte le ricette del mondo a memoria, senza dargli mai un libro di cucina. Risultato? Servivano computer potentissimi, molta energia e il robot faceva ancora errori strani, tipo mettere il tacchino prima di mettere il pane di sotto.

ViterbiPlanNet è la soluzione proposta in questo articolo. È come se invece di far memorizzare tutto al robot, gli dessimo in mano un libro di cucina intelligente (chiamato Grafo della Conoscenza Procedurale) e gli insegnassimo a usarlo mentre impara.

Ecco come funziona, spiegato con metafore semplici:

1. Il Libro di Cucina (Il Grafo della Conoscenza)

Immagina che la procedura per fare il panino sia disegnata su una mappa.

• I nodi sono gli ingredienti o le azioni (es. "Metti il pane", "Aggiungi il tacchino").
• Le frecce sono le regole: puoi andare dal "Pane" al "Tacchino", ma non puoi andare dal "Tacchino" al "Pane" (perché non ha senso).
• Le frecce hanno un peso: dicono quanto è probabile che dopo il pane si metta il tacchino (magari al 90%) o la marmellata (magari al 10%).

2. Il Problema: Il "Filtro" non è un Filtro

In passato, i ricercatori usavano questo libro di cucina solo alla fine, come un "controllore" che correggeva il lavoro del robot dopo che aveva già fatto tutto. Era come se il robot cucinasse a caso e poi un nonno venisse a dire: "Ehi, hai messo il tacchino prima del pane! Riprova". Questo non aiutava il robot a imparare bene fin dall'inizio.

3. La Soluzione: Il "Filtro Magico" (Il Livello Viterbi Differenziabile)

Gli autori di questo lavoro hanno creato un nuovo tipo di "filtro" chiamato Livello Viterbi Differenziabile.
Immagina questo filtro come un tunnel di luce che collega direttamente il cervello del robot al libro di cucina.

• Invece di correggere il robot alla fine, il libro di cucina guida il robot mentre sta imparando.
• Il robot non deve più memorizzare l'intera ricetta a memoria (cosa difficile e che richiede molta memoria). Deve solo imparare a riconoscere le foto: "Questa foto sembra il momento di mettere il tacchino?".
• Il "filtro magico" prende queste intuizioni e le combina con le regole del libro di cucina per costruire il piano perfetto, passo dopo passo.

Perché è così speciale?

• È un genio, ma piccolo: I modelli precedenti erano come elefanti (miliardi di parametri) che dovevano memorizzare tutto. ViterbiPlanNet è come un scoiattolo agile: usa pochissima memoria (circa 5 milioni di parametri, contro i 30-100 miliardi degli altri) perché non deve memorizzare le regole, le ha già nel suo "libro di cucina".
• Impara con meno esempi: Poiché ha le regole già scritte, ha bisogno di vedere molti meno video per imparare a fare il panino. È più efficiente.
• Non si perde: Se il robot deve fare un compito più lungo o più corto di quelli che ha visto durante l'allenamento, non va in tilt. Grazie al libro di cucina, sa che le regole (es. "prima il pane, poi il ripieno") valgono sempre, indipendentemente dalla lunghezza della ricetta.

In sintesi

Questo lavoro dice: "Non costringere l'intelligenza artificiale a reinventare la ruota o a memorizzare tutto a memoria. Dille le regole del gioco (la struttura procedurale) e lasciale imparare a giocare rispettando quelle regole."

Il risultato è un sistema che pianifica azioni complesse (come cucinare, riparare cose o fare sport) in modo più intelligente, veloce ed economico, proprio come un umano che usa il buon senso e la logica invece di indovinare a caso.

Sommario tecnico

1. Il Problema

La pianificazione procedurale nei video istruzionali mira a prevedere una sequenza di azioni che trasformi uno stato visivo iniziale in uno stato obiettivo desiderato. Questo è un compito fondamentale per agenti intelligenti (es. assistenti AI indossabili) che operano in ambienti complessi.

I metodi esistenti affrontano questo problema principalmente attraverso:

• Apprendimento implicito: Utilizzano modelli su larga scala (come Transformer, LLM o generatori basati su diffusione) che cercano di imparare le strutture procedurali direttamente dai dati.
• Svantaggi: Questi approcci sono spesso inefficienti dal punto di vista del campione (richiedono enormi quantità di dati), computazionalmente costosi e faticano a generalizzare su sequenze non viste durante l'addestramento. Inoltre, la letteratura presenta inconsistenze significative nelle protocolli di valutazione (split dei dati, metriche, implementazioni), rendendo difficile un confronto equo.

2. Metodologia: ViterbiPlanNet

Il paper propone ViterbiPlanNet, un framework che integra esplicitamente la conoscenza procedurale nel processo di apprendimento, evitando la necessità di memorizzare regole complesse all'interno dei parametri del modello.

Componenti Chiave:

1. Grafo della Conoscenza Procedurale (PKG):

   • La conoscenza del dominio è codificata in un grafo diretto $G = (V, E, \omega)$, dove i nodi sono le azioni e gli archi rappresentano transizioni valide con pesi probabilistici (stime basate sulla co-occorrenza delle azioni nei dati di addestramento).
   • Questo grafo funge da vincolo strutturale esplicito.

2. Livello Viterbi Differenziabile (DVL - Differentiable Viterbi Layer):

   • Il cuore dell'innovazione è l'incorporazione dell'algoritmo di Viterbi (classico per la decodifica di stati nascosti in HMM) direttamente nella rete neurale in modo differenziabile.
   • L'algoritmo di Viterbi standard utilizza operazioni non differenziabili (max e argmax). Il DVL sostituisce queste operazioni con rilassamenti lisci (usando log-sum-exp e softmax), permettendo il flusso dei gradienti dall'output del piano fino alla rete neurale.
   • Flusso di lavoro:
     • Un modello neurale ($f_{emiss}$) prevede le probabilità di emissione (quanto un'azione è compatibile con gli stati visivi iniziale e finale).
     • Il DVL utilizza le probabilità di transizione fisse del PKG e le emissioni previste per decodificare la sequenza di azioni più probabile.
     • Il modello non deve imparare l'intera sequenza, ma solo le probabilità di emissione; la struttura globale è garantita dal PKG.

3. Funzione di Loss:

   • L'addestramento è guidato da una perdita composta da tre termini:
     • $L_{plan}$: Errore quadratico medio (MSE) tra il piano "soft" prodotto dal DVL e il piano ground-truth.
     • $L_{align}$: Allineamento visivo-semantico (per ancorare le rappresentazioni visive alle descrizioni testuali degli stati).
     • $L_{task}$: Classificazione del task (per preservare la semantica globale del compito).

3. Contributi Principali

1. Framework ViterbiPlanNet: Un approccio end-to-end che integra un PKG tramite un DVL. Questo design è intrinsecamente leggero, permettendo al modello di apprendere probabilità di emissione semplici in modo efficiente in termini di parametri e campioni, invece di memorizzare regole procedurali complesse.
2. Protocollo di Valutazione Unificato: Gli autori hanno identificato e risolto le inconsistenze nella letteratura esistente. Hanno creato e open-source un pipeline di valutazione standardizzata (split coerenti, metriche uniformi, uso del bootstrap per la significatività statistica) per confrontare equamente i metodi.
3. Protocollo di Test Cross-Horizon: Introduzione di un nuovo protocollo di test in cui i modelli addestrati su orizzonti lunghi (es. $T=6$) vengono valutati su orizzonti più brevi ($T=3, 4, 5$) per verificare la robustezza e la capacità di generalizzazione, piuttosto che la semplice memorizzazione di pattern specifici.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset standard: CrossTask, COIN ed NIV.

• Prestazioni di Stato dell'Arte (SOTA): ViterbiPlanNet ottiene le migliori prestazioni in termini di Success Rate (SR) su tutti i dataset e orizzonti temporali, superando significativamente metodi basati su LLM, Diffusion e Transformer (come SCHEMA, PlanLLM, PDPP).
• Efficienza dei Parametri: Nonostante le prestazioni superiori, il modello è estremamente leggero, con circa 5-7 milioni di parametri. Questo è di 2-3 ordini di grandezza inferiore rispetto ai modelli basati su LLM (30B-100B) o modelli di diffusione (es. MTID con >1 miliardo di parametri).
• Efficienza del Campione (Sample Efficiency): Gli esperimenti mostrano che ViterbiPlanNet raggiunge prestazioni elevate con una frazione molto minore dei dati di addestramento rispetto ai competitor. Questo conferma che l'integrazione esplicita della conoscenza riduce la necessità di memorizzazione.
• Robustezza Cross-Horizon: Il modello dimostra una coerenza superiore quando testato su orizzonti diversi da quelli di addestramento, indicando che ha appreso la struttura procedurale trasferibile piuttosto che memorizzare sequenze specifiche.
• Ablazioni:
  • L'addestramento guidato dalla struttura (con DVL) è cruciale: usare il PKG solo come post-processing (come fanno SCHEMA o PlanLLM) offre guadagni minori.
  • Le probabilità di emissione apprese con DVL sono distribuzioni sugli stati latenti e non azioni dirette; richiedono la decodifica strutturata (VD o DVL) per funzionare.

5. Significato e Impatto

Il lavoro dimostra che integrare esplicitamente la conoscenza procedurale strutturata durante l'addestramento è una strategia superiore rispetto all'apprendimento implicito su larga scala per la pianificazione nei video.

• Efficienza: Permette di costruire agenti di pianificazione leggeri, adatti per l'esecuzione su dispositivi edge (on-device), senza la necessità di modelli giganti.
• Generalizzazione: La struttura del PKG agisce come un bias induttivo che guida il modello verso piani coerenti, migliorando la robustezza in scenari con dati limitati o orizzonti variabili.
• Rigor Scientifico: Il nuovo protocollo di valutazione unificato e l'uso di intervalli di confidenza statistica forniscono una base più solida e riproducibile per la ricerca futura nel campo della pianificazione procedurale.

In sintesi, ViterbiPlanNet sposta il paradigma dall'approccio "brute-force" basato su grandi modelli di linguaggio verso un approccio strutturato, efficiente e interpretabile, che sfrutta la conoscenza del dominio per guidare l'apprendimento neurale.