Diversity You Can Actually Measure: A Fast, Model-Free Diversity Metric for Robotics Datasets

1. Il Problema

Nel campo dell'apprendimento per imitazione (Imitation Learning - IL) in robotica, i dataset sono tipicamente composti da traiettorie a lungo raggio di lunghezze variabili, che includono osservazioni ad alta dimensionalità (es. video RGB), stati e azioni.
Esistono due sfide principali nella quantificazione della diversità di questi dati:

1. Struttura complessa: Le dimostrazioni non sono semplici punti isolati, ma percorsi continui con struttura geometrica e temporale. Le metriche di distanza punto-punto falliscono nel catturare queste proprietà.
2. Mancanza di metriche standard: Non esiste un metodo ampiamente accettato per misurare la diversità in modo principiato, che rispetti la geometria delle traiettorie e sia computazionalmente efficiente.
   La mancanza di diversità (o la presenza di ridondanza) nei dataset può degradare le prestazioni della politica appresa, anche se i dati sono di alta qualità. Le attuali strategie di curatela dei dati spesso richiedono modelli ausiliari costosi o l'accesso a roll-out della politica, rendendole poco scalabili.

2. Metodologia: FAKTUAL e Metriche Basate su Signature

Gli autori propongono FAKTUAL (FAst trajectory Kernel enTropy cUration for imitation Learning), un algoritmo di curatela dei dati che massimizza l'entropia del dataset senza utilizzare modelli di apprendimento (model-free).

A. Trasformata di Signature e Kernel

Il cuore della metodologia è l'uso della Trasformata di Signature (Signature Transform) e del Kernel di Signature.

• La signature di una traiettoria è una sequenza infinita di integrali iterati che cattura la struttura geometrica e temporale del percorso.
• È invariante rispetto alla riparametrizzazione (es. velocità diversa dello stesso percorso), il che la rende ideale per la robotica.
• Il Kernel di Signature ($k_{sig}$) definisce una misura di similarità tra due traiettorie basandosi sulla loro struttura geometrica, non solo sulla distanza puntuale.

B. Definizione di Entropia e Diversità

Gli autori estendono i concetti di entropia di Shannon e di von Neumann al contesto delle traiettorie robotiche:

1. Rappresentazione: Ogni dimostrazione viene convertita in un percorso multivariato (concatenando stati, azioni e osservazioni, ad esempio embedding ViT delle immagini).
2. Matrice di Gram: Si costruisce una matrice di kernel normalizzata $K_{sig}$ dove ogni elemento $K_{ij}$ rappresenta la similarità tra la dimostrazione $i$ e $j$.
3. Entropia di Signature: L'entropia è calcolata sugli autovalori ($\lambda_i$) della matrice di kernel normalizzata ($K_{sig}/n$).
   • Entropia di Shannon: $H = -\sum \lambda_i \ln \lambda_i$
   • Entropia di von Neumann: $H = -\text{Tr}(\frac{K_{sig}}{n} \ln \frac{K_{sig}}{n})$
   • Il paper dimostra che, in questo contesto, le due entropie sono equivalenti.
4. Volume (Determinante): Come metrica complementare, viene utilizzato il determinante della matrice di kernel ($\det(K_{sig})$), che misura il volume spaziale coperto dalle dimostrazioni nello spazio delle feature. Un determinante alto indica una bassa ridondanza.

C. L'Algoritmo FAKTUAL

FAKTUAL seleziona un sottoinsieme di dimostrazioni di dimensione $m$ che massimizza l'entropia o il determinante. Poiché il problema di trovare il sottoinsieme ottimale è NP-arduo, l'algoritmo utilizza strategie greedy approssimate:

1. Selezione basata sull'Entropia: Seleziona un sottoinsieme che massimizza l'entropia (promuovendo una copertura uniforme).
2. Selezione basata sul Determinante: Seleziona un sottoinsieme che massimizza il volume (promuovendo punti estremi o "outlier" informativi).
3. Strategia Ibrida: L'algoritmo combina entrambe le strategie (es. $p\%$ basati su entropia e $(1-p)\%$ basati sul determinante) per ottenere un dataset bilanciato tra copertura uniforme e inclusione di casi limite.

3. Contributi Chiave

1. Metriche di Entropia Principiate: Introduzione di entropie di Shannon e von Neumann calcolate sugli autovalori del kernel di signature, permettendo di misurare la diversità direttamente sui dati grezzi (stati, azioni, video) senza modelli appresi.
2. Algoritmo FAKTUAL: Un metodo di curatela dei dati completamente model-free, che non richiede accesso alla politica di imitazione, ai suoi roll-out o a modelli ausiliari. È computazionalmente efficiente e aggiunge un sovraccarico trascurabile rispetto all'addestramento della politica.
3. Correlazione Diversità-Prestazioni: Dimostrazione empirica che l'entropia delle dimostrazioni è fortemente correlata con il tasso di successo della politica downstream.

4. Risultati Sperimentali

Gli autori hanno valutato FAKTUAL su benchmark simulati (RoboMimic, MetaWorld) e su quattro compiti di manipolazione nel mondo reale (con un braccio robotico SO-ARM101).

• Performance: FAKTUAL supera costantemente la selezione casuale (Random Selection) nel migliorare i tassi di successo, specialmente in compiti difficili o quando il budget di dimostrazioni è limitato.
• Efficienza: Rispetto a metodi basati su modelli (come DemInf, Cupid, Demo-SCORE) che richiedono l'addestramento di VAE, classificatori o l'uso di funzioni di influenza, FAKTUAL è molto più veloce e leggero.
• Confronto con Baseline:
  • Su compiti semplici (es. "Can" in RoboMimic), FAKTUAL ottiene prestazioni superiori o pari alla selezione casuale anche con pochi dati.
  • Su compiti complessi (es. "Transport"), FAKTUAL mostra un vantaggio crescente man mano che il numero di dimostrazioni aumenta, superando la selezione casuale una volta che l'entropia inizia a saturare.
  • Sebbene i metodi basati sulla qualità dei dati (che filtrano le dimostrazioni scadenti) possano performare meglio in presenza di dati rumorosi, FAKTUAL è superiore quando la qualità è già alta e il problema è la ridondanza.
• Mondo Reale: In compiti reali, la curatela basata sulla diversità ha permesso di ottenere prestazioni migliori rispetto all'uso dell'intero dataset, suggerendo che molte dimostrazioni aggiuntive erano ridondanti e introducevano rumore.

5. Significato e Implicazioni

Questo lavoro fornisce uno strumento pratico per comprendere e migliorare la diversità nei dataset robotici.

• Scalabilità: Permette di curare dataset su larga scala (pre-training) senza i costi computazionali proibitivi dei metodi basati su modelli.
• Indipendenza dal Modello: Essendo model-free, FAKTUAL può essere applicato a qualsiasi architettura di politica (BC, Diffusion, Transformer) senza necessità di riaddestramento o accesso ai gradienti.
• Nuova Prospettiva: Sposta il focus dalla sola "qualità" delle dimostrazioni alla loro "diversità" e "copertura uniforme", dimostrando che un dataset bilanciato e informativo è cruciale per la generalizzazione.

In sintesi, il paper stabilisce che l'entropia calcolata tramite kernel di signature è una metrica robusta, economica e efficace per la curatela dei dati nell'apprendimento per imitazione robotico, offrendo un approccio scalabile per costruire dataset di addestramento ottimali.