Diversity You Can Actually Measure: A Fast, Model-Free Diversity Metric for Robotics Datasets

1. Het Probleem

Robotica-datasets voor imitatielearning (IL) bestaan vaak uit lange trajecten met variërende lengtes, bestaande uit meerdere modaliteiten zoals toestanden (states), acties en hoogdimensionale waarnemingen (bijv. RGB-video). Het kwantificeren van de diversiteit in deze datasets is niet triviaal vanwege twee hoofdredenen:

1. Structuur en Geometrie: Demonstraties zijn geen losse datapunten, maar continue paden. Een goede metriek moet de onderliggende trajectstructuur en geometrie respecteren, niet alleen punt-voor-punt afstanden.
2. Ontbrekende Standaard: Er is geen breed geaccepteerde, principiële maatstaf voor diversiteit in robotica-datasets. Bestaande methoden zijn vaak modelafhankelijk, vereisen dure training van hulpmodellen, of gebruiken online rollouts, wat ze onpraktisch maakt voor grote datasets.

Het doel van dit werk is een metriek te ontwikkelen die de diversiteit van een demonstratiedataset direct kan meten zonder toegang tot het te trainen beleid (policy) of extra rollouts, en te tonen hoe deze metriek kan worden gebruikt om datasets te cureren voor betere generalisatie.

2. Methodologie

De auteurs introduceren FAKTUAL (FAst trajectory Kernel enTropy cUration for imitation Learning), een data-curatie-algoritme dat gebaseerd is op een nieuwe definitie van entropie en diversiteit.

A. Signature Transform en Kernel

De kern van de methode is het gebruik van de Signature Transform (uit de theorie van ruwe paden) en de bijbehorende Signature Kernel.

• Signature Transform: Dit is een wiskundige transformatie die een pad (traject) van variabele lengte omzet in een oneindige reeks iteratieve integralen. Het is invariant voor reparametrisatie (bijv. snelheidswijzigingen veranderen de signature niet, zolang het geometrische pad hetzelfde blijft).
• Signature Kernel: Deze kernel definieert een gelijkenismaat tussen twee trajecten op basis van hun signatures. Dit respecteert de geometrische en sequentiële structuur van de robotbewegingen.

B. Entropie en Diversiteitsmetrieken

De auteurs definiëren entropie direct op de dataset door de eigenwaarden van de genormaliseerde Gram-matrix (kernelmatrix) van de signature kernel te gebruiken:

• Signature Shannon Entropie & Von Neumann Entropie: Beide worden berekend op de eigenwaarden ($\lambda_i$) van de matrix $K/n$. De auteurs tonen aan dat deze twee gelijk zijn in dit kader.
  $$H = -\sum \lambda_i \ln \lambda_i$$
  Een hoge entropie impliceert dat de demonstraties uniform verdeeld zijn over de ruimte van mogelijke trajecten (hoge diversiteit), terwijl lage entropie wijst op redundantie.
• Determinant (Volume): Een aanvullende metriek is de determinant van de kernelmatrix ($\det(K)$), die het volume meet dat wordt opgespannen door de demonstraties in de feature-ruimte.

C. Het FAKTUAL Algoritme

FAKTUAL is een modelvrije (model-free) curatiestrategie die een subset van de dataset selecteert die de entropie maximaliseert binnen een bepaald budget ($m$).

• Optimalisatie: Het vinden van de perfecte subset is een NP-hard probleem (Maximum Coverage). Het algoritme gebruikt een gierige strategie (greedy strategy) met lokale zoekruimte om een benadering te vinden die de entropie of determinant maximaliseert.
• Hybride Aanpak: Om zowel uniformiteit (via entropie) als extreme punten (via volume/determinant) te waarborgen, combineert FAKTUAL twee stappen:
  1. Selecteer een subset van grootte $m \cdot p$ die de entropie maximaliseert.
  2. Selecteer een subset van grootte $m \cdot (1-p)$ uit de resterende data die de determinant maximaliseert.
  3. De vereniging van deze twee subsets vormt de gecurateerde dataset.

3. Belangrijkste Bijdragen

1. Nieuwe Metriek: De eerste toepassing van Shannon en Von Neumann entropie op de eigenwaarden van een signature kernel voor robotica-datasets. Dit biedt een wiskundig onderbouwde, rekenkundig goedkope manier om diversiteit te meten.
2. Modelvrije Curatie (FAKTUAL): Een algoritme dat geen toegang vereist tot het imitatiebeleid, geen hulpmodellen (zoals VAE's of classifiers) hoeft te trainen, en geen online rollouts vereist. Het werkt puur op de dataset zelf.
3. Empirisch Bewijs: Het aantonen dat er een sterke positieve correlatie bestaat tussen de entropie van de dataset en het succespercentage van het getrainde beleid.
4. Efficiëntie: FAKTUAL is aanzienlijk sneller dan state-of-the-art methoden die afhankelijk zijn van het trainen van hulpmodellen of het uitvoeren van dure rollouts.

4. Resultaten

De methode is geëvalueerd op zowel gesimuleerde benchmarks (RoboMimic, MetaWorld) als vier real-world manipulatietaken.

• Prestatieverbetering: In vergelijking met willekeurige selectie (random selection) leidt FAKTUAL consistent tot hogere succespercentages, vooral bij beperkte datasetgroottes.
• Correlatie: Er is een sterke positieve correlatie (Pearson $r$ tussen 0.74 en 1.00) gevonden tussen de signature entropie en het downstream succes van het beleid.
• Vergelijking met Baselines:
  • FAKTUAL presteert beter dan willekeurige selectie.
  • Het presteert vergelijkbaar met of iets onder methoden die gebruikmaken van kwaliteitsmetingen (zoals DemoSCORE of Cupid), maar dan zonder de enorme rekenkosten van het trainen van hulpmodellen.
  • Op "makkelijke" taken (zoals het verplaatsen van een blikje) kan diversiteitscuratie zelfs de prestaties van het volledige dataset benaderen met veel minder data.
• Real-world Toepassingen: Op echte robots (SO-ARM101) bleek dat het verwijderen van redundante demonstraties de prestaties kon verbeteren, wat aangeeft dat grote datasets vaak veel ruis bevatten.

5. Betekenis en Conclusie

Dit werk biedt een praktisch en efficiënt instrument voor de robotica-gemeenschap om datasetkwaliteit te begrijpen en te verbeteren.

• Schaalbaarheid: Omdat de methode modelvrij is, kan deze worden toegepast op zeer grote datasets (zoals Open X-Embodiment) zonder de rekenkosten van het trainen van extra modellen.
• Complementair: FAKTUAL is niet bedoeld om kwaliteitscuratie (het verwijderen van slechte demonstraties) te vervangen, maar om deze aan te vullen. Een ideale dataset heeft zowel hoge kwaliteit als hoge diversiteit.
• Toekomstperspectief: De auteurs suggereren dat het combineren van diversiteits- en kwaliteitscuratie de volgende stap is voor het creëren van robuuste imitatielearning-systemen.

Kortom, FAKTUAL bewijst dat het meten en maximaliseren van de "informatie-inhoud" (entropie) van een dataset via signature kernels een krachtige, snelle en effectieve manier is om robotbeleid te verbeteren.