Diversity You Can Actually Measure: A Fast, Model-Free Diversity Metric for Robotics Datasets

Resumen Técnico: Métricas de Diversidad para Conjuntos de Datos en Robótica

1. El Problema

En el aprendizaje por imitación (IL) para robótica, los conjuntos de datos suelen consistir en trayectorias de largo horizonte con longitudes variables, que incluyen múltiples modalidades (estados, acciones y observaciones de alta dimensión como video RGB).

• Desafío Principal: Cuantificar la "diversidad" de estos datos de manera rigurosa es difícil. Las métricas tradicionales basadas en distancias punto a punto fallan porque no respetan la estructura geométrica y secuencial inherente a las trayectorias.
• Consecuencia: Sin una métrica de diversidad fiable, es difícil curar conjuntos de datos que maximicen el rendimiento de la política de aprendizaje, lo que lleva a redundancia en los datos o a una cobertura insuficiente del espacio de estados y comportamientos.
• Limitaciones de métodos actuales: Las estrategias de curación existentes a menudo requieren entrenar modelos auxiliares costosos (como VAEs o clasificadores) o dependen de rollouts en línea, lo que las hace computacionalmente intensivas y poco escalables para conjuntos de datos masivos.

2. Metodología Propuesta

Los autores proponen un enfoque basado en la Transformada de Firma (Signature Transform) y su núcleo asociado (Signature Kernel) para definir una métrica de diversidad que opera directamente sobre el conjunto de demostraciones sin necesidad de un modelo de política.

A. Representación de Trayectorias:
Cada demostración se convierte en una trayectoria multivariada en un espacio de características:

1. Las observaciones visuales (RGB) se incrustan en un espacio de vectores fijos (usando ViT) o se extraen representaciones de bajo nivel (nubes de puntos).
2. Estas se concatenan con los estados y acciones del robot en cada paso de tiempo.
3. El resultado es una trayectoria $X_i(t)$ que representa la demostración completa.

B. Métricas de Entropía Basadas en Firma:
Se extienden los conceptos de entropía de Shannon y von Neumann al dominio de las trayectorias utilizando el núcleo de firma ($k_{sig}$):

1. Matriz de Núcleo (Gram Matrix): Se construye una matriz $K_{sig}$ donde cada entrada $K_{ij}$ es la similitud entre la demostración $i$ y $j$ calculada mediante el kernel de firma. Este kernel es invariante a la reparametrización (velocidad), lo cual es crucial para comparar trayectorias geométricas similares.
2. Entropía de Firma: Se definen dos métricas equivalentes basadas en los autovalores ($\lambda_i$) de la matriz normalizada $K_{sig}/n$:
   • Entropía de Shannon de Firma: $H_{sig} = -\sum \lambda_i \ln \lambda_i$.
   • Entropía de von Neumann de Firma: $H_{sig} = -\text{Tr}((K_{sig}/n) \ln (K_{sig}/n))$.
   • Nota: El artículo demuestra teóricamente que ambas son idénticas en este contexto.
3. Determinante (Volumen): También se utiliza el determinante de la matriz de núcleo ($\det(K_{sig})$) como medida del volumen abarcado por las demostraciones en el espacio de características, lo que ayuda a capturar puntos de datos extremos o "outliers" que la entropía podría pasar por alto.

C. Algoritmo FAKTUAL:
Se introduce FAKTUAL (FAst trajectory Kernel enTropy cUration for imitation Learning), un algoritmo de curación de datos que selecciona un subconjunto de tamaño $m$ que maximiza la entropía o el determinante.

• Estrategia Híbrida: Para equilibrar la uniformidad (entropía) y la cobertura de extremos (volumen), el algoritmo selecciona:
  1. Un subconjunto de tamaño $m \cdot p$ que maximiza la entropía (promueve uniformidad).
  2. Un subconjunto de tamaño $m \cdot (1-p)$ del resto de los datos que maximiza el determinante (promueve diversidad de extremos).
• Optimización: Dado que encontrar el subconjunto óptimo es un problema NP-duro (similar a la cobertura máxima), se utilizan estrategias aproximadas como la búsqueda local codiciosa (Greedy Local Search) o muestreo estocástico.

3. Contribuciones Clave

1. Nueva Métrica de Diversidad: Definición de entropía de Shannon y von Neumann aplicada a la matriz de núcleo de firma, proporcionando una forma principada y computacionalmente eficiente de medir la diversidad en datos robóticos multimodales.
2. Algoritmo FAKTUAL: Un método de curación de datos libre de modelos (model-free). No requiere acceso a la política de imitación, ni a sus rollouts, ni a modelos auxiliares entrenados.
3. Eficiencia Computacional: FAKTUAL añade una sobrecarga negligible en comparación con el entrenamiento de la política, haciéndolo escalable para conjuntos de datos grandes.
4. Correlación con Rendimiento: Demostración empírica de que la entropía de los conjuntos de demostraciones se correlaciona positivamente con la tasa de éxito de la política aprendida.

4. Resultados Experimentales

Los autores evaluaron su enfoque en simuladores (RoboMimic, MetaWorld) y en cuatro tareas de manipulación en el mundo real (abrir cajones, arrastrar tazas, etc.).

• Rendimiento vs. Selección Aleatoria: FAKTUAL superó consistentemente a la selección aleatoria de demostraciones en la mayoría de las tareas y arquitecturas (BC-RNN, Diffusion Policy, SmolVLA).
• Eficiencia de Datos: En tareas más simples (ej. "Can" en RoboMimic), FAKTUAL logró altas tasas de éxito con muy pocas demostraciones (ej. 30-60), superando a la selección aleatoria que requería muchos más datos para alcanzar el mismo rendimiento.
• Comparación con Baselines:
  • Aunque métodos basados en calidad (como Cupid o Demo-SCORE) pueden obtener rendimientos ligeramente superiores cuando hay datos de baja calidad, FAKTUAL es superior en eficiencia computacional y no requiere entrenamiento de modelos auxiliares.
  • En tareas donde la calidad de los datos ya es alta, la curación basada en diversidad (FAKTUAL) es crucial para evitar redundancias y mejorar la generalización.
• Mundo Real: En tareas reales, la curación basada en diversidad mejoró o igualó el rendimiento del conjunto de datos completo, demostrando que muchas demostraciones adicionales pueden ser redundantes o ruidosas.

5. Significado e Impacto

• Herramienta Práctica: Proporciona a los investigadores y practicantes una herramienta práctica y rápida para entender y mejorar la diversidad de sus conjuntos de datos sin necesidad de recursos computacionales masivos.
• Cambio de Paradigma: Mueve el enfoque de la curación de datos de depender exclusivamente de la "calidad" (que a menudo requiere modelos costosos) a la "diversidad" como un señal explícita y medible.
• Escalabilidad: Al ser libre de modelos y eficiente, FAKTUAL permite la curación de conjuntos de datos a gran escala (pre-entrenamiento) que antes eran prohibitivos de procesar con métodos basados en influencia o modelos auxiliares.
• Limitaciones: El método no garantiza la selección de trayectorias de alta calidad si el conjunto original contiene datos adversarios o de muy baja calidad; por lo tanto, se sugiere combinarlo con métodos de curación de calidad en escenarios donde la calidad de los datos es heterogénea.

En conclusión, el trabajo establece que la entropía de los conjuntos de demostraciones, calculada mediante kernels de firma, es un indicador robusto y eficiente para optimizar el aprendizaje por imitación en robótica, permitiendo crear conjuntos de datos más equilibrados y efectivos con menos recursos.