A Visuo-Tactile Data Collection System with Haptic Feedback for Coarse-to-Fine Imitation Learning

Resumen Técnico: Un Sistema de Recopilación de Datos Visuo-Táctiles con Retroalimentación Háptica para Aprendizaje por Imitación de lo Grueso a lo Fino

Enunciado del Problema
El aprendizaje por imitación (IL) para la manipulación rica en contactos requiere demostraciones humanas de alta calidad que capturen tanto las fuerzas de interacción física como la estructura temporal de las tareas (por ejemplo, distinguir entre movimientos de aproximación gruesa y ajustes finos). Las pipelines convencionales de recopilación de datos adolecen de dos limitaciones principales:

1. Háptica Desacoplada: Las interfaces cinemáticas (por ejemplo, empuñaduras tipo pistola) separan físicamente al operador del efector final de la pinza. Esto impide que el operador sienta las fuerzas de contacto, dificultando la demostración de la modulación de fuerza sutil necesaria para el control de grano fino.
2. Falta de Anotación Estructural: Los sistemas existentes carecen de mecanismos integrados para que los operadores marquen regiones o transiciones críticas para la tarea en tiempo real. En consecuencia, los conjuntos de datos a menudo carecen de las etiquetas estructurales requeridas por los algoritmos de aprendizaje de lo grueso a lo fino, los cuales dependen de anotaciones de fase o región para modelar las tareas como fases secuenciales.

Metodología
Los autores proponen un novedoso sistema de recopilación de datos visuo-táctiles diseñado para abordar estas limitaciones mediante la interacción directa humano-robot y la anotación en tiempo real.

• Diseño de Hardware:

  • Pinza de Accionamiento Directo: El sistema utiliza una pinza personalizada de dos mandíbulas impresa en 3D, donde el operador acciona las mandíbulas directamente con sus dedos mediante una conexión mecánica compacta. Esto preserva la mapeo natural entre el movimiento del dedo y el ancho de la pinza, permitiendo al operador percibir la resistencia inducida por el contacto y modular la fuerza de manera natural.
  • Detección Visuo-Táctil:
    • Visual: Una cámara GoPro con lente ojo de pez está montada sobre la pinza para proporcionar una vista en primera persona con un amplio campo de visión, asegurando que el contexto se preserve incluso bajo oclusión parcial propia.
    • Táctil: Sensores 3D-ViTac personalizados están montados en las superficies internas de ambas mandíbulas. Cada sensor consiste en una hoja piezorresistiva entre dos conjuntos ortogonales de hilos conductores, formando una matriz densa de $16 \times 16$. Esta configuración captura la presencia de contacto, la fuerza normal y permite la reconstrucción de la geometría de contacto, incluidas las formas de superficie ocluidas a la vista de la cámara.
  • Interfaz de Anotación: Un botón pulsador montado en el mango permite al operador etiquetar regiones críticas para la tarea en tiempo real. Un microcontrolador Arduino lee el estado del botón junto con los datos táctiles y visuales, registrando señales con marca de tiempo para una alineación temporal precisa.

• Pipeline de Recopilación y Procesamiento de Datos:

  • Sincronización: Durante una demostración, el sistema registra simultáneamente video, matrices táctiles y estados del botón con marcas de tiempo precisas.
  • Post-procesamiento: Tras la recopilación de datos, la pose de 6 grados de libertad (6-DoF) del efector final se estima utilizando el algoritmo ORB-SLAM3 aplicado al video grabado. El ancho de la pinza se rastrea por separado utilizando marcadores ArUco adheridos a las mandíbulas.
  • Construcción del Conjunto de Datos: Todas las modalidades (imágenes RGB, pose de 6-DoF, ancho de la pinza, matrices de fuerza de $16 \times 16$ y señales de anotación binarias) se sincronizan utilizando sus marcas de tiempo para crear un conjunto de datos coherente e indexado en el tiempo.

• Representación de Datos:
  El conjunto de datos resultante consiste en secuencias alineadas en el tiempo que incluyen observaciones visuales, datos propioceptivos, lecturas táctiles y etiquetas de regiones críticas. El sistema demuestra esta capacidad en una tarea de inserción de juguete (agarrar una llave hexagonal e insertarla en un soporte inclinado), donde el operador etiqueta la fase "gruesa" (aproximación y agarre) y la fase "fina" (alineación de precisión e inserción).

Contribuciones Clave

1. Interfaz que Preserva la Háptica: Un diseño de pinza de accionamiento directo que permite a los operadores realizar manipulación rica en contactos mientras retienen la retroalimentación háptica natural, facilitando la demostración de una modulación de fuerza sutil.
2. Anotación Temporal In-Situ: Un mecanismo de etiquetado en tiempo real que permite a los operadores marcar explícitamente las transiciones de la tarea (por ejemplo, cambios de grueso a fino), generando conjuntos de datos compatibles con algoritmos de aprendizaje de lo grueso a lo fino.
3. Sincronización Multimodal: Una pipeline que fusiona la percepción de fuerza en la mano (mediante 3D-ViTac) con anotaciones temporales in-situ, produciendo conjuntos de datos estructurados que capturan tanto la geometría de contacto como la información de la fase de la tarea.

Resultados y Demostraciones
El artículo presenta un resumen de una sola demostración de una tarea de inserción de juguete para ilustrar la salida del sistema. Los datos recopilados incluyen:

• Visualización de Trayectoria: Trayectorias de posición 3D estimadas mediante SLAM, que resaltan intervalos críticos (por ejemplo, holgura ajustada durante la inserción).
• Retroalimentación Táctil: Visualizaciones de huellas táctiles que muestran la forma de la llave durante el agarre y la aproximación, proporcionando señales directas para ángulos de inserción correctos que son difíciles de inferir solo a partir de imágenes.
• Estructura Temporal: Segmentación clara de la tarea en fases gruesas y finas basada en las entradas del botón del operador, visualizada junto con el ancho de la pinza y marcadores de eventos (agarre, aproximación, inserción).

Significado y Afirmaciones
Los autores afirman que este sistema proporciona una herramienta valiosa para avanzar en la investigación de la manipulación robótica al abordar la brecha en la calidad de los datos para tareas ricas en contactos. Específicamente, el sistema permite el desarrollo de políticas de manipulación de alta calidad mediante:

• Facilitar algoritmos de aprendizaje de lo grueso a lo fino que explotan el conocimiento estructural de la tarea (anotaciones de fase/región).
• Apoyar la investigación en aprendizaje de restricciones inversas, donde las restricciones se recuperan a partir de demostraciones.
• Habilitar el aprendizaje por imitación asistido por modelos de lenguaje grandes al proporcionar datos multimodales ricos y estructurados.

El artículo enfatiza que, al preservar la percepción háptica natural y capturar explícitamente la estructura temporal, el sistema supera las limitaciones de las interfaces desacopladas convencionales, permitiendo la recopilación de demostraciones que son tanto físicamente precisas como estructuralmente informativas.