TacSE3: Equivariant SE(3) Motion Estimation from Low-Texture Visuotactile Images for In-Gripper Tracking and Compensation

Resumen Técnico: TacSE3 – Estimación de Movimiento SE(3) Equivariante a partir de Imágenes Visuotáctiles de Baja Textura

Enunciado del Problema
La manipulación intrínseca en la mano de los robots encuentra con frecuencia escenarios donde el seguimiento visual falla debido a oclusiones o a la falta de características visuales salientes. Aunque los Sensores Táctiles Basados en Visión (VBTS) ofrecen una alternativa prometedora para la interacción rica en contacto, las tuberías de estimación de movimiento convencionales que dependen de la textura de la imagen, el seguimiento de marcadores o el flujo óptico denso luchan con objetos de baja textura o simétricos (por ejemplo, esferas pulidas). En estas condiciones, los movimientos rotacionales sutiles inducen cambios mínimos en la apariencia, lo que hace que los métodos basados en correspondencia sean poco fiables. Además, las configuraciones de un solo sensor a menudo sufren de ambigüedad entre los movimientos de traslación y rotación, ya que ambos pueden producir patrones de deformación local similares. El artículo aborda el desafío de construir una estimación de movimiento SE(3) fiable directamente a partir de imágenes táctiles de baja textura sin depender de la coincidencia explícita de texturas.

Metodología: Tubería TacSE3
El método propuesto, TacSE3, replantea la imagen táctil no como una entrada visual texturizada, sino como una medición geométrica del contacto. La tubería procede a través de las siguientes etapas:

1. Construcción Desacoplada del Campo de Fuerza 3D:
   En lugar de rastrear características de la imagen, el método procesa observaciones táctiles crudas para reconstruir un campo de fuerza 3D denso. Utilizando un VBTS de patrón de color denso (específicamente DM-Tac), el sistema descompone la respuesta táctil en componentes tangenciales (cortantes) y normales. Esto se logra mediante la descomposición de Helmholtz–Hodge del campo de desplazamiento planar, separando los componentes sin rotación (divergencia) y sin divergencia (rotacional) para derivar distribuciones espaciales de fuerzas normales y de corte.

2. Generación de Puntos de Contacto y Proxy de Movimiento:
   El sistema identifica las regiones de contacto activas basándose en una respuesta normal significativa. Para cada píxel válido, se construye un punto de contacto 3D en el marco táctil local. Las respuestas de fuerza tangencial y normal se calibran para servir como un proxy de velocidad local, aproximando el movimiento instantáneo del punto de contacto.

3. Estimación de Cuerpo Rígido SE(3):
   Los proxies de velocidad local se modelan utilizando una ecuación de torsión de cuerpo rígido ($v = \omega \times q + t$). El proceso de estimación emplea una estrategia de desacoplamiento específica:

   • Traslación: La traslación planar se deriva estrictamente del movimiento del centroide de contacto en el plano del sensor, en lugar de ajustarse conjuntamente con la rotación.
   • Rotación: La rotación se estima por separado ajustando las restricciones de movimiento relacionadas con el corte al modelo de cuerpo rígido.
     Esta separación evita el mal acondicionamiento que a menudo se encuentra en problemas de mínimos cuadrados acoplados de traslación-rotación y proporciona una señal físicamente interpretable.

4. Integración Temporal y Equivariancia:
   La torsión instantánea estimada se integra en el tiempo utilizando el mapa exponencial en la variedad SE(3) para producir una trayectoria de pose continua. El método asegura consistencia de coordenadas equivariante: el movimiento estimado se define en el marco del efector final, garantizando que el mismo movimiento subyacente del objeto produzca estimaciones consistentes independientemente de los cambios en la pose global del robot o la ubicación específica del contacto en el sensor.

5. Fusión de Doble Sensor:
   Para resolver la ambigüedad traslación-rotación, el sistema utiliza dos sensores táctiles montados en los dedos de la pinza opuestos. Al aplicar una transformación de matriz de signos para tener en cuenta los marcos de coordenadas reflejados, el sistema fusiona las estimaciones de torsión. Esto permite al sistema distinguir entre el movimiento de traslación (que produce direcciones de fuerza consistentes en todos los sensores) y el movimiento de rotación (que produce patrones de fuerza opuestos).

6. Integración de Control Residual:
   El movimiento SE(3) estimado se trata como un residuo geométrico táctil. Se fusiona con una política base existente (por ejemplo, Fragmentación de Acciones con Transformadores) como una señal de posprocesamiento ligera ($u_{final} = u_{policy} + \Delta u_{tactile}$) para refinar las acciones del robot sin reentrenar la política base.

Contribuciones Clave

• Formulación del Estado Geométrico: El artículo formula la estimación de táctil a SE(3) para sensores de baja textura como un problema de estimación de estado geométrico centrado en el movimiento local de cuerpo rígido, alejándose de la coincidencia de correspondencias dependiente de la textura.
• Desacoplamiento del Campo de Fuerza: Propone una tubería que desacopla las observaciones táctiles crudas en un campo de fuerza 3D y reconstruye la torsión de cuerpo rígido mediante un modelo SE(3) fundamentado físicamente, separando específicamente la traslación basada en el centroide de la rotación basada en el corte.
• Reducción de Ambigüedad con Doble Sensor: El trabajo demuestra que las configuraciones de doble sensor reducen significativamente la ambigüedad entre traslación y rotación en comparación con las configuraciones de un solo sensor.
• Compensación Ligera: El método proporciona una señal de rotación que puede adjuntarse como un módulo de posprocesamiento para mejorar la tolerancia a perturbaciones en tareas de manipulación aguas abajo sin modificar la política de control base.

Resultados Experimentales
Los experimentos se realizaron utilizando un robot UR5 equipado con sensores DM-Tac duales:

• Precisión de Rotación: Bajo rotaciones controladas de una bola agarrada (30°, 60°, 90°) a través de tres ejes ($r_x, r_y, r_z$), el método logró errores angulares medios que oscilaban entre ~3° para rotaciones de 30° hasta ~12° para rotaciones de 90°. El crecimiento del error se atribuye a la deriva de integración y a la no linealidad del contacto en ángulos más grandes.
• Sensor Único vs. Doble: En pruebas de movimiento puramente traslacional, la configuración de un solo sensor exhibió una deriva de rotación significativa (aproximadamente 9–10°), mientras que la configuración de doble sensor redujo esta deriva a aproximadamente 1.1–1.5°, demostrando un desacoplamiento efectivo.
• Generalización: El método mantuvo tasas de error bajas (2.6°–4.0°) en diversos objetos con geometrías variables (esferas, cilindros, formas irregulares) y texturas superficiales (suaves, texturizadas, madera, plástico), confirmando la robustez ante condiciones pobres en textura.
• Rendimiento a Nivel de Política: En tareas que involucran perturbaciones inducidas por humanos (Dibujo, Inserción de Engranaje, Perno en Orificio), habilitar el posprocesador táctil mejoró las tasas de éxito bajo interferencia en comparación con la política base sola (por ejemplo, la Inserción de Engranaje mejoró del 20% al 35% de éxito bajo interferencia).

Significado y Reivindicaciones
El artículo afirma que TacSE3 ofrece un puente geométrico práctico entre la sensórica visuotáctil de baja textura y la manipulación intrínseca rica en contacto. Al priorizar la geometría del contacto sobre la apariencia de la imagen, el método logra una estimación de movimiento fiable donde fallan los métodos táctiles tradicionales basados en visión o textura. Los autores enfatizan que el enfoque no pretende reemplazar la visión global ni proporcionar una estimación completa del estado del objeto para objetos novedosos a lo largo de horizontes largos. En cambio, sirve como un módulo robusto, interpretable y ligero para el seguimiento y la compensación de movimiento local, particularmente valioso para objetos lisos, simétricos u ocultos donde la visión es poco fiable. La naturaleza equivariante de la salida asegura que la señal permanezca consistente para el control aguas abajo independientemente de la ubicación específica del contacto o la pose del robot.