More with LESS -- Local Scene Representations for Tactile Imaging

Resumen Técnico: Más con MENOS – Representaciones de Escenas Locales para Imágenes Táctiles

Planteamiento del Problema
La imagen táctil (TI, por sus siglas en inglés) tiene como objetivo reconstruir la estructura interna de objetos blandos mediante el tacto, una capacidad crítica para el diagnóstico médico (por ejemplo, la detección de lesiones) y la manipulación robótica. Aunque enfoques recientes de aprendizaje autosupervisado (SSL), como el trabajo de Rimon et al. [34], han demostrado resultados prometedores, sufren de limitaciones significativas:

1. Representaciones Globales: Los métodos existentes codifican escenas táctiles completas en un único vector no estructurado. Esto ignora la naturaleza compositiva de los objetos físicos, lo que requiere entrenar con "todas las combinaciones posibles de objetos" para generalizar, lo cual es computacionalmente costoso y a menudo inviable.
2. Dependencia del Robot: Los métodos previos dependían de una cinemática robótica precisa para el seguimiento de la pose y patrones de movimiento verticales, lo que limita su aplicabilidad a dispositivos sostenidos a mano donde la palpación humana implica movimientos complejos y no verticales.
3. Dimensionalidad: El trabajo previo se limitaba principalmente a la imagen 2D, perdiendo la información estructural más rica disponible en volúmenes 3D.

Metodología: LESS (Codificador Local para Detección Espacial)
Los autores proponen LESS, una arquitectura neuronal centrada en el objeto diseñada para explotar la naturaleza inherentemente local de la detección táctil. La idea central es que la respuesta táctil de la estructura interna de un objeto en una posición específica es casi independiente de las estructuras en posiciones distantes.

• Arquitectura:

  • Rejilla de Partículas: En lugar de un único vector global, la escena táctil se modela como una rejilla de $N$ representaciones locales (partículas). Cada partícula es una red neuronal recurrente (específicamente, una Unidad Recurrente de Puerta o GRU) con un campo receptivo espacial definido.
  • Procesamiento Local: Cada partícula procesa solo la secuencia de mediciones táctiles (fuerza y pose) que caen dentro de su campo receptivo. Las entradas se centran en relación con la posición de la partícula y se codifican mediante codificaciones posicionales sinusoidales y MLPs.
  • Pesos Compartidos: Todas las partículas comparten pesos, lo que permite al modelo aprender respuestas táctiles locales que son invariantes a la posición absoluta.
  • Reconstrucción de Imágenes: Los estados latentes de todas las partículas se fusionan para reconstruir imágenes 2D o 3D. Para la generación de imágenes, el estado latente de cada partícula se mapea a un parche de imagen local mediante una convolución transpuesta. Estos parches se ensamblan promediando los logits y aplicando un softmax para producir la imagen final.
  • Estimación de la Incertidumbre: La naturaleza local de la arquitectura permite la estimación de la incertidumbre a nivel de píxel utilizando la entropía de Shannon de las probabilidades de clase, ya que la incertidumbre en una ubicación no está entrelazada con ubicaciones distantes.

• Entrenamiento y Recolección de Datos:

  • Aprendizaje Autosupervisado (SSL): El codificador-decodificador se entrena mediante la predicción de fuerza. El modelo predice la fuerza en una posición futura dada la representación local actual, minimizando el Error Cuadrático Medio (MSE).
  • Conjuntos de Datos: Los autores recolectaron el conjunto de datos de interacción táctil de cuerpos blandos más grande hasta la fecha (~800 horas), que comprende:
    • data-v1: Movimientos de "picoteo" (poke) verticales (similares al trabajo previo).
    • data-poke: Movimientos verticales con orientaciones de sensores variadas.
    • data-primitive: Movimientos teleoperados que asemejan la palpación humana.
    • data-handheld: Datos manuales recolectados con un sensor sostenido a mano rastreado por un sistema de estimación de pose basado en fiduciales.
  • Fantasmas (Phantoms): Fantasmas modulares con pieles de silicona suave y rellenos de hidrogel que contienen inclusiones de diversas formas, tamaños y cantidades (únicas, múltiples, conectadas). La verdad de campo (ground truth) se obtuvo mediante RM de 3T.
  • Funciones de Pérdida: Para la reconstrucción de imágenes, los autores utilizan una combinación de pérdida Focal y pérdida Dice para abordar el desequilibrio de clases entre las pequeñas inclusiones y el gran gel de fondo.

Contribuciones Clave

1. Generalización Compositiva Zero-Shot: LESS demuestra la capacidad de generalizar a configuraciones no vistas. Los modelos entrenados exclusivamente con fantasmas de inclusiones únicas reconstruyen con precisión objetos con múltiples inclusiones y dimensiones más grandes en el tiempo de prueba. Esto se logra porque el modelo aprende patrones locales en lugar de combinaciones globales de escenas.
2. Reconstrucción 3D: El método extiende la imagen táctil desde cortes 2D a volúmenes 3D completos. Sorprendentemente, el entrenamiento con etiquetas 3D mejora las métricas de corte 2D en comparación con el entrenamiento solo en 2D, probablemente debido a que el modelo aprende regularidades espaciales a través de cortes adyacentes.
3. Imagen Táctil de Mano (Hand-Held): Los autores presentan un sistema de prueba de concepto sostenido a mano. Al incorporar el seguimiento de la pose externo y entrenar con diversos primitivos de movimiento (incluyendo movimientos similares a los humanos), permiten la imagen en tiempo real fuera de una configuración robótica fija.
4. Incertidumbre Espacial: La arquitectura proporciona estimaciones de incertidumbre localizadas, identificando áreas donde el operador debería recolectar datos adicionales, una característica difícil de lograr con representaciones globales.

Resultados Experimentales

• Generalización: En pruebas zero-shot en fantasmas de "múltiples inclusiones" y "grandes" (fuera de la distribución), LESS superó significativamente al baseline global (GLOBAL). Por ejemplo, en el conjunto de múltiples inclusiones, LESS logró un F1 score del 71.1% frente al 44.6% de GLOBAL.
• 3D vs. 2D: El entrenamiento en volúmenes 3D produjo una mejor precisión de reconstrucción 2D (por ejemplo, menor error de Centro de Masa) que el entrenamiento solo en cortes 2D.
• Robustez de la Pose: El sistema permanece estable con un ruido de posición de hasta ~1 mm y un ruido de orientación de hasta ~0.1 radián.
• Rendimiento de Mano (Hand-Held): Aunque los sensores sostenidos por robots arrojaron una precisión ligeramente mejor (error de CoM 1.6 mm) que la operación manual (8.4 mm), el entrenamiento con datos de movimiento diversos (data-primitive) redujo sustancialmente la brecha de rendimiento en comparación con el entrenamiento basado solo en el picoteo robótico.

Significado y Reivindicaciones
El artículo afirma que LESS representa un paso significativo hacia una imagen táctil práctica e independiente del operador. Al pasar de representaciones globales a locales, el método supera la ineficiencia de datos de los enfoques de SSL anteriores, permitiendo la generalización a objetos complejos y compuestos sin necesidad de reentrenamiento. El desarrollo de un sistema sostenido a mano con visualización de incertidumbre en tiempo real cierra la brecha entre la investigación robótica y la utilidad clínica, potencialmente ayudando en dispositivos de uso doméstico y guiando a los médicos durante los exámenes. Los autores señalan que, aunque el trabajo actual utiliza fantasmas sintéticos, el marco técnico (particularmente el sistema sostenido a mano) está diseñado para facilitar la evaluación futura en tejido humano.