Digital Twin Driven Textile Classification and Foreign Object Recognition in Automated Sorting Systems

Este trabajo presenta un sistema robótico de clasificación textil impulsado por gemelos digitales que integra percepción multimodal y modelos de lenguaje visual para la detección de objetos extraños y la clasificación de prendas en entornos industriales automatizados, demostrando la viabilidad de esta tecnología mediante la evaluación de nueve modelos VLM en escenarios reales.

Lo esencial

¡Hola! Imagina que tienes una montaña de ropa sucia, mezclada con calcetines, camisas, pantalones y, por desgracia, algunas botellas de plástico o latas que alguien tiró por error. Tu misión es ordenar todo esto rápidamente, pero la ropa es suave, se pliega de mil formas y se enreda. Hacerlo a mano es lento y cansado.

Este paper (artículo científico) presenta una solución increíble: un "gemelo digital" y un cerebro de robot que pueden ordenar esta ropa automáticamente, incluso detectando si hay basura mezclada.

Aquí te lo explico como si fuera una historia de detectives robóticos:

1. El Escenario: La "Biblioteca del Caos"

Imagina una caja llena de ropa desordenada. Para un humano, es fácil ver qué es qué. Para un robot, es una pesadilla: la ropa no tiene forma fija, se dobla y se esconde a sí misma. Además, a veces hay objetos extraños (como una botella de agua) que no deberían estar ahí.

2. El Equipo: Dos Brazos Robóticos y un "Gemelo Mágico"

El sistema usa dos brazos robóticos (llamados "Alice" y "Bob") que trabajan juntos. Pero lo más genial es el Gemelo Digital.

• ¿Qué es un gemelo digital? Imagina que tienes un videojuego en tu computadora que es una copia exacta del mundo real. Antes de que el robot real mueva un solo dedo, su "gemelo" en la computadora prueba el movimiento. Si el gemelo ve que el robot va a chocar contra la mesa o a tirar la ropa al suelo, le dice: "¡Alto! Intenta otra ruta".
• Esto hace que el robot sea muy cuidadoso y seguro, como un bailarín que ensaya sus pasos antes de salir al escenario.

3. El Cerebro: Los "Ojos que Leen" (Modelos VLM)

Aquí es donde entra la magia de la Inteligencia Artificial. En lugar de usar un cerebro de robot antiguo que solo reconoce formas simples, usan Modelos de Lenguaje Visual (VLM).

• La analogía: Imagina que le das una foto de una camisa a un niño pequeño. Él podría decir "es una camisa". Pero si le das una foto a un experto en literatura que también sabe ver, él no solo dirá "es una camisa", sino que podría decir: "Es una camisa azul, parece de algodón, y ¡oh! hay una lata de refresco escondida debajo".
• Estos modelos son como detectives que leen las imágenes. Pueden entender preguntas como: "¿Hay ropa aquí? Si sí, ¿qué tipo es? ¿Hay basura?".

4. La Prueba de Fuego: ¿Quién es el mejor detective?

Los autores probaron 9 tipos diferentes de estos "detectives" (modelos de IA) para ver cuál era el mejor.

• El ganador: La familia de modelos llamada Qwen fue la campeona. Fue como el detective más astuto: acertó casi el 88% de las veces, reconociendo perfectamente camisas, calcetines y, muy importante, detectando la basura (objetos extraños).
• El velocista: Hubo otro modelo, Gemma, que fue un poco menos preciso pero mucho más rápido. Es como un corredor de 100 metros: no siempre ve los detalles más finos, pero toma decisiones rapidísimas. Es ideal si tienes que clasificar ropa muy rápido en una fábrica.

5. El Proceso Paso a Paso

Así es como funciona la magia en la vida real:

1. Agarrar: El robot "Alice" mete la mano en la caja, usa sensores táctiles (como puntas de dedos sensibles) para agarrar una prenda sin romperla.
2. Sacudir: La levanta y la sacude un poco para que se desate de otras prendas (como cuando sacudes una toalla).
3. Examinar: La coloca en una mesa de inspección. Aquí, la cámara toma una foto y se la envía al "cerebro" de IA.
4. Decidir: El cerebro dice: "¡Es una camisa! Llévala al contenedor de camisas". O si ve una botella: "¡Es basura! Llévala al contenedor de reciclaje".
5. Repetir: Todo esto ocurre en segundos, con el gemelo digital asegurándose de que nada choque.

¿Por qué es importante esto?

Hoy en día, queremos reciclar ropa para hacer el planeta más verde. Pero reciclar ropa es difícil porque está todo mezclado. Este sistema es como un super-ordenador de reciclaje que puede trabajar 24/7 sin cansarse, separando la ropa de la basura y ayudando a crear un futuro más sostenible.

En resumen: Han creado un robot con un "gemelo virtual" para moverse con cuidado y un "cerebro de detective" que entiende la ropa y la basura, logrando ordenar el caos de la ropa vieja de forma automática y eficiente. ¡Es el futuro de la limpieza y el reciclaje!

Resumen técnico

Resumen Técnico: Clasificación de Textiles y Detección de Objetos Extraños mediante Gemelos Digitales

1. Planteamiento del Problema

La automatización del reciclaje de textiles enfrenta desafíos significativos debido a la naturaleza deformable de la ropa, la alta variabilidad intraclase, la auto-oclusión y la frecuente enredamiento de prendas en montones desordenados. Además, estos entornos a menudo contienen objetos extraños (envases de plástico, accesorios metálicos, residuos no textiles) que deben ser detectados y separados.

La necesidad de soluciones robustas se ve impulsada por regulaciones emergentes, como el Pasaporte Digital de Producto (DPP) de la Unión Europea, que exige trazabilidad y transparencia de materiales. Sin embargo, los textiles heredados y no registrados requieren sistemas de clasificación basados en percepción avanzada que puedan manejar:

• Entornos desordenados y dinámicos.
• La distinción entre prendas y objetos no textiles.
• La manipulación segura y eficiente de objetos deformables sin dañarlos ni colisionar con el entorno.

2. Metodología

El trabajo propone un sistema robótico de clasificación autónomo de doble brazo que integra Gemelos Digitales, percepción multimodal y razonamiento semántico mediante Modelos de Lenguaje Visual (VLM).

• Configuración Robótica:

  • Se utiliza una celda robótica con dos manipuladores UR7e (denominados "Alice" y "Bob") equipados con pinzas Robotiq 2F-140.
  • El robot "Alice" cuenta con sensores táctiles capacitivos (CapTac) en las puntas de los dedos para detectar fallos de agarre y fuerzas normales/cortantes.
  • El sistema opera en tres zonas: Zona A (cesta de entrada desordenada), Zona B (mesa de inspección) y Zona C (clasificación final).

• Flujo de Trabajo:

  1. Agarre Inicial: Un algoritmo de predicción de agarre (basado en CNN y datos RGB-D) selecciona una prenda en la cesta.
  2. Manipulación y Preparación: "Alice" agarra la prenda, realiza un movimiento de sacudida para soltar objetos atrapados y la coloca en la mesa de inspección (Zona B), extendiéndola pasivamente.
  3. Clasificación Semántica: Se utiliza un Modelo de Lenguaje Visual (VLM) ejecutado localmente (vía API de Ollama) para analizar la imagen de la prenda en la Zona B. El modelo clasifica la prenda en: pantalones, camisa, ropa interior, calcetín, otro (objetos extraños u otras prendas) o vacío.
  4. Planificación de Trayectoria y Gemelo Digital:
     • Se utiliza MoveIt para la planificación de trayectorias con evitación de colisiones.
     • Un Gemelo Digital en RViz integra nubes de puntos 3D segmentadas de la prenda inspeccionada en tiempo real. Esto permite una planificación de agarre más precisa y segura para el siguiente movimiento (transferencia a Zona C o al robot "Bob").

• Benchmarking de Modelos:

  • Se evaluaron 9 VLMs de 5 familias diferentes (Gemma, Llama, LLaVA, MiniCPM, Qwen) en un conjunto de datos de 223 escenarios de inspección.
  • Los modelos se probaron tanto en hardware de consumo (RTX 3060) como en GPUs profesionales (Nvidia H200) para evaluar el rendimiento en el borde (edge) y en la nube.

3. Contribuciones Clave

• Arquitectura Robusta de Clasificación: Extensión de enfoques anteriores hacia un sistema multi-etapa industrial real que maneja prendas grandes y objetos extraños, superando las limitaciones de configuraciones de laboratorio puramente estáticas.
• Integración de Gemelo Digital en Manipulación: Implementación única de un gemelo digital que no solo simula el entorno, sino que incorpora nubes de puntos 3D de las prendas inspeccionadas para mejorar la fiabilidad de la planificación de agarres y la detección de colisiones.
• Evaluación Exhaustiva de VLMs: El primer benchmark comparativo de múltiples VLMs en tareas de clasificación de textiles y detección de objetos extraños en un entorno robótico real, analizando precisión, alucinaciones y tiempos de cómputo.
• Sistema de Retroalimentación Táctil y Visual: Combinación de sensores capacitivos para asegurar el agarre exitoso y VLMs para la toma de decisiones semánticas, cerrando el ciclo de percepción-acción.

4. Resultados

• Rendimiento de Precisión:

  • La familia de modelos Qwen logró la mayor precisión global, alcanzando hasta un 87.9% (Qwen3.5:35b y Qwen3-vl:235b). Destacaron especialmente en la detección de objetos extraños ("Other") y en la clasificación de calcetines (100% de precisión en algunos modelos Qwen).
  • El modelo Gemma3:12b ofreció el mejor equilibrio velocidad-precisión para despliegue en el borde, aunque con una precisión global menor (76.23%). Fue el único modelo que identificó correctamente el 100% de las mesas vacías en las pruebas, aunque la muestra fue pequeña.
  • Modelos como LLaVA y Llama mostraron una mayor tendencia a la alucinación (generar respuestas incorrectas o frases completas en lugar de etiquetas simples) y dificultades para distinguir clases en situaciones de baja densidad de objetos.

• Rendimiento Computacional:

  • Los modelos más grandes (ej. Qwen3.5:122b) requieren GPUs de alto rendimiento (H200) y tienen tiempos de inferencia más largos (hasta ~20s), mientras que modelos ligeros como Gemma3 o Qwen3-vl:8b son viables en GPUs de consumo con tiempos de inferencia de ~0.4s a 1.6s.
  • El tiempo de cómputo no fue un cuello de botella crítico siempre que el modelo pudiera cargarse completamente en la VRAM de la GPU.

• Desafíos Observados:

  • La precisión disminuyó para prendas de gran tamaño cuando no se colocaron idealmente en la mesa de inspección debido a la manipulación por un solo robot.
  • Los calcetines obtuvieron la mayor precisión debido a su tamaño pequeño y forma distintiva.

5. Significado e Impacto

Este trabajo demuestra la viabilidad de combinar el razonamiento semántico de los VLMs con la técnica de agarre tradicional y la tecnología de Gemelos Digitales para crear sistemas de clasificación de textiles escalables y autónomos.

• Relevancia Industrial: Proporciona una solución práctica para la automatización del reciclaje textil, alineándose con las futuras regulaciones de la UE sobre trazabilidad de productos.
• Avance en Robótica: Supera las limitaciones de los métodos basados puramente en CNNs al permitir la detección de clases no predefinidas y objetos extraños mediante instrucciones de lenguaje natural.
• Futuro: El sistema sienta las bases para futuras mejoras, como la transferencia de prendas entre robots (handover), el uso de múltiples brazos para extender prendas y la integración de múltiples VLMs ponderados para maximizar la detección de mesas vacías y reducir errores.

En conclusión, el estudio valida que la fusión de percepción física (sensores táctiles, visión 3D) e inteligencia artificial semántica (VLMs) es un camino prometedor para resolver uno de los problemas más complejos en la automatización robótica: la manipulación de objetos deformables en entornos no estructurados.