💻 computer science

NPU-Accelerated Neuro-Fuzzy Safety Assistance with Decision-Level Multimodal Fusion for Teleoperated Assistive Robots

Este artículo presenta un marco de control compartido de Edge-AI para robots asistenciales teleoperados que utiliza un NPU Hailo-8L para ejecutar concurrentemente un Sistema de Inferencia Neuro-Difusa Adaptativo y un detector YOLOX-S, fusionando sus salidas para reducir significativamente las tasas de colisión y las intervenciones de emergencia mientras mantiene la operación local completa.

Autores originales: Sarra Ben Halima, Faten Ben Abdallah, Joseph Haggege

Publicado 2026-09-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sarra Ben Halima, Faten Ben Abdallah, Joseph Haggege

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un robot que ayuda a una persona a desplazarse por una habitación, pero el robot no decide a dónde ir. En su lugar, un humano se sienta en una estación de control remoto, observando una transmisión de video y dirigiendo el robot con un joystick. Esta configuración es común para tareas como supervisar a familiares ancianos o inspeccionar áreas peligrosas, pero tiene un fallo peligroso. El operador humano solo ve lo que muestra la cámara, que a menudo es una sección estrecha de la habitación. Podría no ver una puerta de vidrio, una mesa baja o a una persona parada justo fuera del campo de visión de la cámara. Si el operador empuja el robot hacia adelante, este podría chocar antes de que el humano siquiera se dé cuenta del peligro que hay allí. La solución no es hacer que el robot se conduzca solo, lo que eliminaría el control del humano y requeriría sistemas de mapeo complejos y costosos. La solución es permitir que el humano dirija mientras una capa de seguridad inteligente vigila el camino y reduce suavemente la velocidad del robot si algo está demasiado cerca.

Los investigadores de la Escuela Nacional de Ingeniería de Túnez han construido y probado exactamente este tipo de sistema para pequeños robots con ruedas. Su objetivo era crear una red de seguridad que funcione enteramente en el propio robot, sin necesidad de enviar datos a un servidor en la nube o depender de una computadora potente. Combinaron dos formas diferentes de ver el mundo. Primero, el robot utiliza sensores infrarrojos que actúan como el bastón de una persona ciega, rebotando señales en los objetos para medir la distancia. Segundo, utiliza una cámara y un sistema de reconocimiento visual para identificar qué son esos objetos. Los investigadores enseñaron a un programa informático a combinar estos dos flujos de información. El programa aprende a frenar el robot basándose en qué tan lejos está un objeto, pero también escucha a la cámara. Si la cámara ve a una persona o una silla con alta confianza, el programa reduce la velocidad del robot aún más, actuando como un segundo par de ojos que nunca parpadea.

Para que este sistema fuera lo suficientemente rápido como para ser útil, el equipo enfrentó un desafío significativo. Ejecutar software de visión complejo y cálculos de seguridad al mismo tiempo suele requerir una computadora pesada y de alto consumo de energía. En su lugar, utilizaron un chip especializado diseñado para la inteligencia artificial, llamado unidad de procesamiento neuronal, que es lo suficientemente pequeño como para caber en una computadora de placa única estándar. Este chip permitió que el robot procesara datos visuales y tomara decisiones de seguridad simultáneamente, actualizando su velocidad cincuenta veces por segundo. El sistema no planifica una ruta ni elige un destino; simplemente toma la dirección que el operador humano elige y decide a qué velocidad se le permite viajar en esa dirección. Si el robot se acerca demasiado a un obstáculo, el sistema anula el comando del humano de avanzar y lo obliga a retroceder, asegurando una parada segura.

En sus experimentos, el equipo probó este sistema en un robot de cuatro ruedas construido a medida en un entorno controlado. Pidieron a un operador humano que condujera el robot a través de un circuito lleno de obstáculos bajo tres condiciones diferentes: conduciendo sin ayuda, conduciendo con el sistema de seguridad de sensores infrarrojos, y conduciendo con el sistema combinado de infrarrojos y cámara. Los resultados mostraron una clara mejora en la seguridad. Cuando el operador conducía sin asistencia, el robot colisionaba con obstáculos en el cuarenta por ciento de los intentos. Cuando el sistema de seguridad combinado estaba activo, esa tasa de colisiones cayó a solo un diez por ciento. Además, el robot mantuvo una distancia mucho más segura de los obstáculos, manteniendo un espacio de unos diez centímetros en lugar de los cinco centímetros vistos en las ejecuciones sin asistencia. El sistema también redujo el número de veces que el operador humano tenía que presionar el botón de parada de emergencia, bajando de un promedio de casi dos intervenciones por recorrido a apenas una quinta parte de una intervención.

Los investigadores encontraron que el sistema funcionaba sin problemas sin ralentizar la capacidad del robot para responder a los comandos de dirección del humano. Todo el proceso, desde ver un obstáculo hasta ajustar la velocidad, ocurría en menos de una centésima de segundo. El sistema visual fue particularmente efectivo para detectar objetos que los sensores de distancia podrían pasar por alto, como superficies de bajo contraste, y ajustó la velocidad del robot basándose en qué tan seguro estaba de lo que veía. Sin embargo, el equipo señaló que el sistema no es perfecto. Las reglas de seguridad fueron probadas en un laboratorio con objetos estáticos y un solo operador, por lo que los resultados podrían variar en un hogar concurrido con personas en movimiento. Además, si la canalización visual se detiene o un fotograma se retrasa, el sistema descarta los datos visuales desactualizados y vuelve a confiar únicamente en los sensores de distancia, en lugar de detectar un bloqueo específico de la cámara. A pesar de estas limitaciones, el estudio demuestra que es posible dotar a un robot teleoperado de una capa de seguridad local confiable que proteja contra colisiones sin quitarle el control al humano.

Este trabajo es importante porque ofrece un camino práctico hacia adelante para los robots de asistencia que necesitan ser asequibles y seguros. Al demostrar que los cálculos de seguridad complejos pueden ejecutarse en un chip pequeño y de bajo consumo, los investigadores demostraron que estos robots no necesitan estar conectados a internet ni requieren hardware costoso para ser seguros. El sistema respeta la intención del operador humano mientras añade una capa de protección que siempre está vigilando. En el futuro, esta tecnología podría permitir que las personas mayores utilicen robots controlados remotamente para recoger objetos o supervisar sus hogares sin el miedo constante de que la máquina choque contra muebles o personas. Los investigadores planean probar el sistema con más operadores y en entornos más dinámicos para ver cómo se sostiene cuando el mundo es menos predecible que un laboratorio. Por ahora, han demostrado que un robot puede ser tanto obediente a un humano como lo suficientemente inteligente como para protegerse a sí mismo.

Resumen Técnico: Asistencia de Seguridad Neuro-Difusa Acelerada por NPU con Fusión Multimodal a Nivel de Decisión para Robots Asistenciales Teleoperados

Planteamiento del Problema
Los robots móviles teleoperados utilizados en tareas asistenciales y de monitoreo doméstico enfrentan un compromiso fundamental: la teleoperación puramente manual traslada toda la carga de la evasión de colisiones al operador humano, cuya conciencia situacional suele estar limitada por vistas de cámara estrechas y señales de profundidad débiles. Por el contrario, la navegación totalmente autónoma elimina la intención del operador y requiere recursos computacionales (mapeo, localización, planificación) que exceden los presupales de costo, tamaño y potencia de las plataformas domésticas de bajo costo. Las soluciones de control compartido existentes suelen depender de controladores PID frágiles o sistemas de lógica difusa que carecen de capacidades de aprendizaje, o bien tratan la percepción y el control como módulos independientes, fallando en aprovechar las sinergias entre el aprendizaje profundo y el control neuro-difuso en hardware de borde (edge). Además, la mayoría de las estrategias de fusión a nivel de decisión para la seguridad no se han integrado con la aceleración dedicada de Unidades de Procesamiento Neuronal (NPU) para una ejecución concurrente.

Metodología
Los autores proponen un marco de control compartido donde el operador humano retiene la autoridad total de dirección (steering), mientras que una capa de seguridad de IA de borde regula automáticamente la velocidad traslacional admisible. La arquitectura del sistema se divide en tres capas:

Capa de Sensado: Utiliza un sistema de rango dual de infrarrojos (IR) escaneado por servo de 360° personalizado (dos sensores Sharp GP2Y0A41SK0F) para mediciones de distancia geométrica y de posición angular (bearing), un IMU para la estimación de la actitud mediante un Filtro de Kalman Extendido (EKF) de 6 ejes, y una cámara RGB para la percepción visual.
Capa Embebida de Bajo Nivel: Un STM32L4S5 gestiona la estimación de la actitud, mientras que un Arduino MEGA 2560 gestiona la actuación de los motores y la comunicación serial.
Capa de Asistencia de Alto Nivel: Ejecutándose en una Raspberry Pi 5 equipada con una NPU Hailo-8L, esta capa ejecuta dos canales de inferencia concurrentes:
- Controlador ANFIS: Un Sistema de Inferencia Neuro-Difusa Adaptativa (tipo Sugeno, 20 reglas) que mapea la distancia IR y la posición angular a una velocidad base ( $v_{base}$ ).
- Detector YOLOX-S: Un detector de objetos anchor-free preentrenado que proporciona una puntuación de confianza de obstáculos semánticos ( $s_{obs}$ ) a partir del flujo visual.

Fusión Multimodal a Nivel de Decisión
La innovación central reside en una ley de fusión ligera, de carácter multiplicativo, que combina las ramas geométrica y semántica:
$\bar{v}_f = \bar{v}_A (1 - s_{obs})$
Donde $\bar{v}_A$ es la salida normalizada de ANFIS y $s_{obs}$ es la confianza máxima de los obstáculos detectados en la región frontal del robot. Esta formulación atenúa la velocidad basándose en la confianza visual sin requerir una calibración compleja de pesos. Adicionalmente, una anulación por distancia crítica determinista ( $d \leq 5$ cm) opera independientemente de los modelos aprendidos, forzando una maniobra de reversa para garantizar la seguridad incluso si los componentes aprendidos fallan o si el operador ordena un movimiento hacia adelante.

Despliegue en NPU
El sistema logra un rendimiento en tiempo real mediante el despliegue concurrente del controlador ANFIS y el detector YOLOX-S en una única NPU Hailo-8L. El modelo ANFIS fue convertido de PyTorch a ONNX, cuantizado a INT8 y compilado en un binario de Formato Ejecutable de Hailo (HEF). Esto permite actualizaciones de ANFIS a 50 Hz e inferencia visual a 28.7 fps con una utilización combinada de la NPU del 55%. Todo el conjunto opera localmente sin dependencia de la nube.

Contribuciones Clave

Arquitectura de Control Compartido: Un sistema donde el operador controla la dirección mientras una capa de IA de borde regula la velocidad basada en la configuración de obstáculos.
Doble Inferencia en una Sola NPU: Ejecución concurrente exitosa de un controlador neuro-difuso y un detector de aprendizaje profundo en una sola NPU Hailo-8L, con latencia y rendimiento medidos bajo carga conjunta.
Fusión a Nivel de Decisión: Un mecanismo de fusión multiplicativa que modula la velocidad geométrica con la confianza visual, permitiendo atenuar la velocidad basándose en la detección semántica sin fusionar los datos de los sensores brutos.
Anulación de Seguridad Independiente: Una regla de distancia crítica que prioriza la seguridad geométrica sobre ambos componentes aprendidos y los comandos del operador.
Flujo de Despliegue: Un flujo de trabajo completo para convertir un modelo ANFIS entrenado en PyTorch a un binario HEF desplegado en INT8, incluyendo un sistema de rango IR escaneado por servo de 360° de bajo costo.
Validación Experimental: Ensayos comparativos que evalúan la teleoperación manual, asistida por ANFIS y asistida por la fusión ANFIS–YOLOX.

Resultados Experimentales
Los experimentos se realizaron en una plataforma personalizada de cuatro ruedas con un único operador durante 10 ejecuciones por condición (Manual, Solo ANFIS, Fusión). Los hallazgos clave incluyen:

Métricas de Seguridad: La estrategia de fusión redujo la tasa de colisiones de 0.40 (Manual) a 0.10 colisiones/ejecución. El despeje mínimo de obstáculos aumentó de 5.1 cm a 10.4 cm, y las intervenciones de emergencia disminuyeron de 1.70 a 0.20 por ejecución.
Rendimiento: El sistema alcanzó actualizaciones de ANFIS a 50 Hz (latencia de 0.62 ms en la NPU) e inferencia YOLOX a 28.7 fps. El despliegue en INT8 mostró una desviación de solo 0.4% respecto a la línea base en FP32.
Compromisos (Trade-offs): Las mejoras en seguridad se produjeron a costa de un aumento moderado en la latencia de comando-a-actuación (+6.2 ms) y en el tiempo de finalización del recorrido (+20.3%), lo que refleja un perfil de velocidad más conservador.

Significancia y Reivindicaciones
El artículo afirma que esta arquitectura aborda la brecha en el codiseño de control neuro-difuso, percepción de aprendizaje profundo y aceleración por NPU para robots asistenciales de bajo costo. Al ejecutar tanto el control como la percepción en un único acelerador de borde, el sistema demuestra que las capas de seguridad de control compartido pueden implementarse dentro de estrictas restricciones de potencia y tamaño sin dependencia de la nube. Los autores enfatizan que el sistema no reemplaza la intención del operador, sino que mejora la seguridad regulando dinámicamente la velocidad basándose en datos geométricos y semánticos en tiempo real.

Limitaciones y Trabajo Futuro
Los autores señalan explícitamente varias limitaciones:

El modelo ANFIS fue entrenado fuera de línea con datos controlados y exhibe un comportamiento no monotónico cerca del límite de distancia inferior, lo que requiere la anulación independiente por distancia crítica.
El detector YOLOX se utilizó como un componente preentrenado sin un benchmarking independiente (precisión/exhaustividad) en el entorno específico de despliegue.
El sistema depende de un único operador y obstáculos estáticos; no se probaron la variabilidad entre operadores ni los entornos dinámicos.
La anulación de reversa no verifica obstáculos traseros, y la precisión del rango IR a distancias cortas no fue cuantificada frente a estándares de referencia.

Se propone como trabajo futuro cuantificar los errores de rango IR, realizar un benchmarking del detector visual, imponer restricciones de monotonicidad en la superficie de ANFIS y validar el sistema a través de múltiples operadores y escenarios dinámicos.

Más como este