🤖 machine learning

Filling the Pareto-Optimal Front for Affordance Segmentation on Embedded Devices Using RGB-D Cameras

Este artículo propone dos enfoques conscientes del hardware para integrar datos RGB-D en redes profundas compactas para la segmentación de asequibilidad en dispositivos embebidos, logrando con éxito un rendimiento en tiempo real dentro de presupuestos energéticos compatibles con teléfonos inteligentes e identificando soluciones de Pareto óptimas que equilibran la precisión de generalización con las restricciones de hardware.

Autores originales: Edoardo Ragusa, Giovanni Paolo Canuti, Simone Lugani, Rodolfo Zunino, Paolo Gastaldo

Publicado 2026-07-31

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Edoardo Ragusa, Giovanni Paolo Canuti, Simone Lugani, Rodolfo Zunino, Paolo Gastaldo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a una mano robótica cómo recoger una taza de café. No puedes simplemente decirle "agarra la taza"; tienes que decirle dónde agarrarla. Si agarra el asa, podría volcarse; si agarra la base, podría resbalarse. Este es el trabajo de la "segmentación de asequibilidad" (affordance segmentation): un término sofisticado para enseñar a una computadora a mirar un objeto y resaltar exactamente qué partes son seguras para tocar y cuáles no lo son.

Durante mucho tiempo, los robots han dependido de cámaras estándar (RGB) para hacer esto, viendo el mundo en color. Pero el color puede ser engañoso. Si una taza azul se encuentra sobre una mesa azul, una cámara de color podría confundirse y pensar que la taza es parte de la mesa. Aquí es donde entran los sensores de profundidad. Piensa en un sensor de profundidad como un par de ojos que también pueden medir la distancia, creando un mapa 3D del mundo. No le importa si la taza es azul o la mesa es azul; sabe que la taza está más cerca de la cámara. El gran desafío, sin embargo, es que los robots a menudo necesitan ser pequeños, portátiles y alimentados por batería. Ejecutar un software de visión 3D complejo en un chip diminuto es como intentar ejecutar una supercomputadora dentro de un reloj inteligente: generalmente se sobrecalienta o agota la batería instantáneamente. Los científicos han estado tratando de averiguar cómo hacer que estos cerebros "conscientes del 3D" sean lo suficientemente pequeños como para caber en un robot portátil sin consumir toda su energía.

Este artículo aborda exactamente ese rompecabezas. Los investigadores querían ver si podían construir un cerebro robótico diminuto y eficiente que utilizara tanto datos de color (RGB) como de profundidad (D) para determinar cómo agarrar cosas, todo mientras se ejecuta en un dispositivo portátil. No solo adivinaron; construyeron dos "arquitectos" diferentes para diseñar estos cerebros. El primer enfoque fue una "Búsqueda de Arquitectura Neuronal Consciente del Hardware" (HW-NAS). Imagina esto como un arquitecto robótico automatizado y súper rápido que prueba miles de diseños de cerebros diferentes, probando cada uno para ver cuál se adapta mejor a un chip diminuto específico, siendo al mismo tiempo lo suficientemente inteligente como para agarrar una taza. El segundo enfoque fue un método de "ajuste fino" (fine-tuning), que es como tomar un cerebro que ya era muy bueno viendo en 2D (solo color) y enseñarle suavemente cómo entender la profundidad 3D, en lugar de construir un cerebro nuevo desde cero.

El equipo probó estas ideas en conjuntos de datos del mundo real que contienen miles de imágenes de objetos cotidianos como cucharas, martillos y tazas. Encontraron que añadir información de profundidad casi siempre hacía al robot más inteligente. Por ejemplo, al intentar identificar una "cuchara", el modelo que utilizaba datos de profundidad fue un 31.6% más preciso que el que usaba solo color. Esto fue especialmente útil cuando la iluminación era mala o cuando los objetos tenían colores que se mezclaban con el fondo. Los investigadores también demostraron que sus nuevos diseños se sitúan en la "frontera de Pareto óptima". En lenguaje sencillo, esto significa que encontraron el punto ideal perfecto: estos modelos son tan inteligentes como pueden ser para la cantidad de energía y memoria que utilizan. No puedes obtener un modelo más inteligente sin hacerlo mucho más grande o lento, y no puedes hacerlo más pequeño sin hacerlo más tonto.

Finalmente, pusieron sus mejores modelos a prueba en un prototipo real: una placa Jetson Nano (una pequeña computadora que se usa a menudo en robótica) conectada a una cámara RGB-D RealSense. Midieron qué tan rápido podía pensar el sistema y cuánta batería consumía. Los resultados fueron prometedores. Incluso con el trabajo adicional de procesar datos de profundidad 3D, el sistema podía procesar imágenes en tiempo real (hasta 16 fotogramas por segundo con optimización) y funcionar con un presupuesto de energía compatible con las baterías de teléfonos inteligentes estándar. El artículo sugiere que, al utilizar estos diseños inteligentes conscientes de la profundidad, podemos hacer que los robots portátiles sean no solo más precisos al agarrar objetos, sino también lo suficientemente ligeros y eficientes en energía como para ser usados por personas en su vida diaria.

Resumen Técnico: Completando el Frente de Pareto Óptimo para la Segmentación de Afordancia en Dispositivos Embebidos

Declaración del Problema
Los robots vestibles requieren capacidades de control semiautónomas, particularmente para tareas de agarre y manipulación, con el fin de aliviar a los usuarios de tareas extenuantes o peligrosas. Un componente crítico de este flujo de control es la Segmentación de Afordancia (AS, por sus siglas en inglés), que identifica partes funcionales de un objeto para permitir un control detallado. Si bien las Redes Neuronales Profundas (DNN) son el estándar para la AS, el despliegue de estas en dispositivos embebidos portátiles y con restricciones de energía presenta un desafío significativo. Las soluciones existentes suelen depender de modelos "diminutos" optimizados para microcontroladores (que pueden carecer de robustez) o de modelos de alto rendimiento sin restricciones (que son demasiado pesados para el hardware portátil). Además, los sensores de profundidad (D) proporcionan información geométrica esencial para el agarre sin contacto, pero su integración en redes DNN ligeras para la AS sigue siendo poco explorada. La integración ingenua de datos RGB y de Profundidad a menudo produce mejoras marginales o aumenta los costos computacionales de manera prohibitiva. El problema central es diseñar un sistema que aproveche eficazmente los datos RGB-D para mejorar la generalización, adhiriéndose estrictamente a las restricciones de energía, tamaño y tiempo real del hardware embebido.

Metodología
El artículo propone dos estrategias de diseño distintas para generar DNN eficientes en hardware para la segmentación de afordancia RGB-D, con el objetivo de identificar soluciones en el frente de Pareto óptimo (equilibrando la precisión frente a los requisitos de hardware como los FLOPs y el recuento de parámetros).

Búsqueda de Arquitectura Neuronal Consciente del Hardware (HW-NAS):
- Los autores reformularon la HW-NAS con un nuevo espacio de búsqueda diseñado específicamente para entradas RGB-D.
- La arquitectura emplea una estructura de doble rama donde codificadores separados procesan flujos de RGB y de Profundidad de forma independiente antes de fusionarse en un backbone compartido.
- Una red de Agregación (Aggregator) combina la salida del backbone con representaciones intermedias de múltiples capas del codificador, permitiendo la extracción de características multirresolución.
- El espacio de búsqueda permite conexiones flexibles, incluyendo conexiones de salto (skip connections) desde las capas tempranas hacia el agregador, y optimiza parámetros como tamaños de kernel, factores de expansión y pasos (strides).
- La optimización utiliza un algoritmo evolutivo para seleccionar arquitecturas que minimicen la pérdida de validación mientras satisfacen las restricciones de tiempo de inferencia y memoria.
Enfoque de Ajuste Fino (Fine-Tuning):
- Como una alternativa computacionalmente más económica, el artículo propone adaptar redes preentrenadas solo para RGB (específicamente MobileNetV3) para manejar entradas RGB-D.
- Se inserta una capa de preprocesamiento dedicada en la entrada para fusionar el canal de Profundidad con los canales RGB, creando un tensor de 4 canales ( $W \times H \times 4$ ).
- Una única capa convolucional (3 filtros, paso 1) reduce esto de nuevo a un tensor de 3 canales, permitiendo que el resto de la arquitectura preentrenada procese los datos "tal cual".
- Este método aprovecha las similitudes estructurales entre los mapas de profundidad y las imágenes RGB, permitiendo que la red ajuste las características de bajo nivel sin alterar significamente la configuración de pesos preexistente.

Configuración Experimental
Los métodos fueron evaluados en dos conjuntos de datos del mundo real:

UMD: 28,843 imágenes RGB-D a través de 7 categorías de objetos con encuadres variados.
IIT: 8,835 imágenes con variaciones en iluminación, oclusión y resolución.
La tarea se definió como una clasificación de píxeles de tres clases: "agarre" (grasp), "no agarrar" (do not grasp) y "fondo" (background). Los modelos se compararon contra líneas base de vanguardia, incluyendo modelos diminutos (HW-0.5s, HW-1s), variantes personalizadas de MobileNetV3, modelos basados en transformadores (SegFormer) y CNN grandes (EfficientNet, VGG16). El despliegue se probó en una placa Jetson Nano interconectada con una cámara RGB-D RealSense.

Resultados Clave

Mejora del Rendimiento: Ambos enfoques propuestos demostraron que la integración de la información de profundidad mejora el rendimiento de la generalización, particularmente para las clases "agarre" y "no agarrar". En el conjunto de datos UMD, el enfoque HW-NAS con RGB-D mostró ganancias de precisión de hasta un 2.8% sobre sus contrapartes de solo RGB.
Optimalidad de Pareto: Los modelos generados se ubicaron consistentemente en el frente de Pareto óptimo al graficar el rendimiento de generalización frente al tamaño del modelo y los FLOPs. Superaron a los enfoques existentes de eficiencia de hardware (modelos diminutos) manteniendo requisitos de recursos significativamente menores que los modelos grandes sin restricciones.
Eficiencia de Hardware:
- Tiempo de Inferencia: Los modelos optimizados (usando cuantización de punto flotante 16 de TensorRT) lograron un rendimiento en tiempo real en la Jetson Nano, con tasas de fotogramas que oscilan entre 8 y 16 FPS dependiendo del modelo y el modo de potencia (5W vs. 10W).
- Consumo de Energía: El sistema operó dentro de un presupuesto de energía compatible con baterías de smartphones estándar (aprox. 7–11W de potencia total del sistema), lo que permite aproximadamente 3.5 horas de operación con una batería de 5000 mAh.
- Memoria: Los modelos generados por NAS fueron más eficientes en memoria que los modelos basados en MobileNetV3, utilizando aproximadamente 300 MB de RAM en comparación con los ~400 MB de estos últimos.
Robustez: La información de profundidad resultó crucial en escenarios con iluminación subóptima o cuando los colores del objeto coincidían con el fondo (por ejemplo, una cuchara azul contra un fondo azul), mejorando significativamente la precisión de la segmentación.

Significancia y Reivindicaciones
El artículo afirma que su contribución principal es una estrategia de diseño que logra llenar el vacío entre los modelos "diminutos" y los aceleradores de alto rendimiento, específicamente para la robótica vestible. Al introducir un espacio de búsqueda de HW-NAS dedicado para datos RGB-D y un mecanismo de ajuste fino ligero, los autores demuestran que es posible:

Extraer información semántica de alto nivel directamente de cámaras RGB-D en dispositivos inteligentes con energía limitada.
Generar arquitecturas que son Pareto-óptimas, ofreciendo el mejor equilibrio entre la precisión y las restricciones de hardware.
Lograr la inferencia en tiempo real en hardware portátil (Jetson Nano) con perfiles de energía adecuados para robots vestibles alimentados por batería.

Los autores enfatizan que, si bien el procesamiento de profundidad añade complejidad computacional, sus métodos escalan efectivamente para gestionar estos costos, demostando que las DNN de rango medio y específicas para aplicaciones son una solución viable y efectiva para los flujos de control semiautónomos de robots vestibles. El trabajo futuro se identifica incorporando la localización de objetos para automatizar el encuadre y extendiendo estas técnicas a modelos basados en transformadores.

Más como este