🤖 machine learning

Filling the Pareto-Optimal Front for Affordance Segmentation on Embedded Devices Using RGB-D Cameras

Este artigo propõe duas abordagens conscientes de hardware para integrar dados RGB-D em redes profundas compactas para segmentação de affordance em dispositivos embarcados, alcançando com sucesso o desempenho em tempo real dentro de orçamentos de energia compatíveis com smartphones, enquanto identifica soluções de Pareto-ótimas que equilibram a precisão de generalização com as restrições de hardware.

Autores originais: Edoardo Ragusa, Giovanni Paolo Canuti, Simone Lugani, Rodolfo Zunino, Paolo Gastaldo

Publicado 2026-07-31

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Edoardo Ragusa, Giovanni Paolo Canuti, Simone Lugani, Rodolfo Zunino, Paolo Gastaldo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando uma mão robótica a pegar uma caneca de café. Você não pode simplesmente dizer a ela "pegue a caneca"; você tem que dizer a ela onde segurar. Se ela segurar pela alça, pode tombar; se segurar pelo fundo, pode escorregar. Este é o trabalho da "segmentação de affordance": um termo sofisticado para ensinar um computador a olhar para um objeto e destacar exatamente quais partes são seguras para tocar e quais não são.

Por muito tempo, os robôs dependeram de câmeras padrão (RGB) para fazer isso, vendo o mundo em cores. Mas a cor pode ser traiçoeira. Se uma caneca azul estiver sobre uma mesa azul, uma câmera colorida pode se confundir e pensar que a caneca faz parte da mesa. É aqui que os sensores de profundidade entram. Pense em um sensor de profundidade como um par de olhos que também consegue medir a distância, criando um mapa 3D do mundo. Ele não se importa se a caneca é azul ou a mesa é azul; ele sabe que a caneca está mais perto da câmera. O grande desafio, no entanto, é que os robôs muitas vezes precisam ser pequenos, portáteis e alimentados por bateria. Rodar softwares de visão 3D complexos em um chip minúsculo é como tentar rodar um supercomputador dentro de um smartwatch — geralmente superaquece ou esgota a bateria instantaneamente. Cientistas têm tentado descobrir como tornar esses cérebros "cientes de 3D" pequenos o suficiente para caber em um robô vestível sem consumir toda a sua energia.

Este artigo aborda exatamente esse quebra-cabeça. Os pesquisadores queriam ver se poderiam construir um cérebro robótico minúsculo e eficiente que utilizasse dados de cor (RGB) e profundidade (D) para entender como agarrar coisas, tudo isso enquanto roda em um dispositivo portátil. Eles não apenas adivinharam; eles construíram dois "arquitetos" diferentes para projetar esses cérebros. A primeira abordagem foi uma "Busca de Arquitetura Neural Ciente de Hardware" (HW-NAS). Imagine isso como um arquiteto robótico automatizado e super-rápido que tenta milhares de designs de cérebro diferentes, testando cada um para ver qual se ajusta melhor a um chip específico, mantendo-se inteligente o suficiente para agarrar uma caneca. A segunda abordagem foi um método de "ajuste fino" (fine-tuning), que é como pegar um cérebro que já era muito bom em ver em 2D (apenas cor) e ensiná-lo gentilmente a entender a profundidade 3D, em vez de construir um novo cérebro do zero.

A equipe testou essas ideias em conjuntos de dados do mundo real contendo milhares de imagens de objetos cotidianos como colheres, martelos e canecas. Eles descobriram que adicionar informações de profundidade quase sempre tornava o robô mais inteligente. Por exemplo, ao tentar identificar uma "concha", o modelo usando dados de profundidade foi 31,6% mais preciso do que o que usava apenas cor. Isso foi especialmente útil quando a iluminação estava ruim ou quando os objetos tinham cores que se misturavam ao fundo. Os pesquisadores também provaram que seus novos designs estão na "fronteira de Pareto ótima". Em português claro, isso significa que eles encontraram o ponto ideal: esses modelos são o mais inteligentes que podem ser para a quantidade de energia e memória que utilizam. Você não consegue um modelo mais inteligente sem torná-lo muito maior ou mais lento, e não consegue torná-lo menor sem torná-lo mais burro.

Finalmente, eles colocaram seus melhores modelos à prova em um protótipo real: uma placa Jetson Nano (um pequeno computador frequentemente usado em robótica) conectada a uma câmera RGB-D RealSense. Eles mediram o quão rápido o sistema podia pensar e quanto de bateria utilizava. Os resultados foram promissores. Mesmo com o trabalho extra de processar dados de profundidade 3D, o sistema conseguiu processar imagens em tempo real (até 16 quadros por segundo com otimização) e rodar em um orçamento de energia compatível com baterias de smartphones padrão. O artigo sugere que, ao usar esses designs inteligentes e conscientes de profundidade, podemos criar robôs vestíveis que sejam não apenas mais precisos ao agarrar objetos, mas também leves e energeticamente eficientes o suficiente para serem usados por pessoas em suas vidas diárias.

Resumo Técnico: Preenchendo a Fronteira de Pareto para Segmentação de Acessibilidade em Dispositivos Embarcados

Declaração do Problema
Robôs vestíveis requerem capacidades de controle semiautônomo, particularmente para tarefas de preensão e manipulação, para aliviar os usuários de tarefas extenuantes ou perigosas. Um componente crítico deste pipeline de controle é a Segmentação de Acessibilidade (AS - Affordance Segmentation), que identifica partes funcionais de um objeto para permitir um controle refinado. Embora as Redes Neurais Profundas (DNNs) sejam o padrão para AS, implantar essas redes em dispositivos embarcados portáteis e com restrições de energia apresenta um desafio significativo. As soluções existentes dependem frequentemente de modelos "minúsculos" otimizados para microcontroladores (que podem carecer de robustez) ou modelos de alto desempenho sem restrições (que são pesados demais para hardware portátil). Além disso, sensores de profundidade (D) fornecem informações geométricas essenciais para a preensão sem contato, mas sua integração em DNNs leves para AS permanece pouco explorada. A integração ingênua de dados RGB e Profundidade (Depth) frequentemente resulta em melhorias marginais ou aumenta os custos computacionais de forma proibitiva. O problema central é projetar um sistema que aproveite efetivamente os dados RGB-D para melhorar a generalização, aderindo estritamente às restrições de energia, tamanho e tempo real de hardware embarcado.

Metodologia
O artigo propõe duas estratégias de design distintas para gerar DNNs eficientes em termos de hardware para segmentação de acessibilidade RGB-D, visando identificar soluções na fronteira de Pareto ótima (equilibrando precisão contra requisitos de hardware como FLOPs e contagem de parâmetros).

Busca de Arquitetura Neural Consciente de Hardware (HW-NAS):
- Os autores reformularam a HW-NAS com um espaço de busca inovador projetado especificamente para entradas RGB-D.
- A arquitetura emprega uma estrutura de dois ramos onde codificadores separados processam fluxos RGB e de Profundidade de forma independente antes de fundirem em um backbone compartilhado.
- Um Agregador (Aggregator) combina a saída do backbone com representações intermediárias de múltiplas camadas do codificador, permitindo a extração de características de múltiplas resoluções.
- O espaço de busca permite conexões flexíveis, incluindo conexões de salto (skip connections) de camadas iniciais para o agregador, e otimiza parâmetros como tamanhos de kernel, fatores de expansão e strides.
- A otimização utiliza um algoritmo evolutivo para selecionar arquiteturas que minimizem a perda de validação enquanto satisfazem restrições de tempo de inferência e memória.
Abordagem de Ajuste Fino (Fine-Tuning):
- Como uma alternativa computacionalmente mais barata, o artigo propõe adaptar redes pré-treinadas apenas para RGB (especificamente a MobileNetV3) para lidar com entradas RGB-D.
- Uma camada de pré-processamento dedicada é inserida na entrada para fundir o canal de Profundidade com os canais RGB, criando um tensor de 4 canais ( $W \times H \times 4$ ).
- Uma única camada convolucional (3 filtros, stride 1) reduz este tensor de volta para um tensor de 3 canais, permitindo que o restante da arquitetura pré-treinada processe os dados "como estão".
- Este método aproveita as semelhanças estruturais entre mapas de profundidade e imagens RGB, permitindo que a rede ajuste características de baixo nível sem alterar significativamente a configuração de pesos pré-existente.

Configuração Experimental
Os métodos foram avaliados em dois conjuntos de dados do mundo real:

UMD: 28.843 imagens RGB-D através de 7 categorias de objetos com enquadramentos variados.
IIT: 8.835 imagens com variações de iluminação, oclusão e resolução.
A tarefa foi definida como uma classificação pixel a pixel de três classes: "prender" (grasp), "não prender" (do not grasp) e "fundo" (background). Os modelos foram comparados contra bases de referência de última geração, incluindo modelos minúsculos (HW-0.5s, HW-1s), variantes customizadas de MobileNetV3, modelos baseados em transformadores (SegFormer) e grandes CNNs (EfficientNet, VGG16). A implantação foi testada em uma placa Jetson Nano interfaceada com uma câmera RGB-D RealSense.

Principais Resultados

Melhoria de Desempenho: Ambas as abordagens propostas demonstraram que a integração da informação de profundidade melhora o desempenho de generalização, particularmente para as classes "prender" e "não prender". No conjunto de dados UMD, a abordagem HW-NAS com RGB-D mostrou ganhos de precisão de até 2,8% sobre seus equivalentes apenas RGB.
Otimalidade de Pareto: Os modelos gerados localizaram-se consistentemente na fronteira de Pareto ótima ao plotar o desempenho de generalização contra o tamanho do modelo e FLOPs. Eles superaram abordagens existentes de eficiência de hardware (modelos minúsculos) enquanto mantiveram requisitos de recursos significativamente menores do que modelos grandes sem restrições.
Eficiência de Hardware:
- Tempo de Inferência: Modelos otimizados (usando quantização float16 do TensorRT) alcançaram desempenho em tempo real na Jetson Nano, com taxas de quadros variando de 8 a 16 FPS dependendo do modelo e do modo de potência (5W vs. 10W).
- Consumo de Energia: O sistema operou dentro de um orçamento de energia compatível com baterias de smartphones padrão (aprox. 7–11W de potência total do sistema), permitindo cerca de 3,5 horas de operação em uma bateria de 5000 mAh.
- Memória: Os modelos gerados por NAS foram mais eficientes em termos de memória do que os modelos baseados em MobileNetV3, utilizando aproximadamente 300 MB de RAM em comparação aos ~400 MB destes últimos.
Robustez: A informação de profundidade provou ser crucial em cenários com iluminação subótima ou quando as cores dos objetos coincidiam com o fundo (ex: uma colher azul contra um fundo azul), aumentando significativamente a precisão da segmentação.

Significância e Alegações
O artigo alega que sua principal contribuição é uma estratégia de design que preenche com sucesso a lacuna entre modelos "minúsculos" e aceleradores de alto desempenho, especificamente para robótica vestível. Ao introduzir um espaço de busca HW-NAS dedicado para dados RGB-D e um mecanismo de ajuste fino leve, os autores demonstram que é possível:

Extrair informações semânticas de alto nível diretamente de câmeras RGB-D em dispositivos inteligentes com energia limitada.
Gerar arquiteturas que são Pareto-ótimas, oferecendo o melhor equilíbrio entre precisão e restrições de hardware.
Alcançar inferência em tempo real em hardware portátil (Jetson Nano) com perfis de energia adequados para robôs vestíveis alimentados por bateria.

Os autores enfatizam que, embora o processamento de profundidade adicione complexidade computacional, seus métodos escalam efetivamente para gerenciar esses custos, provando que DNNs de médio porte e específicas para aplicações são uma solução viável e eficaz para pipelines de controle vestíveis semiautônomos. O trabalho futuro é identificado como a incorporação de localização de objetos para automatizar o enquadramento e a extensão dessas técnicas para modelos baseados em transformadores.

Resumo Técnico: Preenchendo a Fronteira de Pareto para Segmentação de Acessibilidade em Dispositivos Embarcados

Mais como este