Filling the Pareto-Optimal Front for Affordance Segmentation on Embedded Devices Using RGB-D Cameras

기술 요약: 임베디드 장치를 위한 어포던스 세그멘테이션의 파레토 최적 전선 채우기

문제 정의
웨어러블 로봇은 사용자가 힘든 작업이나 위험한 가사 노동을 덜 수 있도록, 특히 잡기(grasping) 및 조작 작업을 위한 반자율 제어 능력을 필요로 한다. 이 제어 파이프라인의 핵심 구성 요소는 객체의 기능적 부분을 식별하여 정밀한 제어를 가능하게 하는 **어포던스 세그멘테이션(Affordance Segmentation, AS)**이다. 심층 신경망(DNN)은 AS를 위한 표준이지만, 이를 에너지 제약이 있는 휴대용 임베디드 장치에 배포하는 것은 상당한 도전 과제이다. 기존 솔루션은 마이크로컨트롤러에 최적화된 "tiny" 모델(강건성이 부족할 수 있음)이나 고성능 비제약 모델(휴대용 하드웨어에는 너무 무거움) 중 하나에 의존하는 경우가 많다. 또한, 깊이(Depth, D) 센서는 비접촉식 잡기를 위한 필수적인 기하학적 정보를 제공하지만, 경량 DNN을 위한 AS에 이를 통합하는 연구는 여전히 미진하다. RGB와 Depth 데이터를 단순히 결una합하는 방식은 종종 미미한 개선만을 보이거나 계산 비용을 과도하게 증가시킨다. 핵심 문제는 임베디드 하드웨어의 에너지, 크기 및 실시간 제약 조건을 엄격히 준-수하면서, 일반화 성능을 높이기 위해 RGB-D 데이터를 효과적으로 활용하는 시스템을 설계하는 것이다.

방법론
본 논문은 RGB-D 어포던스 세그멘테이션을 위한 하드웨어 효율적인 DNN을 생성하기 위해 두 가지 별도의 설계 전략을 제안하며, 이는 정확도와 FLOPs 및 파라미터 수와 같은 하드웨어 요구 사항 사이의 균형을 맞추는 파레토 최적 전선(Pareto optimal front) 상의 솔루션을 찾는 것을 목표로 한다.

1. 하드웨어 인지 신경망 구조 탐색 (HW-NAS):

   • 저자들은 RGB-D 입력을 위해 특별히 설계된 새로운 탐색 공간을 통해 HW-NAS를 재구성하였다.
   • 이 아키텍처는 별도의 인코더가 RGB 스트림과 Depth 스트림을 독립적으로 처리한 후 공유 백본으로 병합하는 이중 브랜치 구조를 채택한다.
   • 어그리게이터(Aggregator) 네트워크는 백본 출력과 여러 인코더 레이어의 중간 표현(intermediate representations)을 결합하여 다중 해상도 특징 추출을 가능하게 한다.
   • 탐색 공간은 초기 레이어에서 어그리게이터로의 스킵 연결(skip connections)을 포함한 유연한 연결을 허용하며, 커널 크기, 확장 계수(expansion factors), 스트라이드(strides)와 같은 파라미터를 최적화한다.
   • 최적화에는 추론 시간 및 메모리 제약 조건을 충족하면서 검증 손실(validation loss)을 최소화하기 위해 진화 알고리즘(evolutionary algorithm)을 사용한다.

2. 미세 조정(Fine-Tuning) 접근 방식:

   • 계산 비용이 더 저렴한 대안으로서, 본 논문은 사전 학습된 RGB 전용 네트워크(특히 MobileNetV3)를 RGB-D 입력을 처리할 수 있도록 적응시키는 방법을 제안한다.
   • 입력단에 전용 전처리 레이어를 삽립하여 Depth 채널을 RGB 채널과 병합함으로써 4채널 텐서($W \times H \times 4$)를 생성한다.
   • 단일 컨볼루션 레이어(필터 3개, 스트라이드 1)가 이를 다시 3채널 텐서로 축소하여, 나머지 사전 학습된 아키텍처가 데이터를 "있는 그대로" 처리할 수 있게 한다.
   • 이 방법은 깊이 맵과 RGB 이미지 사이의 구조적 유사성을 활용하여, 기존 가중치 구성을 크게 변경하지 않고도 네트워크가 저수준 특징을 조정할 수 있게 한다.

실험 설정
제시된 방법들은 두 가지 실제 데이터셋을 통해 평가되었다:

• UMD: 다양한 프레이밍을 가진 7개 객체 카테고리의 28,843개 RGB-D 이미지.
• IIT: 조명, 폐쇄(occlusion) 및 해상도 변화가 포함된 8,835개 이미지.
  태스크는 "잡기(grasp)", "잡지 않음(do not grasp)", "배경(background)"의 세 가지 클래스에 대한 픽셀 단위 분류로 정의되었다. 모델들은 HW-0.5s, HW-1s와 같은 tiny 모델, 커스텀 MobileNetV3 변형, 트랜스포머 기반 모델(SegFormer), 그리고 대규모 CNN(EfficientNet, VGG16)을 포함한 최신 기술(SOTA) 베이스라인들과 비교되었다. 배포 테스트는 RealSense RGB-D 카메라와 인터페이스된 Jetson Nano 보드에서 수행되었다.

주요 결과

• 성능 향상: 제안된 두 접근 방식 모두 깊이 정보를 통합하는 것이 특히 "잡기" 및 "잡지 않음" 클래스에 대해 일반화 성능을 향상시킨다는 것을 입증했다. UMD 데이터셋에서 HW-NAS 방식은 RGB 전용 모델 대비 최대 2.8%의 정확도 향상을 보였다.
• 파레토 최적성: 생성된 모델들은 모델 크기 및 FLOPs 대비 일반화 성능을 도표화했을 때 일관되게 파레토 최적 전선에 위치했다. 이들은 기존의 하드웨어 효율적 접근 방식(tiny 모델)보다 우수한 성능을 보이면서도, 대규모 비제약 모델보다는 현저히 낮은 자원 요구 사항을 유지했다.
• 하드웨어 효율성:
  • 추론 시간: 최적화된 모델(TensorRT float16 양자화 사용)은 모델 및 전력 모드(5W vs. 10W)에 따라 8–16 FPS의 프레임 레이트를 기록하며 Jetson Nano에서 실시간 성능을 달asp했다.
  • 에너지 소비: 시스템은 표준 스마트폰 배터리와 호환되는 에너지 예산(총 시스템 전력 약 7–11W) 내에서 작동하여, 5000 mAh 배터리로 약 3.5시간 동안 작동할 수 있었다.
  • 메모리: NAS 생성 모델은 MobileNetV3 기반 모델(약 400 MB)보다 메모리 효율적이었으며, 약 300 MB의 RAM을 사용했다.
• 강건성: 깊이 정보는 조명이 부적절하거나 객체의 색상이 배경색과 일치하는 경우(예: 파란색 배경에 놓인 파란색 스쿱)에 결정적인 역할을 하여 세그멘테이션 정확도를 크게 높였다.

의의 및 주장
본 논문은 자신의 주요 기여가 웨어러블 로봇을 위해 "tiny" 모델과 고성능 가속기 사이의 간극을 성공적으로 메우는 설계 전략을 제시한 것이라고 주장한다. 전용 RGB-D 데이터용 HW-NAS 탐색 공간과 경량 미세 조정 메커니즘을 도입함으로써, 저자들은 다음을 달성할 수 있음을 입증했다:

1. 전력이 제한된 스마트 기기에서 RGB-D 카메라로부터 고수준의 시맨틱 정보를 직접 추출할 수 있다.
2. 정확도와 하드웨어 제약 조건 사이의 최적의 절충안을 제공하는 파레토 최적(Pareto-optimal) 아키텍처를 생성할 수 있다.
3. 휴대용 하드웨어(Jetson Nano)에서 실시간 추론을 달성하며, 배터리로 구동되는 웨어러블 로봇에 적합한 에너지 프로필을 갖출 수 있다.

저자들은 깊이 처리가 계산 복잡성을 더하지만, 그들의 방법이 이러한 비용을 관리하기 위해 효과적으로 확장될 수 있음을 강조하며, 중간 규모의 애플리케이션 특화 DNN이 반자율 웨어러블 제어 파이프라인을 위한 실행 가능하고 효과적인 솔루션임을 증명했다. 향el 연구로는 프레이밍을 자동화하기 위한 객체 로컬라이제이션(localization)의 통합과 트랜스포머 기반 모델로의 기술 확장이 언급되었다.