Deployment-Aware Codec Selection for Learned RGB-D Compression in Edge--Cloud 3D Reconstruction

현대 디지털 영상의 세계에서 카메라는 단순히 세상의 평면적인 사진을 포착하는 것 이상의 역할을 합니다. 스마트폰부터 특수 센서에 이르기까지 많은 장치들이 이제 두 가지를 동시에 기록합니다. 바로 장면의 색상과 그 안의 모든 지점에 대한 거리입니다. RGB-D 데이터라고 알려진 이 결합은 풍부한 3차원 지도를 생성하여 컴퓨터가 방, 숲 또는 거리의 형태와 배치를 이해할 수 있게 해줍니다. 그러나 이 추가적인 깊이 정보에는 무거운 대가가 따릅니다. 즉, 저장하거나 전송해야 하는 데이터의 양이 두 배로 늘어난다는 점입니다. 드론이나 로봇과 같이 배터리로 작동하는 소형 장치에서 이 데이터를 캡처하여 처리를 위해 클라우드의 강력한 컴퓨터로 보내야 할 때, 문제는 나중에 3D 형태를 재구성하는 데 필요한 중요한 세부 사항을 잃지 않으면서 어떻게 파일 크기를 줄일 것인가 하는 것입니다.

오랫동안 엔지니어들은 파일 크기와 이미지 품질 사이의 완벽한 균형을 찾기 위해 노력해 왔습니다. 그들은 인공지능을 사용하여 전통적인 방식보다 더 효율적으로 이미지를 예측하고 압축하는, 흔히 학습된 코덱(learned codecs)이라 불리는 고급 컴퓨터 프로그램들을 개발했습니다. 표준적인 접근 방식은 가장 선명한 사진을 얻으면서도 가장 작은 파일을 만드는 알고리즘을 찾는 것이었으며, 이는 시뮬레이션 상에서 잘 작동한다면 실제 세계에서도 잘 작동할 것이라고 가정하는 것이었습니다. 하지만 이 가정은 데이터가 에너지 제약이 있는 작은 장치에서 원격 서버로 이동해야 할 때 종종 실패합니다. 현실 세계는 물리적 한계를 도입합니다. 장치가 복잡한 프로그램을 실행할 만큼 충분한 메모리를 갖추지 못할 수도 있고, 소프트웨어가 장치의 하드웨어와 호환되지 않을 수도 있으며, 이미지를 압축하는 데 걸리는 시간이 라이브 비디오 피드를 위한 시간보다 너무 길 수도 있습니다. 그래프상으로는 완벽해 보이는 방법이 데이터를 보내야 하는 장치에서 실제로 구동될 수 없다면 쓸모없게 될 수 있습니다.

하빈 공과대학교와 대련 공과대학교의 연구진은 이러한 괴리를 해결하기 위해 나섰습니다. 그들은 단순히 최고의 압축 수치를 찾는 대신, 어떤 압축 도구를 사용할지 선택하는 새로운 방법을 설계했습니다. 그들은 특정 장치에서 소프트웨어를 실제로 실행할 수 있는 능력을 이미지 품질만큼이나 중요한 일차적 요구 사항으로 취급했습니다. 그들의 목표는 엣지 장치의 카메라가 3D 장면을 캡처하고, 이를 압축하여, 네트워크를 통해 전송하고, 클로는 클라우드 서버에서 컬러 3D 포인트 클라우드로 재구성하는 전체 시스템을 구축하는 것이되, 하드웨어의 엄격한 제한을 준수하는 것이었습니다.

연구진은 먼저 표준적인 실내 장면 데이터셋을 사용하여 네 가지 유형의 AI 기반 압축 모델을 테스트했습니다. 그들은 파일이 얼마나 작아지는지와 이미지가 얼마나 선명하게 유지되는지를 측정했습니다. 예상대로, 정교한 수학적 구조를 사용하여 픽셀 값을 예측하는 가장 복잡한 모델들이 가장 작은 파일과 가장 높은 품질을 만들어냈습니다. 중요한 세부 사항에 집중하기 위해 '어텐션(attention)'이라는 기술을 사용한 이 고급 모델 중 하나는 매우 낮은 데이터율에서도 매우 높은 품질 점수를 달성했습니다. 그러나 연구진이 실제 장치에서 이 모델들이 실행되는 데 걸리는 시간을 살펴보았을 때, 상황은 바뀌었습니다. 가장 강력한 모델은 장치의 하드웨어가 속도를 높일 수 없는 엄격한 단계별 순서에 따라 값을 계산해야 했기 때문에, 각 프레임을 처리하는 데 매우 오랜 시간이 걸렸습니다.

그 후 팀은 특정 현실적 제약을 충족하지 못하는 모델을 걸러내는 그들의 새로운 선택 방법을 적용했습니다. 그들은 특정 시간 제한 내에 실행될 수 있고, 장치의 메모리 안에 들어오며, 장치에서 사용 가능한 특정 소프트웨어 도구와 작동할 수 있는 모델들을 조사했습니다. 그들은 가장 빠르고 효율적인 모델이 사실은 더 단순한 모델이라는 것을 발견했습니다. 이 모델은 장치의 하드웨어가 매우 빠르게 처리할 수 있는 직관적인 수학적 접근 방식을 사용했습니다. 이 단순한 모델은 복잡한 모델보다 파일 크기가 약간 더 크고 이미지 품질이 약간 낮았지만, 훨씬 더 빨랐습니다. 실제로 복잡한 모델은 단순한 모델보다 배포를 준비하는 데 60배 이상 더 느렸습니다. 연구진은 실제 시스템을 위해서 '최고'의 모델은 이론적으로 가장 높은 품질을 가진 모델이 아니라, 카메라의 속도를 따라갈 수 있을 만큼 빠르게 실행될 수 있는 모델이라는 결론을 내렸습니다.

이를 증명하기 위해 팀은 엣지 장치 역할을 할 Jetson TX2라는 작고 강력한 컴퓨터 보드를 사용하여 완전한 작동 시스템을 구축했습니다. 그들은 이 보드가 컬러 및 깊이 이미지를 캡처하고, 선택한 더 단순한 모델을 사용하여 압축하고, 로컬 네트워크를 통해 데이터를 전송하도록 프로그래밍했습니다. 받는 쪽인 클라우드 서버는 데이터를 디코딩하고 이를 다시 3D 포인트 클라우드로 변환했습니다. 그들은 카메라가 사진을 찍는 순간부터 3D 형태가 화면에 나타날 때까지의 모든 과정을 측정했습니다. 시스템은 초당 거의 30프레임의 속도로 재구성된 3D 뷰를 성공적으로 전달했으며, 총 지연 시간은 90밀리초를 약간 상회했습니다. 이 속도는 원격 텔레프레즌스나 실시간 매핑과 같은 많은 상호작용형 애플리케이션에 충분한 속도입니다.

또한 연구진은 자신들의 새로운 시스템을 이미 하드웨어에 내장된 기존의 전통적인 압축 도구들과 비교했습니다. 색상과 깊이를 각각 처리하는 이 오래된 도구들은 훨씬 더 빨랐으며, 단 10밀리초 남짓한 시간에 이미지를 압축했습니다. 그러나 유사한 품질을 달성하기 위해서는 더 많은 데이터를 필요로 했습니다. 새로운 AI 기반 시스템은 더 느리긴 했지만, 깊이 측정에서의 오류를 더 적게 생성하여 더 정확한 3D 재구성을 만들어냈습니다. 이 트레이드오프는 새로운 방법이 절대적인 처리 속도보다 3D 형태의 정확성이 우선시될 때 유효한 대안이 될 수 있음을 보여주었습니다.

그들의 성공의 핵심 요소는 장치에서의 소프트웨어 관리 방식이었습니다. 그들은 복잡한 전체 AI 프로그램을 장치의 특수 그래픽 프로세서에서 실행하도록 강제하지 않았습니다. 대신, 업무를 분담했습니다. 이미지를 변환하는 프로그램의 주요 부분은 장치의 하드웨어에서 효율적으로 실행되도록 변환되었고, 데이터를 스트림으로 패킹하는 마지막 단계는 다른 호환 가능한 소프트웨어 계층에서 처리되었습니다. 이러한 하이브리드 접근 방식 덕분에 그들은 하드웨어가 처리할 수 없는 소프트웨어 부분에 막히지 않고 하드웨어의 속도 이점을 얻을 수 있었습니다. 그들은 이처럼 소프트웨어를 구성하는 방식이 매우 중요하다는 것을 발견했습니다. 프로그램을 최적화되지 않은 단일 방식으로 실행하려고 시도하는 것은 너무 느릴 것이기 때문입니다.

연구진은 또한 데이터가 네트워크를 통해 어떻게 이동하는지도 조사했습니다. 그들은 비디오 스트리밍 서비스와 유사하게 압축된 이미지를 작은 패킷 단위로 전송하며, 시스템이 지연이나 데이터 손실을 어떻게 처리하는지 확인했습니다. 그들은 시스템이 견고하며, 네트워크 조건이 완벽하지 않더라도 이미지를 올바르게 재조립할 수 있음을 발견했습니다. 카메라에서 최종 클라우드 3D 재구성까지 걸린 총 시간은 평균적으로 약 91밀리초로 측정되었습니다. 여기에는 이미지를 캡처하고, 압축하고, 전송하고, 재구성하는 시간이 포함됩니다. 연구진은 이 시간의 가장 큰 변동이 네트워크 전송 자체에서 발생한다는 점을 언급했으며, 이는 예상된 결과였습니다. 하지만 시스템은 안정적이고 일관되게 유지되었습니다.

궁극적으로 연구진은 압축 도구를 선택하는 것이 단순히 가장 작은 파일을 찾는 수학 문제가 아님을 입증했습니다. 그것은 장치의 물리적 한계, 하드웨어의 속도, 그리고 최종 작업의 요구 사항을 고려해야 하는 시스템 설계 문제입니다. 소프트웨어를 배포할 수 있는 능력을 핵심적인 결정 요소로 다룸으로써, 그들은 품질, 속도 및 자원 사용량을 효과적으로 균형 있게 맞춘 모델을 선택할 수 있었습니다. 그들의 연구는 엣지 투 클라우드 시스템을 구축하는 방법에 대한 명확한 청사진을 제공하며, 최선의 솔루션은 단지 이론적인 경쟁에서 승리하는 것이 아니라 기계에 적합한 것임을 보여줍니다. 그 결과물은 3D 장면을 실시간으로 캡처, 압축 및 재구성할 수 있는 실용적인 작동 시스템이며, 이는 첨단 인공지능과 이를 운반하는 장치의 물리적 제약 사이의 간극을 메워줍니다.