An Intelligent-Cloud Edge Multimodal Interaction System for Robots

로봇에게 당신이 말하는 것뿐만 아니라, 당신이 하는 행동을 통해 당신을 이해하도록 가르치는 것을 상상해 보세요. 이것이 바로 과학자들이 차가운 딱딱한 코드와 인간의 직관적인 소통 방식 사이의 간극을 메우려고 노력하는 분야인 **인간-로봇 상호작용(Human-Robot Interaction)**의 핵심입니다. 보통 로봇은 특정 키워드만을 이해하는 엄격한 사서와 같습니다. 당신이 손을 흔들거나 무언가를 가리켜도, 그들은 동작 뒤에 숨겨진 의미를 "볼" 수 없기 때문에 그저 멍하니 바라볼 뿐입니다. 이를 해결하기 위해 연구자들은 컴퓨터 비전(기계가 손과 같은 모양을 보고 인식하도록 가르치는 기술)과 대규모 언어 모델(맥락과 복잡한 지시를 이해하는 초스마트 AI 두뇌)을 결합한 시스템을 구축하고 있습니다. 큰 과제는 무엇일까요? 로봇은 종종 생각하고 보는 작업을 동시에 수행하기에는 너무 무거운 작업을 처리할 수 없는 작은 컴퓨터를 등에 지고 있으며, 모든 것을 "클라우드"에 있는 거대한 슈퍼컴퓨터로 보내는 것은 느리거나 보안에 취약할 수 있다는 점입니다. 이 논문은 바로 이 문제를 다룹니다. 즉, 어떻게 하면 로봇이 복잡한 제스처를 이해할 만큼 똑똑하면서도, 멈춰 서지 않고 실제로 동작을 수행할 수 있을 만큼 빠르게 움직이게 할 것인가에 대한 문제입니다.

이 논문의 저자인 궈즈한(Zihan Guo)과 리샤오치(Xiaoqi Li)는 로봇과 슈퍼컴퓨터 사이의 고도의 기술적인 릴레이 경주처럼 작동하는 영리한 "클라우드-엣지(cloud-edge)" 시스템을 구축했습니다. 그들은 자신들의 로봇을 **토니파이(TonyPi)**라고 부르는데, 이는 스스로 무거운 수학 계산을 할 수 없는 자원이 제한된 작은 기계입니다. 대신, 토니파이는 눈과 귀 역할을 하여 당신의 목소리와 영상을 포착한 다음, 그 데이터를 "클라우드"(강력한 원격 서버)로 빠르게 전송하여 무거운 사고 과정을 수행하게 합니다.

이 시스템이 작동하는 방식은 다음과 같습니다:

1. 초민감한 눈 (YOLO-DC)
먼저, 시스템은 당신이 멀리 있거나, 일부가 가려져 있거나, 배경이 지저�더라도 당신의 손 제스처를 완벽하게 포착해야 합니다. 연구진은 YOLO11n이라는 대중적인 AI 탐지기를 업그레이드하여 YOLO-DC라는 새로운 버전을 만들었습니다.

• 업그레이드: 그들은 CBAM이라고 불리는 특별한 "주의 필터(attention filter)"를 추가했습니다. 이것은 로봇이 방 안의 잡동사니를 무시하고 제스처를 취하는 특정 손에 강렬하게 집중할 수 있도록 도와주는 안경을 쓰는 것과 같습니다.
• 수학적 원리: 또한 로봇이 손 상자의 크기를 계산하는 방식을 **DIoU 손실(loss)**이라는 새로운 공식으로 변경했습니다. 이것은 움직이는 공 주변에 상자를 그리려고 시도하는 것과 같습니다. 이 새로운 공식은 공이 빠르게 움직이거나 부분적으로 가려져 있더라도 상자가 공의 중심에 훨씬 더 빠르고 정확하게 맞물리도록 도와줍니다.
• 결과: 공공 테스트 세트에서 이 새로운 탐지기는 **98.9%**의 정밀도(즉, 본 것을 거의 틀리지 않음)와 **90.7%**의 제스처 발견 점수를 기록했습니다. 실제 로봇 상호작용처럼 보이도록 만든 자체 제작 세트에서도 여전히 **95.0%**의 정밀도를 달성했습니다. 이는 작은 손이나 가려진 손에 어려움을 겪었던 이전 버전들에 비해 큰 도약입니다.

2. 스마트한 두뇌 (Cloud Agents)
클라우드가 영상과 감지된 손 제스처를 받으면, 단순히 "손 발견"이라고 말하는 데 그치지 않습니다. 클라우드는 두 가지 유형의 AI "에이전트"를 사용하여 당신이 실제로 원하는 것이 무엇인지 파악합니다:

• 비전 에이전트 (VLM): 이 부분은 장면을 보고 맥락을 이해합니다. 만약 당신이 노트북을 가리킨다면, 이 에이전트는 "아, 책상 위에 노트북이 있구나"라고 인식합니다.
• 언어 에이전트 (LLM): 이 부분은 당신의 음성 명령(예: "저것을 집어 올려")을 듣고, 비전 에이전트가 보는 것과 결합합니다. 이것은 번역가 역할을 하여 "저것을 집어 올려" + "노트북"을 "팔을 노트북 좌표로 이동하라"라는 구체적인 계획으로 바꿉니다.
• 안전 가드: 로봇이 움직이기 전, "규칙 엔진(rule engine)"이 계획이 타당한지 확인합니다 (예: 당신이 로봇에게 "차라"와 "안아라"를 동시에 시킬 수는 없습니다). 이는 로봇이 어리석거나 위험한 행동을 하는 것을 방지합니다.

3. 릴레이 경주 (클라우드-엣지 협업)
마법은 역할 분담에서 일어납니다. 토니파이 로봇은 가볍고 빠르게 유지됩니다. 그저 영상을 캡처하고, 파일을 압축하여(더 빠르게 전송하기 위해 파일 크기를 줄임) 명령을 기다립니다. 클라우드는 제스처를 감지하고, 장면을 이해하며, 움직임을 계획하는 모든 무거운 작업을 수행합니다. 계획이 준비되면 클라우드는 단순하고 구조화된 메시지를 로봇에게 다시 보내고, 로봇은 그 움직임을 실행하고 당신에게 말을 겁니다.

이것이 실제로 작동하나요?
연구진은 실제 작업과 실제 사람들을 대상으로 이 시스템을 테스트했습니다.

• 작업 성공률: 로봇에게 간단한 단일 동작(예: "흔들기")을 요청했을 때 **95%**의 성공률을 보였습니다. 더 복잡한 다단계 작업의 경우 **88%**의 성공률을 보였습니다. 시각적 장면에 크게 의존하는 작업에서도 **82%**의 성공률을 기록했습니다.
• 인간 피드백: 연구진은 30명의 사람을 대상으로 흔들기, 공 차기, 몸 비틀기, 축하하기 등 네 가지 다른 시나리오를 통해 로봇을 체험하게 했습니다. 참가자들은 1점에서 5점 척도로 경험을 평가했습니다. 평균 점수는 3.69였으며, 이는 상호작용이 전반적으로 긍적적이고 즐거웠음을 시사하지만, 여전히 개선의 여지가 있음을 보여줍니다.
• 속도: 클라우드는 시각적 설명을 내놓는 데 약 **210밀리초(ms)**가 걸렸으며, 이는 자연스러운 대화가 가능할 만큼 충분히 빠릅적입니다.

다음 단계는 무엇인가요?
이 논문은 이러한 "클라우드-엣지" 접근 방식이 작은 로봇의 몸 안에 값비싼 컴퓨터를 집어넣지 않고도 큰 두뇌를 부여할 수 있는 실현 가능한 방법임을 결론짓습니다. 그러나 저자들은 이것이 아직 완벽하게 완성된 제품은 아니라고 언급했습니다. 그들은 향후 연구가 AI 모델을 더 작게 만들어 로봇이 클라우드 의존도를 낮추고 스스로 더 많은 생각을 할 수 있게 하고, 촉각이나 깊이와 같은 다른 감각을 추가하여 까다로운 상황에서도 더욱 견고하게 만드는 데 집중해야 한다고 제안했습니다. 또한 그들은 이 시스템이 장기적으로 어떻게 버티는지 확인하기 위해 병원이나 공장 같은 실제 환경에서 테스트할 계획입니다.

요약하자면, 이 논문은 로컬 로봇과 원격 슈퍼컴퓨터 사이에 업무를 분담하고, 로봇의 "눈"에 특별한 주의 집중 기능을 부여함으로써, 우리가 이전보다 훨씬 더 잘 우리의 제스처와 의도를 이해하는 로봇을 만들 수 있음을 보여줍니다.