SUNSET - A Sensor-fUsioN based semantic SegmEnTation exemplar for ROS-based self-adaptation

당신이 우주선의 선장이라고 상상해 보십시오. 하지만 당신의 함선은 매끈한 제어실을 가진 것이 아니라, 변화무쌍하고 혼란스러운 세상을 항해해야 하는 로봇입니다. 때로는 로봇의 눈(카메라)이 흐릿해지기도 하고, 때로는 뇌(소프트웨어)에 오류가 발생하기도 하며, 때로는 너무 많은 일이 동시에 일어나 시스템 전체가 혼란에 빠지기도 합니다. 로봇 공학의 세계에서 이것은 거대한 문제입니다. 과거의 로봇들은 완벽하고 예측 가능한 공장에서 작동했지만, 이제는 도시 위를 날아다니고, 흙길을 달리고, 사람을 돕는 등 복잡한 현실 세계로 파견되고 있습니다. 무언가 잘못되었을 때, 로봇이 실패하고 있다는 사실(예: 자동차가 덜컥거리는 것)을 알아차리기는 쉽지만, '왜' 실패하고 있는지 알아내는 것은 매우 어렵습니다. 카메라가 고장 난 걸까요? 소프트웨어가 혼란에 빠진 걸까요? 아니면 새가 렌즈에 부딪힌 걸까요?

이 지점에서 "자기 적응형 시스템(self-adaptive systems)"이라는 분야가 등장합니다. 이것은 로봇에게 내장된 정비사와 탐정을 머릿속에 넣어주는 것과 같습니다. 만약 로봇이 무언가 잘못되었다는 것을 감지하면, 인간이 버튼을 누르기를 기다리지 않고 스스로 문제를 해결하려고 시도합니다. 고장 난 부품을 재시작하거나, 백업 카메라로 전환하거나, 사고 방식(알고리즘)을 바꿀 수도 있습니다. 하지만 로봇이 이렇게 할 수 있도록 만들기 위해서는, 엔지니어들이 자신들의 아이디어를 테스트할 수 있는 안전한 장소가 필요합니다. 그들은 로봇의 자가 수리 능력이 실제로 작동하는지 확인하기 위해 의도적으로 무언가를 망가뜨려 볼 수 있는 "훈련장"이 필요합니다. 이것이 바로 SUNSET이라는 새로운 논문에서 다루는 과제입니다.

로봇의 "자가 치유" 훈련장

SUNSET(Sensor-fUsioN based semantic SegmEnTation)을 만나보십시오. 이것은 로봇 자체가 아니라, 상황이 걷잡을 수 없이 악화될 때 로봇이 얼마나 잘 스스로를 고칠 수 있는지 테스트하기 위해 만들어진 초지능적인 시뮬레이션입니다. 독일과 네덜란드의 연구진으로 구성된 저자들은 특정 골칫거리를 해결하기 위해 이 "엑셈플러(exemplar, 완벽한 예시 또는 테스트 모델을 뜻하는 멋진 단어)"를 만들었습니다. 그것은 바로 두 가지 서로 다른 방식으로 로봇이 동시에 고장 났는데, 어떤 것이 진짜 원인인지 알 수 없는 상황입니다.

시나리오: 임무를 수행 중인 드론

드론이 마을 상공을 비행하며 자신이 보고 있는 것을 이해하려고 노력한다고 상상해 보십시오. 저것은 자동차인가요? 나무인가요? 아니면 사람인가요? 이를 위해 드론은 "시맨틱 세그멘테이션(semantic segmentation)" 파이프라인을 사용합니다. 쉬운 말로 설명하자면, 드론은 카메라로부터 사진을 찍고 훈련된 AI 뇌를 사용하여 이미지의 모든 픽셀에 라벨을 붙이는 것입니다. 이는 드론이 세상의 모든 것을 즉각적으로 식별해야 하는 초고속 "숨은 그림 찾기" 게임을 하는 것과 같습니다.

SUNSET 시뮬레이션에서 이 드론은 디지털 도시(SynDrone이라는 데이터셋 사용)를 비행하며 두 가지 유형의 눈을 통해 세상을 봅니다. 하나는 표준 컬러 카메라(RGB)이고, 다른 하나는 거리(깊이)를 측정하는 데프스 카메라(depth camera)입니다. 드론은 이 두 가지 뷰를 융합하여 주변 환경에 대한 완벽한 3D 이해도를 얻습니다.

혼돈: 의도적인 고장

여기서부터 재미있는 부분이 시작됩니다. 연구진은 드론의 시스템을 11가지 방식으로 망가뜨릴 수 있는 디지털 사보타주 요원인 "결함 주입기(Fault Injector)"를 구축했습니다. 하지만 까다로운 점은 이러한 고장이 항상 고장 자체의 모습과 똑같이 나타나지는 않는다는 것입니다.

자동차 시동이 걸리지 않는 상황을 생각해 보십시오. 증상은 "차가 시동이 걸리지 않는다"입니다. 하지만 원인은 방전된 배터리일 수도 있고, 스타터 모터의 고장일 수도 있으며, 엔진에 연료가 넘친 것일 수도 있습니다. SUNSET에서 연구진은 다음과 같은 시나리오를 시뮬레이션합니다:

1. 증상이 모호함: 드론의 시야가 흐릿해집니다. 렌즈가 더러워졌기 때문일까요? 소프트웨어가 충돌 중이기 때문일까요? 아니면 데이터가 전선에서 유실되고 있기 때문일까요? 시스템은 흐릿함을 감지하지만, 근본 원인이 무엇인지는 알지 못합니다.
2. 여러 가지가 동시에 고장 남: 드론에 카메라 글리치와 소프트웨어 충돌이 동시에 발생할 수 있습니다. 이를 "동시 결함(concurrent failure)"이라고 합니다. 대부분의 기존 테스트 모델은 한 번에 한 가지 문제만 발생시키므로 너무 쉽습니다. 하지만 SUNSET은 여러 가지를 동시에 고장 낼 수 있게 하여, 로봇의 "자기 적응" 뇌가 어떤 해결책을 먼저 적용할지 우선순위를 정하고 파악하도록 강제합니다.

도구 모음: 로봇은 어떻게 스스로를 고치는가

논문은 SUNSET이 "관리 시스템(managing system, 로봇의 내부 정비사)"이 시도할 수 있는 네 가지 주요 유형의 해결책을 보여줍니다:

• 재매개변수화(Reparametrization): 설정을 미세하게 조정합니다. 카메라의 초점 조절 다이얼을 돌리거나 볼륨을 조절하는 것과 같습니다.
• 통신 변경(Changing Communication): 채널을 전환합니다. 데이터 스트림이 차단되면 로봇은 다른 데이터 통로로 전환할 수 있습니다.
• 구성 요소 재시작(Restarting Components): 특정 부분을 껐다가 다시 켭니다. 멈춰버린 컴퓨터 프로그램을 재부팅하는 것과 같습니다.
• 재배포(Redeploying): 이것은 최후의 수단입니다. 특정 하드웨어 부품의 플러그를 뽑고 기계 전체를 다시 시작하는 것과 같습니다. 논문은 이것이 매우 강력하고 시간이 오래 걸리는 작업이므로, 꼭 필요한 경우에만 수행해야 한다고 언급합니다.

연구진은 기본적인 "베이스라인(baseline)" 로봇(단순한 버전의 자기 적응 시스템)을 테스트하여 이 재난들을 어떻게 처리하는지 확인했습니다. 그들은 모든 가능한 혼돈의 조합을 만들기 위해 결함들을 조합하여 54가지의 서로 다른 시나리오를 실행했습니다.

결과: 어렵지만, 효과가 있다

논문에 제시된 결과에 따르면, 로봇이 스스로를 고칠 수는 있지만 완벽하지는 않습니다.

• 드론이 아무런 문제 없이 비행할 때, 시야 정확도는 (IoU라는 점수로) 0.47 ± 0.02였습니다.
• 드론이 지속적으로 고장 나고(흐릿한 이미지 및 초점 문제) 아무런 도움을 받지 못할 때, 시야 정확도는 0.28 ± 0.08로 크게 떨어졌습니다.
• 기본적인 자기 적응 시스템을 사용했을 때, 로봇은 시야를 일부 회복하여 점수를 0.30 ± 0.09까지 끌어올렸습니다.

하지만 논문은 그들의 단순한 베이스라인에 결함이 있음을 지적합니다. 로봇이 다소 서툴렀다는 점입니다. 로봇은 단순한 재시작이나 설정 변경만으로도 충분했을 상황에서도 종종 "최후의 수단"(시스템 전체 재배포)을 선택했습니다. 이로 인해 불필요한 재배포 횟수가 많았으며(실행당 6.52 ± 4.67회), 반응 시간은 약 2.02 ± 1.04초였습니다. 논문은 로봇이 적응할 수는 있지만, 과잉 대응을 피하기 위해 어떻게 적응할지에 대해 더 똑똑해질 필요가 있다고 제안합니다.

이것이 왜 중요한가

저자들은 로봇의 자가 치유 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 그들은 도전적인 새로운 테스트 트랙을 구축했습니다. SUNSET 이전에는 모두가 서로 다르고 쉬운 시나리오에서 테스트했기 때문에 서로 다른 자기 적응 시스템을 비교하기가 어려웠습니다. 이제 연구자들은 여러 가지 혼란스러운 결함을 동시에 주입할 수 있는 표준화되고 어려운 놀이터를 갖게 되었습니다.

논문은 결론적으로 SUNSET이 "새롭고 도전적인 엑셈플러"라고 밝힙니다. 이는 우리가 ROS2 기반 시스템(로봇을 위한 흔한 소프트웨어 프레임워크)에서 현실적이고 혼란스러운 실패를 시뮬레이션할 수 있음을 입증하며, 로봇의 자가 수리 뇌가 얼마나 잘 작동하는지 정확하게 측정할 수 있음을 보여줍니다. 이는 폭풍 속을 비행하다가 혼란에 빠지더라도, 인간이 "리셋" 버튼을 누를 필요 없이 스스로 안전하게 착륙하는 방법을 터득하는 로봇을 향한 한 걸음입니다.

이 전체 시뮬레이션의 코드는 누구나 다운로드하여 플레이할 수 있도록 공개되어 있으며, 다음 세대의 로봇 엔지니어들이 더 똑똑하고 탄력적인 기계를 만들 수 있도록 초대하고 있습니다.