A 3DGS-Driven Dynamic Viewpoint and Vibrotactile Framework for Subsea Teleoperation Validated via fNIRS

거대한 안개 낀 파이프로 만들어진 미로 속에서 자동차를 운전한다고 상상해 보십시오. 하지만 당신은 바로 앞 범퍼 근방의 아주 작고 흔들리는 사각형 구역만을 볼 수 있습니다. 이제 조향 핸들을 돌릴 때마다 자동차가 1초 동안 움직이지 않는다고 상상해 보십시오. 이것이 바로 ROV(원격 조종 수중 로봇) 운영자들이 겪는 악몽 같은 시나리오입니다. 이 기계들은 인간이 갈 수 없는 침몰한 선박, 오일 릭(oil rig), 침수된 터널 등을 조사하기 위해 보내지는 심해의 잠수사들입니다. 하지만 이들을 제어하는 것은 매우 어렵습니다. 물은 종종 탁하며, 공간은 협소하고, 지상으로부터의 신호가 전달되는 데 오랜 시간이 걸립니다. 이는 "지각적 병목 현상(perceptual bottleneck)"을 만들어냅니다. 즉, 인간의 뇌는 로봇이 어디에 있는지, 주변에 무엇이 있는지를 추측해야 하며, 이는 정신적 피로와 실수를 초래합니다. 과학자들은 운영자에게 더 나은 카메라나 진동 슈트를 제공함으로써 이 문제를 해결하려고 오랫동안 노력해 왔지만, 어떤 방법이 실제로 인간의 뇌가 압박감 속에서 무너지는 것을 막아주는지는 확신하지 못했습니다.

이 논문은 이러한 정확한 문제에 뛰어들어, 인간이 이러한 수중 로봇을 제어하는 것을 돕는 새로운 방법을 테스트합니다. 연구진은 두 가지 기술을 결합한 시스템을 구축했습니다: 최적의 시야 각도를 자동으로 찾아내는 "마법의 눈"과 로봇이 벽에 너무 가까워지면 진동을 주는 "진동 조끼"입니다. 그들은 30명의 자원봉사자를 대상으로 시뮬레이션된 수중 미로에서 이 설정을 테스트했으며, 제어 신호의 지연 시간을 0초에서 최대 1초까지 도입했습니다. 그들은 단순히 로봇이 얼마나 잘 움직이는지만 관찰한 것이 아니라, 자원봉사자들에게 특수 헬멧을 씌워 뇌의 혈류량을 측정함으로써 그들의 정신이 얼마나 열심히 작동하고 있는지를 확인했습니다.

결과는 놀라웠습니다. 신호가 빠를 때는 진동 조끼가 마치 친구가 살짝 밀어주는 것처럼 로봇이 직선 경로를 유지하도록 돕는 데 탁월했습니다. 하지만 신호가 느릴 때(0.5~1.0초)는 "마법의 눈" 시스템이 압도적으로 승리했습니다. 이 시스템은 '3D 가우시안 스플래팅(3D Gaussian Splatting)'이라는 최첨단 기술을 사용하여 수중 세계의 실시간 3D 모델을 구축한 다음, 운영자에게 로봇의 명확한 3인칭 시야를 보여주기 위해 가상 카메라를 자동으로 이동시켰습니다. 심지어 로봇이 파이프 뒤에 숨겨져 있는 경우에도 말입니다. 연구는 이 선제적인 뷰가 운영자의 뇌가 "체크아웃(정신적 탈진)"하는 것을 방지한다는 것을 발견했습니다. 실제로 지연 시간이 높았을 때, 표준 카메라 뷰를 사용한 운영자들은 인지적 이탈(cognitive disengagement) 징후를 보였습니다. 즉, 그들의 뇌가 공간을 파악하려는 노력을 사실상 포기한 것입니다. 그러나 새로운 시스템은 그들의 뇌를 활발하게 참여시켜 유지시켰으며, 신호가 지연되는 상황에서도 안전하게 항해할 수 있도록 했습니다.

문제: 안개 낀 파이프 속에서 눈을 가리고 운전하기

수중에서 로봇을 제어하는 것은 권투 글러브를 끼고 빨대를 통해 보면서 바늘귀를 꿰는 것과 같습니다. 운영자는 배나 부두에 앉아 로봇의 카메라가 보는 화면을 보고 있습니다. 하지만 그 카메라는 로봇의 코 부분에 고정되어 있습니다. 만약 로봇이 좁은 터널 안에 있다면, 운영자는 벽 옆에 도달할 때까지 벽을 볼 수 없습니다. 설상가가, 소리 파동은 물속에서 느리게 이동하기 때문에 운영자가 버튼을 누른 시점과 로봇이 실제로 움직이는 시점 사이에 종종 지연이 발생합니다. 지연 시간이 1.0초라면, 운영자는 조향 핸들과 브레이크가 1초 동안 분리된 차를 운전하고 있는 것과 같습니다.

이런 상황에서 인간의 뇌는 많은 중노동을 수행해야 합니다. 터널의 3D 형태를 상상하고, 로봇이 어디에 있는지 추측하며, 1초 후에 로봇이 어디에 있을지 예측해야 합니다. 이를 "정신적 회전(mental rotation)"이라고 하며, 이는 매우 소모적인 일입니다. 지연이 너무 길어지면 뇌가 과부하될 수 있습니다. 연구진은 만약 컴퓨터에 이 정신적 업무를 일부 넘겨줄 수 있다면, 운영자가 더 차분하고 집중력을 유지할 수 있을 것이라고 생각했습니다.

해결책: 마법의 카메라와 buzzing 조끼

연구팀은 로봇 제어 시스템(ROS)과 게임 엔진(Unity)을 연결하는 프레임워크를 기반으로 운영자를 돕는 새로운 시스템을 만들었습니다. 그들은 업무를 두 부분으로 나누었습니다: 하나는 앞을 내다보는 계획용이고, 다른 하나는 빠르게 반응하는 용도입니다.

1. 마법의 카메라 (DAVS):
단순히 로봇의 코 뷰를 보여주는 대신, 이 시스템은 3D 가우시안 스플래팅 기술을 사용하여 수중 세계의 라이브 3D 지도를 구축합니다. 이것을 벽, 파이프, 그리고 로봇을 나타내는 수백만 개의 작고 화려하게 빛나는 점들의 구름이라고 생각하십시오. 컴퓨터는 이 3D 지도를 가지고 있기 때문에, 어떤 각도에서도 즉각적으로 새로운 뷰를 생성할 수 있습니다. 시스템은 "동적 적응형 뷰포인트 시스템(Dynamic Adaptive Viewpoint System, DAVS)"을 사용하여 가상 카메라를 놓을 최적의 위치를 지속적으로 계산합니다. 로봇이 보이고 앞길이 트인 지점을 찾아 운영자에게 명확한 뷰를 렌더링하여 보여줍니다. 이는 마치 드론이 로봇 주변을 자동으로 비행하며 최상의 각도를 보여주는 것과 같지만, 화면상에서는 즉각적으로 일어납니다.

2. 진동 조끼 (Haptics):
마법의 카메라가 경로 계획을 돕는 동안, 두 번째 부분은 반응을 돕습니다. 운영자는 몸통에 작은 모터(진동기)가 달린 조끼를 착용합니다. 만약 로봇이 왼쪽 벽에 너무 가까워지면 조끼의 왼쪽 부분이 떨립니다. 오른쪽이 가까우면 오른쪽이 떨립니다. 이는 운영자가 화면에서 눈을 떼지 않고도 즉각적인 위험을 감지할 수 있는 "육감"을 제공합니다.

실험: 뇌와 로봇 테스트하기

이 새로운 시스템이 실제로 효과가 있는지 확인하기 위해 연구진은 통제된 실험을 설계했습니다. 30명의 참가자를 초대하여 파이프와 좁은 틈이 있는 복잡한 침수 산업 시설에서 시뮬레이션된 BlueROV2를 조종하는 비디오 게임을 수행하게 했습니다.

그들은 세 가지 다른 로봇 제어 방식을 테스트했습니다:

1. 자기중심적 뷰 (Egocentric, 기본형): 로봇의 코에서 보는 표준 카메라 뷰만 사용.
2. 햅틱 방식 (Haptic, 반응형): 표준 뷰와 진동 조끼를 함께 사용.
3. 외적 중심 뷰 (Exocentric, 선제적): 진동 조끼 없이 마법의 3D 카메라 뷰(DAVS)만 사용.

또한 제어 신호의 "지연(lag)"을 네 가지 단계로 도입했습니다: 0.0초(즉시), 0.2초, 0.5초, 1.0초.

참가자들이 게임을 하는 동안, 연구진은 전두엽 피질(계획, 의사 결정, 작업 기억을 담당하는 뇌 부위)의 혈류량을 빛으로 측정하는 특수 캡을 씌웠습니다. 이를 통해 연구진은 참가자들에게 얼마나 피곤한지 묻는 대신, 그들의 뇌가 실제로 얼마나 열심히 작동하고 있는지를 정확히 측정할 수 있었습니다.

결과: 뇌가 포기할 때

결과는 신호 속도에 따라 명확한 패턴을 보여주었습니다.

신호가 빠를 때 (0.0 ~ 0.2초):
진동 조끼가 승자였습니다. 로봇이 거의 즉각적으로 움직였기 때문에, 운영자들은 진동을 이용해 미세하고 정밀한 조정을 할 수 있었습니다. 그들은 다른 방식보다 더 완벽한 경로를 유지했습니다. 마법의 카메라는 표준 뷰가 이미 충분히 좋았기 때문에 큰 이점을 제공하지 못했습니다.

신호가 느릴 때 (0.5 ~ 1.0초):
마법의 카메라가 주도권을 잡았습니다. 0.5초의 지연이 발생했을 때, 표준 뷰는 실패하기 시작했습니다. 운영자들은 더 많은 실수를 저질렀고 더 자주 충돌했습니다. 하지만 가장 흥미로운 발견은 뇌 스캔에서 나왔습니다. 0.5초의 지연 상태에서 표준 뷰를 사용할 때, 전두엽 피질의 혈류량이 감소했습니다. 연구진은 이를 "인지적 이탈"이라고 부릅니다. 즉, 지연이 너무 혼란스러워서 운영자의 뇌가 공간에 대한 정신적 지도를 만드는 노력을 멈췄고, 사실상 포기해 버렸다는 것을 의미하며, 이는 곧 낮은 성과로 이어졌습니다.

반면, 마법의 3D 카메라를 사용한 운영자들은 뇌를 계속 활발하게 유지했습니다. 명확한 3인칭 뷰는 그들이 공간에 대한 정신적 지도를 유지하도록 도왔습니다. 그들의 뇌는 계획 센터에서 높은 활동을 보였으며, 다른 방식보다 훨씬 빠르고 안전하게 미로를 통과했습니다. 극단적인 1.0초 지연 상황에서, 마법의 카메라는 다른 두 방식보다 훨씬 더 빠르게, 그리고 충돌 없이 과제를 완수할 수 있게 해준 유일한 시스템이었습니다.

이것이 의미하는 바

이 연구는 수중 로봇의 경우, 당신에게 필요한 도움의 유형이 연결 속도에 따라 달라진다는 것을 시사합니다. 연결이 즉각적이라면, 단순한 진동이 로봇이 경로를 유지하도록 하는 데 좋습니다. 하지만 연결이 느리고 지연이 심하다면, 세상에 대한 명확한 전체적인 그림을 제공하는 시스템이 필요합니다.

가장 중요한 발견은 좋은 인터페이스가 단순히 로봇을 더 잘 움직이게 하는 것이 아니라, 인간 운영자의 뇌가 셧다운(shut down)되는 것을 막아준다는 점입니다. 3D 마법 카메라를 사용하여 "내가 어디에 있는가?"와 "내 주변에 무엇이 있는가?"를 파악하는 힘든 작업을 처리하게 함으로써, 시스템은 운영자의 뇌가 실제 과제에 집중할 수 있도록 자유를 줍니다. 이는 지연이 흔하고 실수가 치명적일 수 있는 수중 인프라 조사 분야에서 게임 체인저가 될 수 있습니다. 비록 이 시스템은 시뮬레이션에서 테스트되었고 아직 실제 바다에 적용되지는 않았지만, 결과는 수중 로봇을 인간이 더 쉽고 안전하게 제어할 수 있는 유망한 길을 보여줍니다.