Language-Guided Generation for Personalized Inspection Planning

세상을 이동하는 로봇들은 오랫동안 인간 운영자가 경로를 그리고, 무엇을 볼지 지목하며, 서로 다른 지점들을 방문할 순서를 결정하는 데 의존해 왔습니다. 다리를 점검하는 드론이나 난파선을 스캔하는 잠수정의 경우, 이는 대개 인간이 먼저 구역을 매핑한 다음, 로봇이 봐야 할 모든 지점을 수동으로 정의하고, 마지막으로 충돌 없이 이들을 연결하는 경로를 계산해야 함을 의미합니다. 이 과정은 느리고 전문 지식을 필요로 하며, 비전문가가 단순히 기계에게 무엇을 보고 싶은지 말하는 것을 어렵게 만듭니다. 최근 로봇들이 미지의 장소에서 길을 찾기 위해 음성 지시를 따르는 능력은 향상되었지만, 단순한 설명에 기반하여 알려진 환경을 효율적으로 점검하는 데 있어서는 여전히 어려움을 겪고 있습니다. 문제는 인간의 고차원적인 의도, 예를 들어 "경기장 안으로 날아가서 필드를 봐"와 같은 명령을 기계가 실제로 실행할 수 있는 정밀하고 매끄러운 비행 경로로 변환하는 데 있습니다.

연구팀은 별도의 특별한 훈련이나 사전 사례 없이도 텍스트 설명을 통해 로봇이 직접 이러한 점검 계획을 생성할 수 있게 하는 새로운 방법을 개발했습니다. 그들의 접근 방식은 이미지와 단어를 동시에 이해할 수 있는 시각-언어 모델(vision-language model)이라는 일종의 인공지능을 사용합니다. 인간이 모든 경유지를 프로그래밍하도록 강요하는 대신, 이 시스템은 환경의 3D 지도와 작업을 설명하는 문장을 입력받습니다. 그런 다음 시스템은 로봇이 텍스트에 언급된 객체들을 보기 위해 정확히 어디로 가야 하는지, 어떤 순서로 가야 하는지, 그리고 어떤 각도에서 보아야 하는지를 파악합니다. 연구진은 컴퓨터 시뮬레이션과 실험실 내부의 특정 객체를 확인하기 위해 비행하는 드론을 포함한 실제 환경 모두에서 이 시스템을 테스트했습니다. 결과에 따르면, 로봇은 사용자의 지침에 부합하는 경로를 일관되적으로 생성하여, 올려 정해진 위치를 올바른 순서로 방문하면서도 매끄럽고 효율적인 궤적을 유지할 수 있음을 보여주었습니다.

이 새로운 시스템의 핵심은 단순한 문장과 복잡한 비행 계획 사이의 간극을 메우는 3단계 과정입니다. 첫째, 시스템은 사용자의 텍스트를 읽고 축구장이나 좌석 세트와 같은 특정 관심 지점과, 로봇이 해당 객체와 관련하여 어디에 위치해야 하는지에 대한 지침을 식차합니다. 그다음, 시스템은 환경 내에서 로봇이 위치할 수 있는 가능한 위치들의 디지털 지도를 구축합니다. 각 잠재적 위치에 대해, 시스템은 인공지능에게 해당 지점에서의 장면을 여섯 가지 다른 관점에서 바라보게 하여, 대상 객체가 보이는지 그리고 로봇이 그것을 보기에 적절한 위치에 있는지 결정하도록 요청합니다. 이 단계는 매우 중요한데, 로봇이 단순히 객체 근처를 비행하는 것이 아니라 "위로 날아가" 또는 "옆에서 바라봐"와 같은 제약 조건을 준수하며 명확한 시야를 확보할 수 있는 위치에 자리 잡도록 보장하기 때문입니다.

시스템이 요구되는 객체들을 볼 수 있는 모든 유효한 지점을 식별하고 나면, 이제 가장 효율적인 방식으로 이들을 모두 방문하는 방법을 찾아야 합니다. 이는 사용자가 "필드를 먼저 가고, 그다음 스탠드로 가"라고 말했다면 로봇이 그 순서를 따르도록 보장하면서, 지점들을 방문하는 최적의 순서를 결정하기 위해 복잡한 라우팅 문제를 해결하는 과정을 포함합니다. 이 단계에서 생성된 초기 경로는 점들을 연결하는 직선들의 집합처럼 울퉁불퉁하고 비효율적일 수 있습니다. 이를 해결하기 위해 시스템은 다시 한번 인공지능을 사용하여 경로를 매끄럽게 만듭니다. 시스템은 로봇이 두 지점 사이에서 약간씩 움직여서 대상물을 놓치거나 장애물에 부딪히지 않으면서도 더 곧고 매끄러운 선을 만들 수 있는지 테스트합니다. 이러한 반복적인 정제 과정은 경로가 가능한 한 매끄러워질 때까지 계속되며, 이를 통해 로봇이 안전하고 빠르게 비행할 수 있도록 보장합니다.

마지막으로, 시스템은 이 매끄러워진 지점들의 연속체를 실제 로봇이 따라갈 수 있는 연속적이고 유동적인 궤적으로 변환합니다. 시스템은 급격한 움직임이나 멈춤 없이 지점 사이를 이동하는 데 필요한 정확한 속도와 방향 변화를 계산하여, 효율성에 최적화된 수학적 경로를 만들어냅니다. 실험에서 연구진은 실제 방에서 이 방법을 테스트하기 위해 소형 드론을 사용했습니다. 그들은 드론에게 바닥에 있는 특정 로고로 날아가서 문이 닫혀 있는지 확인하라는 명령을 내렸습니다. 드론은 방을 성공적으로 재구성하고, 텍스트에 기반하여 비행 경로를 계획했으며, 임무를 완수한 후에만 착륙했습니다. 이 시스템은 여러 위치를 특정 순서로 방문하거나 객체에 대한 특정 방향을 유지하는 것과 같은 복잡한 지침을 처리할 수 있음을 입증했습니다.

연구진은 그들의 방법이 수작업으로 만든 디지털 모델부터 건물의 실제 스캔 데이터에 이르기까지 다양한 환경에서 잘 작동한다는 것을 발견했습니다. 그들은 다양한 인공지능 모델로 시스템을 테스트했으며, 가장 발전된 모델들이 "내부" 또는 "위"와 같은 공간적 관계를 높은 정확도로 올로 이해할 수 있음을 확인했습니다. 또한 시스템은 소형 드론에 장착된 카메라에서 흔히 발생하는 낮은 수준의 이미지 품질에서도 성능을 유지하며 잘 작동함을 보여주었습니다. 이 과정은 이미지를 분석하고 경로를 생성하기 위해 상당한 컴퓨팅 파워를 요구하지만, 연구팀은 이것이 비교적 빠르게 수행될 수 있음을 보여줌으로써 실제 응용 분야에서 실용적인 솔루션임을 증명했습니다.

이 연구는 로봇을 더욱 접근하기 쉽고 적응 가능하게 만드는 데 있어 중요한 진전을 나타냅니다. 수동 경로 계획의 필요성을 제거하고 사용자가 단순히 보고 싶은 것을 설명할 수 있게 함으로써, 이 시스템은 토목 공학에서 해양 조사에 이르는 다양한 분야에서 비전문가들이 점검 로봇을 배치할 수 있는 길을 열어줍니다. 연구진은 이 시스템이 시각 데이터를 처리하기 위해 강력한 원격 컴퓨터에 의존하며, 이로 인해 개인정보 보호 문제가 발생할 수 있고, 인공지능이 복잡한 공간 관계를 이해할 때 때때로 실수를 할 수 있다는 점을 인정합니다. 그러나 그들은 로컬 장치에서 시스템을 실행하거나 더 특정한 데이터로 모델을 학습시킴으로써 이러한 문제를 해결할 수 있다고 제안합니다. 궁극적으로, 이 연구는 로봇이 이제 자연어 지시를 이해하고 복잡한 점검 작업을 수행하기 위해 행동할 수 있음을 보여주며, 단순한 문장을 정밀하고 실행 가능한 임무로 바꾸어 놓았습니다.