World-Model-Grounded LLM Planning for AUV and ASV Navigation Near Offshore Wind Farms

"저 풍력 터빈을 점검하러 가라"와 같은 간단한 문장을 이해하고, 그곳에 도달하기 위한 단계들을 스스로 파악할 수 있는 로봇을 상상해 보십시오. 수년 동안 과학자들은 스마트 어시스턴트나 챗봇을 구동하는 것과 같은 종류의 기술인 대규모 언어 모델을 사용하여 인공지능에게 정확히 이 작업을 수행하도록 가르쳐 왔습니다. 이러한 시스템은 큰 목표를 "앞으로 이동", "왼쪽으로 회전" 또는 "정지"와 같은 작은 동작들로 세분화하는 데 매우 뛰어납니다. 하지만 이들에게는 결정적인 사각지대가 있습니다. 바로 물리학을 이해하지 못한다는 점입니다. 그들은 배나 잠수함을 움직이는 단어들은 알고 있지만, 물의 무게나 조류의 저항, 혹은 엔진이 반응하는 데 걸리는 지연 시간을 느끼지는 못합니다. 만약 표준 언어 모델에게 터빈 주변을 항해하도록 지시한다면, 서류상으로는 완벽해 보이는 회전을 제안할 수도 있겠지만, 실제로는 물이 배를 옆으로 밀거나 엔진의 반응이 늦어져 결국 구조물에 그대로 부딪히게 될 것입니다. 컴퓨터가 예상하는 일과 실제 바다에서 일어나는 일 사이의 이 간극은 노르웨이 국방연구소(Norwegian Defence Research Establishment)와 헤리엇-와트 대학교(Heriot-Watt University)의 연구진이 해결하고자 했던 핵심 과제였습니다.

연구팀은 로봇에게 '월드 모델(world model)'을 부여함으로써 해상 풍력 단지 근처에서 자율 주행 로봇을 안내하는 새로운 방법을 개발했습니다. 이것을 생각하는 두 번째 뇌가 아니라, 백그라운드에서 실행되는 매우 정확한 시뮬레이터라고 생각하십시오. 이 시스템에서 언어 모델은 여전히 임무 설명을 바탕으로 동작 순서를 결정하는 지휘관 역할을 합니다. 하지만 로봇이 움직이기 전, 월드 모델이 개입하여 "얼마나 오래" 그리고 "얼마나 많이"라는 질문에 답합니다. 월드 모델은 각 움직임에 필요한 정확한 지속 시간을 계산하고, 파도, 조류, 그리고 로봇의 추진기가 작동하는 특정한 방식과 같은 물리적 현실 속에서도 계획이 살아남을 수 있는지 확인합니다. 만약 계획이 충돌로 이어질 것으로 보이면, 월드 모델은 타이밍이나 경로를 조정하여 로로봇이 목표에 도달하면서도 안전을 유지할 수 있도록 합니다.

이 접근 방식을 테스트하기 위해 연구진은 두 가지 매우 다른 유형의 로봇과 함께 작업했습니다. 하나는 모든 방향, 특히 옆으로도 움직일 수 있는 수중 이동체이고, 다른 하나는 자동차처럼 전진, 후진, 회전만 가능한 수상 보트입니다. 그들은 표준 물리 시뮬레이터가 기본적인 운동 법칙을 제공하고, 신경망이 실제 기계가 범하는 작고 지저분한 오류들을 교정하도록 학습하는 하이브리드 시스템을 구축했습니다. 이 결합을 통해 시스템은 로봇의 미래 상태를 극도로 정밀하게 예측할 수 있었습니다. 시뮬레이션 결과, 이 시스템은 수중 로봇의 1분 후 위치를 1밀리미터 미만의 오차로, 수상 보트의 위치를 0.5미터 미만의 오차로 예측할 수 있었습니다.

테스트 결과는 놀라웠습니다. 로봇들에게 풍력 터빈 타워와 케이블 주변을 항해하는 임무를 주었을 때, 언어 모델 단독으로는 완전히 실패했습니다. 언어 모델은 물의 흐름에 의한 표류나 엔진의 지연을 고려하지 못했기 때문에 모든 시도에서 장애물에 충돌했습니다. 반면, 언형 모델을 월드 모델과 결려했을 때는 수중 및 수상 로봇 모두 충돌 없이 목적지에 도달했습니다. 이 시스템은 유도되지 않은 시도와 비교했을 때, 수중 차량의 경우 로봇이 멈춘 지점과 의도한 목표 지점 사이의 거리를 약 93% 줄였으며, 수상 보트의 경우 70%에서 82% 사이를 줄였습니다.

특히 영리한 부분은, 실시간으로 해저를 매핑하기 위해 소나(sonar)나 레이저 스캐너와 같은 고가의 센서를 탑재하기에는 너무 작고 저렴한 수상 보트를 다룬 방식이었습니다. 연구진은 온보드 센서에 의존하는 대신, 위성 이미지, 해도, 기상 예보를 사용하여 환경을 "보는" 법을 시스템에 가르쳤습니다. 시각-언어 모델(vision-language model)은 기존 지도들을 분석하여 얕은 암초나 침몰된 구조물과 같은 장애물을 식별하고, 이를 로봇이 사용할 수 있는 디지털 지도로 변환했습니다. 이 방법은 사람이 직접 지도에 장애물을 그리는 것만큼 효과적이었으며, 항해 가능한 구역과 그렇지 않은 구역을 구분하는 데 96%의 정확도를 달ними었습니다. 이는 저가형 로봇들이 무겁고 비싼 장비를 운반하지 않고도 복잡한 연안 지역을 항해할 수 있음을 의미합니다.

연구진은 또한 이 시스템이 복잡한 파도 패턴과 예측 불가능한 조류가 포함된 더 현실적이고 고정밀인 시뮬레이션 환경에서 얼마나 잘 버티는지 테스트했습니다. 이러한 도전적인 환경에서도 로봇들은 충돌 없이 항해를 마쳤습니다. 시스템에는 로봇이 이동하는 동안 계획을 끊임없이 재평가하는 안전 메커니즘이 포함되어 있었습니다. 만약 갑작스러운 파도로 인해 로봇이 경로를 벗어나면, 시스템은 목표에 안전하게 도달할 수 있도록 남은 경로를 빠르게 재계산했습니다. 이러한 폐쇄 루프(closed-loop) 프로세스는 마치 지속적인 체크 앤 밸런스처럼 작동하며, 특히 작은 오차가 충돌로 이어질 수 있는 좁은 공간에서의 기동에서 성공의 핵심적인 역할을 했습니다.

궁극적으로 이 연구는 인공지능이 언어를 이해하고 순서를 계획하는 데는 강력하지만, 현실 세계에서 유용하려면 물리적 실체에 대한 근거가 필요하다는 것을 보여줍니다. 언어 모델의 고차원적 추론과 물리 법칙을 인지하는 월드 모델을 결합함으로써, 연구진은 복잡하고 역동적인 해상 풍력 단지 환경을 안전하게 안내할 수 있는 시스템을 만들어냈습니다. 이 연구는 해양 로봇 공학의 미래가 언어 모델을 더 똑똑하게 만드는 것이 아니라, 모델이 작동하는 물리적 세계에 대한 더 나은 이해를 갖게 하여, 논리적일 뿐만 아니라 물리적으로도 가능한 결정을 내리게 하는 데 있음을 시사합니다.