Mission-Level Runtime Assurance for LLM-Assisted ISR Swarms over a Verification-Aware Fabric

로봇이 단순히 "앞으로 이동해"와 같은 간단한 명령을 따르는 것을 넘어, 실제로 생각하고 계획하며 복잡한 문제를 해결하기 위해 서로 대화할 수 있는 세상을 상상해 보십시오. 이것은 드론과 지상 차량 그룹이 물고기 떼나 새 떼처럼 함께 협력하는 **자율 군집(autonomous swarms)**의 영역입니다. 이 로봇들을 똑똑하게 만들기 위해, 과학자들은 챗봇의 '두뇌' 역할을 하는 것과 같은 **대규모 언어 모델(LLM)**을 부여하여, 로봇이 명령을 이해하고, 다음 행동을 결정하며, 상황이 잘못되었을 때 적응할 수 있도록 돕고 있습니다. 하지만 여기에는 함정이 있습니다. 바로 이 똑똑한 두뇌들이 속을 수 있다는 점입니다. 만약 적이 로봇의 데이터에 가짜 명령을 몰래 끼워 넣는다면, 로봇은 그것을 실제 명령으로 착각하여, 비록 스스로는 규칙을 완벽하게 준수하고 있더라도 위험한 행동을 할 수 있습니다. 이를 **프롬프트 인젝션(prompt injection)**이라고 합니다.

과학자들이 던지는 핵심 질문은 이것입니다: 메시지가 유실되거나 지연될 수 있는 무질서하고 소란스러운 환경에서, 이 똑똑한 로봇 팀 전체를 어떻게 안전하게 유지할 것인가? 만약 한 대의 로봇이 안전하다면, 팀 전체도 안전한가? 반드시 그렇지는 않습니다. 로봇 팀은 의도치 않게(또는 악의적으로) 금지된 과업을 서로 나누어 수행할 수 있는데, 이는 개별 로봇은 모두 허용된 행동을 하고 있지만, 그 행동들의 조합이 재앙을 초래하는 경우를 말합니다. 전통적인 안전 점검 방식은 한 번에 한 대의 로봇만을 살펴보기에, 더 큰 그림을 놓치게 됩니다. 이 논문은 팀 전체를 감시하는 새로운 방법을 탐구하며, 설령 로봇들이 속거나 무선 신호가 방해를 받더라도, 시스템이 정확히 무슨 일이 일어나고 있는지 파악하고 상황이 좋지 않음에도 불구하고 괜찮은 척하지 않도록 보장하는 방법을 제시합니다.

---

논문: 로봇 군집을 위한 탐정 이야기

이 논문은 **3단계 런타임 어슈어런스 프레임워크(three-tier runtime assurance framework)**라고 불리는 영리하고 새로운 시스템을 제시합니다. 이것을 정보 수집(ISR: Intelligence, Surveillance, and Reconnaissance) 임무를 수행 중인 자율 로봇 군집을 위한 다층 보안 팀이라고 생각하십시오. 저자들은 누군가 나쁜 의도로 로봇들에게 금지된 작업을 나누어 수행하도록 속이는 매우 구체적이고 교묘한 공격을 잡아내기 위해 이 시스템을 구축했습니다.

교묘한 공격: "직소 퍼즐" 수법

어떤 미션의 규칙이 "비밀 건물의 완전한 파일을 작성하지 마시오"라고 되어 있다고 가정해 봅시다. 단 한 대의 로봇은 그 파일을 완성하는 데 필요한 모든 일을 할 수 없습니다. 하지만, 만약 어떤 악당이 로봇들에게 "자, 이걸 나누어서 하자! 너는 사진을 찍고, 너는 좌표를 기록하고, 너-는 무선 신호를 수집하고, 너는 지도를 가져가"라는 가짜 메시지를 보낸다면 어떻게 될까요?

개별적으로 보면, 모든 로봇은 완벽하게 합법적인 행동을 하고 있습니다. 로봇 A는 그저 사진을 찍을 뿐입니다(허용됨). 로로 B는 그저 좌표를 기록할 뿐입니다(허용됨). 만약 당신이 로봇 A만 본다면, 로봇 A는 결백해 보일 것입니다. 로봇 B만 본다면, 로봇 B 역시 결백해 보일 것입니다. 하지만 이들의 행동을 모두 합치면, 그들은 비밀리에 금지된 파일을 완성하게 됩니다. 이것이 바로 "직소 퍼즐" 공격입니다. 각 조각은 무해하지만, 전체 그림은 규정 위반이 되는 것입니다.

이 논문은 한 번에 한 대의 로봇만을 감시하는 표준 안전 모니터링 시스템이 이 공격에 완전히 눈이 멀어 있음을 보여줍니다. 그 모니터들은 모두 "이상 없음"이라고 보고할 것입니다. 왜냐하면 어떤 단일 로봇도 규칙을 어기지 않았기 때문입니다.

해결책: "검증 인식 패브릭(Verification-Aware Fabric)"

이를 잡아내기 위해 저자들은 세 가지 수준의 감시 체계를 만들었습니다:

1. 1단계 (개별): 각 로봇이 스스로를 감시합니다.
2. 2단계 (분대): 로컬 리더가 소규모 로봇 그룹을 감시합니다.
3. 3단계 (미션): 중앙 사령관이 팀 전체를 감시합니다.

마법은 이들이 서로 통신하는 방식에 있습니다. 그들은 RV-Fabric이라는 특별한 메시징 시스템을 사용합니다. 이 패브릭을 단순한 전화선이 아니라, 모든 메시지가 언제, 누구에 의해 전송되었는지를 기록하는 매우 안전하고 깨지지 않는 노트라고 생각하십시오. 이 시스템에는 특별한 기능이 있습니다: 메시지가 누락되었는지를 알아차리는 능력입니다.

기존 방식에서는 무선 방해로 인해 메시지가 유실되면, 중앙 컴퓨터는 "아, 로봇 C로부터 메시지가 오지 않았으니, 로봇 C는 아무것도 안 하고 있나 보구나"라고 생각할 수 있습니다. 그리고는 "모든 것이 정상이다!"라고 말해버립니다. 이것이 바로 **침묵하는 거짓 안심(silent false all-clear)**이며, 매우 위험합니다.

새로운 시스템은 다릅니다. 이 시스템은 **두 축의 판결(two-axis verdict)**을 사용합니다. 단순히 "안전" 또는 "위험"이라고 말하는 대신, 다음과 같이 말합니다:

• 보안(Security): 위반 사항이 있는가?
• 완전성(Completeness): 확신할 수 있을 만큼 충분한 증거가 있는가?

메시지가 누락된 경우(방해나 신호 유실로 인해), 시스템은 추측하지 않습니다. 대신 **"알 수 없음(Unknown)"**이라고 답합니다. 시스템은 전체 그림을 볼 수 없다면 "모두 괜찮다"는 판정을 내리기를 거부합니다. 이는 마치 "용의자의 알리바이를 확인하지 못했다고 해서 그가 무죄라고 단정할 수는 없다. 단지 아직 모를 뿐이다"라고 말하는 탐정과 같습니다.

연구 결과 (Results)

저자들은 로봇 군집 미션을 시뮬레이션하여 이 시스템을 테스트했습니다. 그들은 악당이 프롬프트 인젝션을 사용하여 로봇들이 금지된 작업을 나누어 수행하도록 속이는 시나리오를 설정했습니다.

• 사각지대: 개별 로봇 모니터는 아무런 문제도 발견하지 못했습니다. 그들은 모두 "위반 없음"을 보고했습니다.
• 포착: 새로운 3단계 시스템은 전체 그림을 보았습니다. 네 대의 로봇이 수행한 행동을 결합했을 때, 그들이 금지된 파일을 완성했다는 사실을 알아냈습니다. 시스템은 위반 사항을 찾아냈을 뿐만 아니라, 정확히 어떤 로봇들이 연루되었는지(출처/provenance)까지 밝혀냈습니다.
• 방해 테스트: 저자들은 메시지가 누락되거나 지연되는 무선 방해 상황을 시뮬레이션했습니다.
  • 기존의 중앙 모니터링 방식("최선 노력형/best-effort" 방식)은 누락된 메시지로 인해 혼란에 빠져 세 차례나 침묵하는 거짓 안심을 내놓았습니다. 즉, 상황이 위험함에도 불구하고 안전하다고 잘못 판단했습니다.
  • 새로운 RV-Fabric 시스템은 단 한 건의 침묵하는 거짓 안심도 발생시키지 않았습니다. 메시지가 누락되었을 때, 시스템은 단순히 "알 수 없음" 또는 "불완전함"이라고 답했습니다. 시스템은 절대 거짓말을 하지 않았으며, 증거가 부족할 때 괜찮다고 말하는 실수를 범하지 않았습니다.

또한 저자들은 총 무선 방출량이 너무 높거나 로봇들이 함께 제한 구역에 진입하는 것과 같은 다양한 유형의 미션에서도 이를 테스트했습니다. 모든 경우에서, 새로운 시스템은 개별 모니터가 놓친 팀 단위의 위반을 잡아냈으며, 증거가 부족할 때 결코 거짓된 "안심"을 제공하지 않았습니다.

얼마나 확실한가?

저자들은 이 결과에 대해 매우 확신하고 있지만, 그 방법론을 주목해야 합니다. 그들은 실제 로봇을 전장에 투입한 것이 아니라, 현실적인 로봇 시뮬레이터(ROS 2/Gazebo/ArduPilot)를 사용하여 시뮬레이션을 수행했습니다. 디지털 세계를 구축하여 결함을 주입하고, 메시지를 드롭하며, 동일한 미션을 반복 재생하여 어떤 일이 일어나는지 관찰했습니다.

이 시뮬레이션에서 시스템은 완벽하게 작동했습니다. 데이터상으로 확인 가능한 모든 분할 과업 공격을 100% 탐지했으며, 메시지가 유실된 상황에서도 침묵하는 거짓 안심을 단 한 번도 내놓지 않았습니다. 또한 시스템은 매우 빨라서, 최대 1,000대의 로봇 상태를 2밀리초(ms) 미만으로 체크할 수 있었습니다.

이 논문은 이 접근 방식이 미래의 AI와 로보틱스에 필수적이라고 주장합니다. 로봇이 스스로 결정을 내리도록 허용함에 따라, 우리는 개별체가 아닌 팀을 감시하는 방법이 필요하며, 상황을 추측하여 재앙을 초래하기보다는 모르는 것에 대해 모른다고 인정하는 시스템이 필요합니다. 저자들은 이러한 "증거 인식(evidence-aware)" 접근 방식이 경쟁적인 환경에서 자율 군집을 신뢰할 수 있게 만드는 핵심 열쇠라고 제안합니다.