Agentic AI for Safety-critical Multi-drone Systems: Challenges and Opportunities

기술 요약: 안전 필수 멀티 드론 시스템을 위한 에이전틱 AI (Agentic AI)

문제 정의
멀티 드론 시스템은 수색 및 구조(SAR), 화재 진압, 주요 인프라 모니터링을 포함한 안전 필수 임무에서 상당한 잠재력을 제공한다. 그러나 현실 세계의 도입을 저해하는 것은 단순한 기술적 자율성 성능의 문제가 아니라, 에이전틱 행동(agentic behavior)을 전문적인 워크플로에 통합하는 사회-기술적(socio-technical) 과제이다. 운영자는 불확실성, 시간 압박, 높은 책임성이 따르는 조건 하에서 자동화를 이해하고, 신뢰하며, 통제해야 한다. 플릿(fleet) 규모가 커짐에 따라, 전통적인 '1인 1기체' 모델은 조정 오버헤드, 공유 상황 인식 저하, 그리고 작은 불확실성이 안전 문제(예: 상충하는 우선순위 또는 모호한 책임)로 번질 위험 때문에 한계에 부딪힌다. 최근 대규모 언어 모델(LLM)과 에이전틱 AI의 발전은 자연어 기반의 작업 지시와 혼합형 이니셔티브 계획(mixed-initiative planning)을 가능하게 하지만, 동시에 새로운 상호작용 과제를 도입한다. 즉, 에이전트의 의도를 표현하고, 결정을 감독하며, 복잡한 현장 환경에서 올바른 동작을 보장하는 문제이다.

방법론 및 연구 접근 방식
본 논문은 에이전틱 AI를 고정된 기술적 솔루션이 아닌 "사회-기술적 설계 재료(socio-technical design material)"로 취급하며, 인간 중심적이고 참여적이며 반복적인 연구 접근 방식을 채택한다. 이 방법론은 두 가지 상호 보완적인 진행 중인 프로젝트에 기반한다:

1. NAMUR: 시간 민감형 긴급 대응(수색 및 구조, 화재 진압)에 초점을 맞추며, 빠른 결정 주기, 동적인 위험 요소, 그리고 이기종 로봇 플랫폼 간의 통합된 추상화 계층의 필요성을 강조한다.
2. PERSIST: 주요 인프라(예: 발전소)에서의 장기적이고 지속적인 운영에 초점을 맞추며, 지속적인 활동, 반복성, 교대 근무 인수인계 및 조직적 통합을 강조한다.

연구 과정은 다음과 같다:

• 니즈 발굴 (Needs Discovery): 이해관계자(사건 지휘관, 현장 대응 요원, 보안 요원)와의 구체적인 시나리오 및 시연을 바탕으로 업무 관행, 결정 지점, 인지적 병목 현상을 매핑한다.
• 참여형 프로토타이핑 (Participatory Prototyping): 연속적인 기능적 프로토타입을 "경계 객체(boundary objects)"로 사용하여 에이전트의 역량, 권한 요구 사항, 불확실성 신호를 협상한다.
• 시스템 설계 (System Design): 자연어 의도를 검토 가능한 하위 작업으로 분해하고, 결정론적 도구를 통해 실행을 제한하며, 운영자의 사전 확인 및 승인을 강제하는 아키텍처를 개발한다.

핵심 기여: LLM-MAS 아키텍처
본 논문은 멀티 드론 제어를 위해 설계된 대규모 언어 모델 멀티 에이전트 시스템(LLM-MAS) 기능적 프로토타입 아키텍처를 제시한다. 이 시스템은 외부 결정론적 도구(예: 공간 연산, 동작 실행, 메모리 저장, 작업 스케줄링)와 인터페이스하는 5개의 특화된 에이전트로 구성된다:

1. 코디네이터 에이전트 (Coordinator Agent): 중앙 오케스트레이터 역할을 수행하며, 운영자의 의도를 추론하고 명령을 하위 에이전트에 위임할 하위 쿼리로 분해한다.
2. 이벤트 에이전트 (Events Agent): 주기적, 지연형 및 미래 지향적 지시(예: 예정된 바이오매스 추정 또는 기지로 복귀 명령)를 관리하여, 적절한 시점에 작업이 실행되거나 표면화되도록 보장한다.
3. 공간 에이전트 (Spatial Agent): GeoJSON 지도와 드론 및 현장 대응 요원의 실시간 위치에 접근하여 상황 인식을 제공한다. 이는 의미론적 지도 특징을 식별하고 공간적 관계를 계산한다.
4. 스웜 에이전트 (Swarm Agent): 동작 계획 및 작업 실행을 담당한다. 가용성 및 컨텍스트에 따라 적절한 드론 플랫폼을 선택한다. 결정적으로, 이 에이전트가 생성한 모든 요청은 실행 전 운영자의 사전 확인 및 승인을 거쳐야 한다. 이는 비행 제어 파이프라인을 트리거하기 위해 ROS 토픽으로 동작을 발행한다.
5. 요약 에이전트 (Summarizer Agent): 실행된 동작과 시스템 상태에 대한 간결하고 인간이 읽기 쉬운 요약을 생성한다. 이는 상호작용 메모리에 저장되어 후속 대화 턴의 컨텍스트를 제공하며, 이를 통해 일관된 다회차 상호작용과 참조 해결(예: "그것을 가장 가까운 안전 구역으로 이동시켜")이 가능해진다.

시스템은 배포 환경에 따라 달라진다. 수색 및 구조(SAR)의 경우 도구는 준수 가능한 경로 계획(coverage path planning)을 지원하며, 인프라 모니터링의 경우 바이오매스 추정을 위한 비행 경로 생성을 지원한다.

결과 및 발견
본 논문은 이전의 현장 참여 및 프로토타입 평가로부터 얻은 교훈을 종합하여 주요 기회와 긴장 관계를 식별한다:

• 기회: 에이전틱 AI는 선택적 주의/요약을 제공함으로써 조정 오버헤드를 줄이고, 정보 변화에 따라 커버리지를 유지하는 혼합형 이니셔티브 계획을 가능하게 하며, 장기적 오케스트레이션(스케줄링, 이상 징후 분류)을 지원할 수 있다.
• 긴장 (Tensions): 저자들은 자율성만으로는 해결할 수 없는 핵심적인 안전 긴장 관계를 식별하였다:
  • 지속적인 주의 없이도 작동하면서도 "블랙박스"식 동작에 저항하는 시스템의 필요성.
  • 강력한 알림이 단기적 성능은 향상시킬 수 있으나, "주의 터널링(attention tunneling)"을 유발하여 전체적인 감독 능력을 저하시킬 위험.
  • 불완전한 인지 하에서의 보정된 신뢰(calibrated trust)의 필요성, 즉 보수적인 기본값과 검증 워크플로의 요구.
  • 역할, 프로토콜 및 감사 가능한 결정 기록을 포함한 운영 적합성 요구.

기능적 프로토타입은 무인 지상 차량(UGV) 및 무인 항공기(UAV)의 실시간 제어에 시연되었으며, 자연어를 검토 가능한 하위 작업으로 분해하고 명시적인 운영자 승인을 강제하는 능력을 검증하였다.

의의 및 주장
본 논문은 안전 필수 작업을 위한 에이전틱 AI가 인터페이스, 감독 메커니즘, 평가 관행이 알고리즘만큼 중요한 사회-기술적 설계 문제로 접근되어야 한다고 주장한다. 저자들은 세 가지 핵심 함의를 통해 "통제 가능한 에이전틱 자율성(governable agentic autonomy)"을 구체화함으로써 향후 연구를 지원한다고 주장한다:

1. 핵리 속성으로서의 통제 가능성 (Governability as a Core Property): 권한 부여 지점, 제약 조건, 개입 메커니즘은 UI의 부가 기능이 아니라 명시적이고 감사 가능한 시스템 속성이어야 한다.
2. 제한된 도구 사용 (Constrained Tool Use): 에이전틱 행동은 예측 가능한 실패 모드와 재현 가능한 디버깅을 보장하기 위해, 제약 없는 자유 형식의 행동보다는 제약되고 검사 가능한 도구 사용으로부터 구축되어야 한다.
3. 실제 환경 평가 (Real-World Evaluation): 평가는 단순히 작업 성공 여부만이 아니라, 상황 인식, 신뢰 보정, 조정 오버헤드, 그리고 책임 있는 사후 검토(after-action review) 지원 능력을 측정하는 실제 운영 사용을 반영해야 한다.

결론적으로, 에이전틱 AI는 멀티 드론 운영의 확장을 위한 유망한 기술이지만, 그 성공적인 배포는 시스템이 투명하고, 학습 가능하며, 지역 프로토콜 및 책임 관행과 일치하도록 만드는 반복적인 이해관계자 참여에 달려 있다.