기술 요약: Co-GLANCE

문제 정의

비정형 실외 환경에서 운용되는 이종 로봇 팀(특히 공중-지상 조합)은 폐쇄(occlusion)로 인해 심각한 **지각적 불확실성(perceptual uncertainty)**에 직면합니다. 단일 시점으로는 신뢰할 수 있는 장면 이해를 제공할 수 없습니다. 예를 들어, 식생은 공중 로봇의 시야는 가릴 수 있지만 지상 로봇에게는 투명할 수 있으며, 반대로 공중에서는 사소해 보이는 장애물이 지상 로봇에게는 완전히 시야를 차단할 수도 있습니다. 이러한 불확실성을 해결하기 위해서는 장면 기반의 맥락적 추론(무엇이 숨겨져 있는지 이해하는 것)과 역량 인지적 로봇 할당(어떤 로봇이 폐쇄를 가장 잘 해결할 수 있는지 결정하는 것)이 모두 필요합니다.

시각-언어 모델(VLM)은 이러한 추론을 위한 강력한 의미론적 사전 지식(semantic priors)을 제공하지만, 온보드 배포를 위해 다음과 같은 세 가지 결정적인 한계를 가집니다:

1. 계산적 제약: 실시간 온보드 추론을 수행하기에는 너무 무겁습니다.
2. 클라우드 의존성: 종종 클라우드 기반 추론을 필요로 하며, 이는 지연 시간과 연결성 문제를 야기합니다.
3. 미교정 불확실성(Uncalibrated Uncertainty): 통계적으로 유효한 불확실성 정량화 능력이 부족하여, 안전이 중요한 능동적 지각(active perception) 결정을 내릴 때 신뢰하기 어렵습니다.

기존의 능동적 지각 방법들은 휴리스틱하거나 미교정된 신뢰도에 의존하는 경우가 많아, 언제 추가적인 센싱이 진정으로 필요한지에 대한 보장을 제공하지 못합니다.

방법론: Co-GLANCE

저자들은 이종 로봇 팀의 지각적 불확실성을 해결하기 위해 설계된 실시간 온보드 지각 및 의사결정 프레임워크인 Co-GLANCE를 소개합니다. 이 시스템은 세 가지 핵심 구성 요소로 작동합니다:

1. 맥락적 자기 검토를 통한 지식 증류(Knowledge Distillation with Contextual Self-Review)

클라우드 의존성을 제거하기 위해, Co-GLANCE는 대규모 VLM의 의미론적 추론 능력을 온보드 추론을 위한 경량 엔드투엔드 YOLO-seg-nano 모델로 증류합니다.

• 파이프라인: 과정은 VLM이 공중 프레임으로부터 폐쇄 키워드를 생성하는 것으로 시작되며, 이는 오픈 보카블러리 세그멘테이션 모델로 전달되어 후보 마스크(candidate masks)를 생성합니다.
• 맥락적 자기 검토(Contextual Self-Review): VLM이 생성한 마스크가 의도된 영역과 일치하지 않는 경우가 많다는 점을 인식하여, 시스템은 다회차 대화 메커니즘을 채택합니다. 후보 마스크가 VLM에 다시 입력되면, VLM은 "자기 검토"를 수행하여 잘못된 마스크를 제거하고, 어긋난 영역을 정제하며, 새로운 키워드를 제안하고, 플랫폼 할당 레이블(ground, both, 또는 either)을 부여합니다.
• 학습: 경량 모델은 이러한 정제된 의사 레이블(pseudo-labels)을 통해 학습되며, 이를 통해 단 한 번의 순전파(forward pass)만으로 폐쇄 세그멘테이션과 로봇 할당을 수행할 수 있게 됩니다.

2. 2단계 불확실성 정량화(Two-Stage Uncertainty Quantification)

클라우드 추론 없이 신뢰성을 확보하기 위해, Co-GLANCE는 **선택적 기권(selective abstention)**과 **컨포멀 예측(conformal prediction)**을 결합하여 통계적으로 유효한 커버리지 보장을 제공합니다.

• 1단계 (리스크 제어): 선택적 기권을 사용하여 높은 신뢰도의 예측을 식별합니다. 예측 신뢰도가 교정된 임계값($\hat{\lambda}$)을 초과하면, 이는 정해진 오차율(예: $1-\alpha$)을 가진 "싱글톤(singleton)" 결정으로 수용됩니다.
• 2단계 (커버리지 제어): 임계값 미만의 예측(기권된 경우)에 대해, 시스템은 컨포멀 예측을 적용하여 예측 집합(prediction set)을 생성합니다. 이는 지정된 확률($1-\epsilon$) 내에 실제 레이블이 포함되도록 보장하며, 단순한 무작위 추측이 아닌 통계적으로 유효한 폴백(fallback)을 제공합니다.

3. 불확실성 기반 능동 지각(Uncertainty-Driven Active Perception)

교정된 불확실성 추정치는 로봇 파견을 직접적으로 제어합니다:

• 높은 신뢰도: 1단계에서 싱글톤 예측(예: "폐쇄 존재, 지상 로봇 필요")이 확인되면, 시스템은 할당된 계획을 진행합니다.
• 낮은 신뢰도/기권: 시스템이 기권하는 경우(불확실성이 너무 높은 경우), 능동적 지각을 트리거합니다.
  • 로봇 할당의 경우, 기권은 커버리지를 보장하기 위해 두 로봇 모두를 해당 지역으로 보수적으로 파견하도록 트리거합니다.
  • 객체 탐지의 경우, 기권은 지상 로봇을 더 가까운 시점으로 보내도록 트리거합니다.
  • 시스템은 이종 차량 경로 문제(HVRP) 솔버를 사용하여 이동 비용을 최소하면서 플랫폼 제약 조건(예: 지상 로봇은 이동 비용 가중치가 높음)을 준수하며 로봇을 경로 최적화합니다.

주요 기여

1. 온보드 불확실성 인지 지각: Co-GLANCE는 VLM의 추론 능력을 경량 온보드 모델로 증류하여 폐쇄 세그멘테이션과 로봇 할당을 수행하는 최초의 시스템으로, 클라우드 기반 VLM 베이스라인 대비 폐쇄 탐지 정확도 25%, 로봇 할당 정확도 36% 향상을 달상했습니다.
2. 능동적 지각을 위한 교정된 불확실성: 선택적 기권과 컨포멀 예측을 통합함으로써, 세그멘테이션, 할당 및 탐지 출력에 대해 통계적으로 유효한 보장을 제공하며, 꼭 필요한 경우에만 능동적 지각을 트리거합니다.
3. 맥락적 자기 검토 메커니즘: VLM 생성 감독 데이터의 일관성을 개선하는 새로운 다회차 정제 프로세스를 통해, 표준 VLM 베이스라인보다 재현율(recall)과 할당 정확도를 크게 높였습니다.
4. 실제 환경 배치 및 데이터셋: 저자들은 실제 공중-지상 팀(DJI Matrice 600 및 Boston Dynamics Spot)에서 시스템을 검증하였으며, 시뮬레이션이나 동종 팀에 의존하는 기존 문헌의 격차를 해소하는 4,000개 이상의 동기화된 프레임을 포함한 멀티모달 공중-지상 데이터셋을 공개합니다.

실험 결과

자연 식생과 인프라가 존재하는 반구조적 실외 환경에서 평가되었습니다:

• 정확도: Co-GLANCE는 클라우드 기반 VLM 베이스라인(ChatGPT-5.4 + Grounding DINO + SAM)보다 폐쇄 탐지에서 25%, 로봇 할당 정확도에서 36% 더 우수한 성능을 보였습니다.
• 효율성: 증류된 모델은 프레임당 추론 지연 시간을 350배 이상 단축(13초 이상에서 37ms로)하였으며, API 토큰 사용을 완전히 제거했습니다.
• 불확실성 교정: 2단계 체계는 목표 범위 내에서 오차율(예: 할당의 경우 $\le$ 15%)을 성공적으로 유지하면서 기권율(할당 약 10%, 사람 탐지 약 50%)을 관리했습니다.
• 데이터셋: 공개된 데이터셋은 두 플랫폼의 동기화된 RGB, RTK GPS 및 IMU 데이터를 포함하여 향후 이종 지각 연구를 지원합니다.

의의

본 논문은 Co-GLANCE가 클라우드 연결성에 의존하지 않고도 이종 로봇 팀에서 복잡한 의미론적 추론을 실제적이고 실시간으로 배포할 수 있음을 입증한다고 주장합니다. VLM 능력을 증류하고 불확실성을 엄격하게 정량화함으로써, 이 시스템은 고수준의 의미론적 추론과 안전이 중요한 능동적 지각의 신뢰성 요구 사항 사이의 간극을 메웁니다. 저자들은 이 연구를 단일 시점의 신뢰성이 불충 충분한 비정형 환경에서의 자율 운용을 향한 단계로 제시합니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 평가는 제한된 수의 로봇(공중 1대, 지상 1대)이 있는 반구조적 환경에서 수행되었습니다.
• 능동적 지각 정책은 휴리스틱하며 다운스트림 계획 목표와 공동으로 최적화되지 않았습니다.
• 증류된 모델은 훈련 중에 사용된 VLM 생성 의사 레이블로부터 편향을 상속받을 수 있습니다.