💻 computer science

NEUROSYMLAND: Neuro-Symbolic Landing-Site Assessment for Robust and Edge-Deployable UAV Autonomy

본 논문은 경량 시각 인지와 명시적 기호 추론을 결합하여 자율 무인 항공기(UAV)를 위한 강건하고 해석 가능하며 엣지 배포 가능한 착륙 지점 평가를 달ermo하는 신경-기호 프레임워크인 NEUROSYMLAND을 제시하며, 광범위한 시뮬레이션 및 하드웨어 인 더 루프(hardware-in-the-loop) 평가를 통해 우수한 성능과 제한된 자원 사용량을 입증한다.

원저자: Weixian Qian, Tianyi Yang, Sebastian Schroder, Yao Deng, Jiaohong Yao, Xiao Cheng, Richard Han, Xi Zheng

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weixian Qian, Tianyi Yang, Sebastian Schroder, Yao Deng, Jiaohong Yao, Xiao Cheng, Richard Han, Xi Zheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

드론이 예측 불가능하고 어지러운 뒷마당에 착륙해야 한다고 상상해 보십시오. 드론은 단순히 지면을 "보고" 짐작해서는 안 됩니다. 그곳이 안전하고, 평평하며, 사람이나 반려동물이 없는 곳인지 확실히 알아야 합니다.

이 논문은 드론이 작고 저전력인 컴퓨터(드론 내부에 탑재된 것과 같은)에서도 안전하고 투명하게 착륙 결정을 내릴 수 있도록 설계된 새로운 시스템인 NEUROSYMLAND를 소개합니다.

이 시스템이 어떻게 작동하는지, 간단한 개념과 비유를 통해 설명하겠습니다.

1. 문제점: "블랙박스"의 딜레마

현재 대부분의 드론은 "딥 러닝"(수만 장의 사진을 보고 학습하는 AI)을 사용합니다. 이것은 마치 수학 원리는 이해하지 못한 채 시험 정답만 암기한 학생과 같습니다.

문제점: 만약 학생이 약간 다른 유형의 문제(이상한 지형이나 조명)를 접하게 되면, 잘못된 답을 낼 수 있습니다. 더 나쁜 것은, 만약 틀렸을 때 왜 틀렸는지 물어볼 수 없다는 점입니다. 그들은 그저 답을 내놓을 뿐입니다.
위험성: 실제 상황에서 드론이 물웅덩이에 착륙하거나 사람을 치는 사고가 발생했을 случае, 우리는 왜 그런 실수를 했는지 정확히 알아내어 수정할 수 있어야 합니다.

2. 해결책: "설계자와 변호사"

NEUROSYMLAND는 이 작업을 건설 팀처럼 두 가지 뚜렷한 역할로 나눕니다.

역할 A: 설계자 (The "Neuro" 부분)
이것은 드론의 눈입니다. 카메라 영상을 보고 대략적인 지도를 그립니다. "풀", "바위", "사람", "평평한 보도"와 같은 것들을 식별합니다.
- 핵심 세부 사항: 단순히 "착륙 점수: 8/10"이라고 말하는 대신, **확률적 의미론적 장면 그래프(PSSG)**를 구축합니다. 이것은 구조화된 체크리스트 또는 디지털 파일 캐비닛과 같습니다. 단순히 녹색 덩어리를 보는 것이 아니라, 다음과 같이 기록합니다: "여기에 2미터 너비의 풀밭이 있고, 나무 옆에 있다." 또한 각 항목에 대해 얼마나 확신하는지도 기록합니다.
역할 B: 변호사 (The "Symbolic" 부분)
이것은 의사 결정자입니다. "추측"하지 않습니다. 엄격하게 작성된 규칙집(마치 법률 계약서와 같은)을 따릅니다.
- 규칙집: "만약 근처에 사람이 있다면, 착륙하지 마시오." "만약 지면이 평평하지 않다면, 착륙하지 마시오." "만약 구역이 너무 좁다면, 착륙하지 마시오."
- 마법 같은 점: 이 규칙들은 숨겨진 신경망 내부가 아니라 명시적인 논리로 작성되어 있습니다. 만약 드론이 특정 장소에 착륙했다면, "변호사"는 그 결정을 내리는 데 사용한 규칙집의 정확한 페이지를 보여줄 수 있습니다.

3. 이들이 협력하는 방식

설계자는 세상을 관찰하고 체크리스트(PSSG)를 작성합니다.
변호사는 체크리스트를 읽습니다. 그리고 사실 관계를 규칙집과 대조합니다.
결정: 변호사는 다음과 같이 말합니다. "좋아, 이 지점에는 풀밭이 있지만(사실), 개가 옆에 있다(사실). 규칙에 따르면 '개 근처에는 착륙하지 마시오'이다. 따라서 이 지점은 안전하지 않다."

4. "인간 참여형(Human-in-the-Loop)" 개선

논문에서는 규칙을 작성하는 영리한 방법을 언급합니다. 그들은 거대 언어 모델(LLM)을 사용하여 초기 규칙 초안을 작성하는 데 도움을 받았지만, 이는 드론이 실제로 비행하기 전에만 해당됩니다.

전문가와 AI 비서가 함께 앉아 규칙집을 작성하는 모습을 상상해 보십시오. AI가 "강아지에 대한 규칙을 추가하는 건 어떨까요?"라고 제안하면, 인간 전문가는 이를 확인하고 "좋습니다, 하지만 더 엄격하게 적용하세요"라고 말하며 최종 규칙을 작성합니다.
드론이 비행을 시작하면, AI 비서는 사라집니다. 드론은 고정된, 인간이 승인한 규칙집에 따라 작동합니다. 이는 드론이 빠르고 예측 가능하며, 비행 중에 AI가 새로운 규칙을 "환각(hallucinating)"하여 혼란을 겪지 않도록 보장합니다.

5. 왜 이것이 더 나은가 (결과)

연구진은 72가지의 서로 다른 시뮬레이션 착륙 시나리오(비디오 게임 테스트 드라이브와 같은)와 실제 하드웨어(Jetson Orin Nano라는 소형 컴퓨터)에서 이 시스템을 테스트했습니다.

성공률: NEUROSYMLAND는 72번 중 61번의 경우에 안전한 착륙 지점을 성공적으로 식별했습니다. 이는 37회에서 57회 정도만 성공한 다른 상위 시스템들보다 뛰어난 성과였습니다.
투명성: 드론이 실패할 경우, "변호사"의 노트를 보고 어떤 규칙이 위반되었는지 정확히 알 수 있습니다.
속도 및 효율성: 두 단계(설계자 + 변호사)를 거침에도 불구하고, 드론이 실행하기에 충분히 빠릅니다. "변호사" 부분은 매우 빨라서 전체 처리 시간의 2% 미만을 차지합니다. 무거운 작업은 필수적인 과정인 "설계자"(카메라)가 담당합니다.
적응성: 만약 드론이 다르게 행동하도록 하고 싶다면(예: "구조 임무" vs "배달 임무"), 규칙집의 **가중치(weights)**만 변경하면 됩니다. 전체 AI 브레인을 다시 학습시킬 필요가 없습니다.

요약

NEUROSYMLAND는 드론에게 두 눈(세상을 보기 위한)과 엄격한 서면 규칙집(결정을 내리기 위한)을 주는 것과 같습니다.

AI가 설명 없이 추측하는 "블랙박스" 문제를 방지합니다.
이전 방식들보다 복잡하고 실제적인 지형을 더 잘 다룰 수 있을 만큼 견고합니다.
별도의 슈퍼컴퓨터 없이도 소형 드론 컴퓨터에서 실행될 수 있을 만큼 가볍습니다.

이 논문은 이러한 "뉴로-심볼릭(Neuro-Symbolic)" 접근 방식이 드론의 결정이 논리적이고, 설명 가능하며, 신뢰할 수 있게 함으로써, 사람들이나 기반 시설 근처에서 자율 주행 드론을 안전하게 운용할 수 있게 만드는 중요한 진전임을 결론짓습니다.

기술 요약: NEUROSYMLAND

문제 정의

비정형 환경에서의 안전한 착륙 지점 평가(LSA)는 자율 무인 항공기(UAV) 배포의 핵심적인 병목 현상으로 남아 있습니다. 기존의 마커리스(marker-free) 접근 방식은 주로 기하학적 및 의미론적 특징으로부터 착륙 가능성을 직접 회귀하는 엔드 투 엔드(end-to-end) 학습 모델에 의존합니다. 이러한 방법들은 명백한 위험 요소를 식별하는 데는 효과적이지만, 다음과 같은 세 가지 주요 한계점을 가집니다:

투명성 부족: 안전 결정에 대한 해석 가능성이 제한적이어서, 체계적인 디버깅과 인증이 어렵습니다.
경직성: 운영 제약 조건(예: 미션 특정 정책 또는 안전 마진)을 업데이트하려면 재학습이나 휴리스틱 재설계가 필요합니다.
에지 제약: 최근의 LLM/VLM 기반 방법들은 더 높은 수준의 추론을 제공하지만, 일반적으로 에지 배치 로봇 시스템의 메모리 및 연산 예산을 초 exceed하는 블랙박스 추론이나 무거운 파운데이션 모델에 의존합니다.

방법론

본 논문은 확률적 세계 모델링(probabilistic world modeling)과 완전한 심볼릭 미션 레벨 추론을 명시적으로 분리하는 뉴로-심볼릭(neuro-symbolic) 프레임워크인 NEUROSYMLAND를 제안합니다. 이 시스템은 두 가지 별도의 단계로 작동합니다:

1. 온라인 인지 및 세계 모델링

입력 처리: 단안 이미지는 기하학적 후처리 기능이 포함된 경량화된 INT8 양자화 SegFormer-B0 세그멘테이션 모델에 의해 처리됩니다.
확률적 의미론적 장면 그래프 (PSSG): 시스템은 원시 착륙 마스크를 출력하는 대신 PSSG ( $G = (V, E)$ $G = (V, E)$ )를 구축합니다.
- 노드(Nodes): 속성(의미론적 신뢰도, 면적, 중심점, 형상 기술자, 평탄도 대리 지표)을 가진 분할된 영역을 나타냅니다.
- 에지(Edges): 결정론적으로 계산된 공간적 관계(예: ~에 인접함, ~에 가까움, ~을 포함함)를 인코딩합니다.
- 불확실성: 그래프는 노드 속성에 의미론적 사후 확률(posterior)을 저장하고 에지에 관계 신뢰도를 인코딩하는, 명시적이고 검사 가능한 세계 모델 역할을 합니다.

2. 심볼릭 추론 및 의사 결정

규칙 엔진: 결정 레이어는 SCALLOP이라는 확률적 논리 프로그래밍 엔진을 사용합니다. 이는 PSSG 상에서 사전 컴파일된 고정된 심볼릭 규칙 세트를 실행합니다.
오프라인 규칙 구축: 전문가의 제약 조건과 실패 사례 피드백을 후보 SCALLOP 규칙으로 변환하기 위해 LLM(OpenAI o3)을 어시스턴트로 사용하여 규칙을 오프라인에서 합성합니다. 이 규칙들은 인간 참여형(HITL) 검증을 통해 반복적으로 정제되지만, 런타임 시에는 LLM 추론이 발생하지 않습니다.
추론 과정:
- 엔진은 is flat surface(x) 및 near to(x, person)와 같은 술어(predicate)를 기반으로 후보 영역에 대해 hazard(x) 및 safe(x)를 추론합니다.
- 다중 프레임 검증: 기하학적 안정성과 일시적 위험의 부재를 보장하기 위해 시간 창( $T$ ) 동안 후보지를 검증합니다.
- 미션 특정 랭킹: 유틸리티 함수가 미션 가중치(예: 목표물과의 근접성 대비 안전 마진)에 따라 허용 가능한 영역의 순위를 매겨 최종 착륙 제안을 생성합니다.

주요 기여

모듈형 뉴로-심볼릭 아키텍처: 본 프레임워크는 학습된 인지와 심볼릭 추론을 분리하여, 불확실성 하에서도 구조화된 결정 제어를 가능하게 하는 동시에 투명성을 유지합니다.
결정론적 런타임 추론: 컴파일된 SCALLOP 규칙을 PSSG 상에서 실행함으로써, 결정 레이어에서 신경망 추론 없이 추적 가능하고 디버깅 가능하며 재구성 가능한 결정을 생성합니다.
LLM 지원 오프라인 엔지니어링: LLM이 오프라인에서 규칙 초안 작성을 돕는 워크플로우를 도입했습니다. 최종 런타임 시스템은 전문가가 검증한 고정된 규칙 세트이므로, 인증에 적합한 결정론적 동작을 보장합니다.
에지 실행 가능성 평가: 시스템은 Jetson Orin Nano에서 평가되었으며, 명시적 추론이 인지 비용에 비해 무시할 수 있는 지연 시간을 추가함을 입증했습니다.

실험 결과

저자들은 72개의 시뮬레이션 착륙 시나리오(Software-in-the-Loop, SIL)와 100개의 하드웨어-인-더-루프(Hardware-in-the-loop, HIL) 시험을 통해 NEUROSYMLAND을 평가했습니다.

효과성 (SIL)

성공률: NEUROSYMLAND은 61/72의 성공적인 평가를 달성하여 경쟁 베이스라인인 PEACE (57/72), SafeUAV (47/72), LLMExplain (37/72)을 능가했습니다.
강건성: 시스템은 픽셀 단위 마스크가 아닌 영역 단위 증거를 바탕으로 추론함으로써 파편화된 의미론 및 가짜 라벨에 대해 우수한 강건성을 보여주었습니다.
절제 연구(Ablation): 확률적 규칙을 결정론적 1차 논리(NEUROSYMLAND-DetFOL)로 교체했을 때 58/71의 성공을 기록했으며, 이는 PSSG의 확률적 그라운딩이 결정 품질을 더욱 향상시킨다는 것을 나타냅니다.

효율성 (HIL)

지연 시간: 시스템은 Jetson Orin Nano에서 엔드 투 엔드 지연 시간 1,043.3 ms (~0.96 FPS)를 달성했습니다.
연산 세부 내역:
- 인지 및 PSSG 구축이 전체 지연 시간의 **~94%**를 차지했습니다.
- 심볼릭 추론은 전체의 ~2%(20.0 ms)만을 기여하여, 추론 오버헤드가 무시할 수 있는 수준임을 확인했습니다.
자원 사용량: 시스템은 CPU 76.9%, GPU 52%, 메모리 5.6 GB를 사용하며 임베디드 제약 조건 내에서 안정적으로 작동하였고, 전력 소비량은 12.3 W였습니다.

해석 가능성

정성적 분석 결과, NEUROSYMLAND은 특정 규칙(예: near person, near obstacle)에 결정을 귀속시키는 명시적인 프로브넌스 트레이스(provenance traces)를 제공함을 보여주었습니다. 밀집 마스크나 단일 점을 출력하는 베이스라인과 달리, NEUROSYMLAND은 랭킹 가중치를 조정하는 것만으로도 미션 적응형 재구성(예: "Safe", "Emergency", "Rescue" 모드 간 전환)을 가능하게 합니다.

의의 및 주장

본 논문은 NEUROSYMLAND이 에지 제약이 있는 UAV 하드웨어에 강력하고 해석 가능한 착륙 지점 평가 스택을 배포하는 것이 가능하다는 것을 입증한다고 주장합니다. 주요 의의는 다음과 같습니다:

인지와 제어의 분리: 신경망을 재학습하는 대신 심볼릭 규칙을 수정함으로써 미션 재구성과 체계적인 디버깅을 가능하게 합니다.
제한된 에지 자원 사용: 명시적인 심볼릭 추론이 임베디드 시스템에 과도한 계산 부담을 주지 않음을 증명했습니다. 인지 과정이 비용의 대부분을 차지합니다.
투명성: 시스템은 인간이 읽을 수 있는 추론 경로와 추적 가능한 안전 점수를 제공하여, 순수 학습 기반 접근 방식의 "블랙박스" 문제를 해결합니다.

저자들은 시스템의 성능이 근본적으로 기초 인지의 품질(세그멘테이션 오류가 PSSG로 전파됨)에 의해 제한된다는 점과 현재 시나리오에 유의미한 동적 요소가 부족하다는 점을 인정합니다. 향후 연구는 세계 모델의 신뢰성 향상, 동적 환경으로의 확장, 그리고 폐쇄 루프 시험을 위한 완전한 비행 제어 스택과의 통합에 집중될 예정입니다.