1. 문제 정의 (Problem Statement)

재난 대응 시스템 (DRS) 에서 무인 항공기 (UAV) 는 홍수, 산불, 지진과 같은 복잡한 환경에서 신속한 상황 인식과 구조 활동을 수행해야 합니다. 기존의 UAV 는 주로 경량화된 CNN(합성곱 신경망) 을 사용하여 객체 감지를 수행하지만, 다음과 같은 한계가 있습니다:

• 의미론적 유연성 부족: CNN 은 고정된 클래스만 인식할 수 있으며, "침수된 차량 근처에 구조가 필요한 사람이 있는가?"와 같은 자연어 기반의 복잡한 질의나 공간적 추론 (Grounding) 을 수행하지 못합니다.
• VLM 의 배포 난제: 시각 - 언어 모델 (VLM) 은 이러한 유연한 추론이 가능하지만, 계산량과 에너지 소모가 너무 커서 UAV 의 제한된 온보드 (on-board) 하드웨어에서 직접 실행하기 어렵습니다.
• 클라우드 오프로딩의 실패: 재난 지역은 통신 대역폭이 낮고 네트워크가 불안정하여 고해상도 원본 이미지를 클라우드로 전송하는 것은 지연 시간과 대역폭 문제로 인해 비현실적입니다.

따라서, UAV 의 제한된 자원과 불안정한 네트워크 환경 하에서, 운영자의 의도 (Intent) 에 따라 적절한 수준의 의미론적 추론을 수행하면서도 에너지와 대역폭을 효율적으로 사용하는 방법이 필요합니다.

2. 방법론 (Methodology)

이 논문은 AVERY라는 새로운 프레임워크를 제안합니다. 이는 운영자의 의도를 1 순위 시스템 목표로 삼고, 기능적 관점에서 모델을 분할하는 **의도 기반 적응형 분할 컴퓨팅 (Intent-Driven Adaptive Split Computing)**을 구현합니다.

가. 이중 스트림 아키텍처 (Dual-Stream Architecture)

기존의 단순한 모델 깊이 (depth-wise) 분할을 넘어, 인간의 시각 인지 (배경 - 전경 경로) 에서 영감을 받아 두 가지 기능적 스트림으로 분할합니다:

1. Context Stream (상황 인식 스트림):
   • 목적: 빠른 상황 인식 및 트라이아지 (Triage).
   • 구현: CLIP 인코더만 사용하여 저해상도, 경량의 특징을 생성합니다.
   • 특징: 고빈도로 전송되어 실시간 텍스트 기반 응답을 제공하며, 온보드에서 매우 가볍게 처리됩니다.
2. Insight Stream (심층 분석 스트림):
   • 목적: 정밀한 공간적 위치 파악 (Grounding) 및 세그멘테이션.
   • 구현: SAM(Segment Anything Model) 비전 백본과 CLIP 특징을 결합합니다.
   • 특징: 고해상도, 고신뢰성이 필요하지만 부피가 크므로, 필요할 때만 활성화됩니다.

나. 계층적 적응 제어 (Hierarchical Adaptive Control)

UAV 에 탑재된 경량 '자기 인식 (Self-Aware)' 컨트롤러가 실시간으로 다음 두 단계를 수행합니다:

1. 스트림 선택 (Stream Selection): 운영자의 자연어 질의 (의도) 를 분석하여 Context 스트림이 필요한지, 아니면 정밀한 분석이 필요한 Insight 스트림이 필요한지를 결정합니다.
2. 리소스 적응 (Resource Adaptation): Insight 스트림이 선택된 경우, 현재 네트워크 대역폭과 온보드 전력 예산에 따라 사전 학습된 학습된 병목 (Learned Bottleneck) 압축 모델을 선택합니다.
   • 시스템 구성 LUT(Lookup Table): 사전 프로파일링된 다양한 압축 비율 (High Accuracy, Balanced, High Throughput) 을 저장하며, 실시간으로 실행 가능한 최적의 구성을 선택합니다.

다. 분할 전략 (Split Strategy)

• Split Point: SAM 모델의 첫 번째 ViT 블록 직후 (Split@1) 에서 분할합니다. 이는 온보드 에너지 소모를 최소화하면서도 서버 측에서 풍부한 공간 정보를 재구성할 수 있는 최적의 지점입니다.
• 압축: 전송되는 중간 활성화 (Intermediate Activations) 를 학습된 인코더 - 디코더 쌍을 통해 압축하여 대역폭을 절약합니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 의도 기반 적응형 분할 컴퓨팅 프레임워크: 재난 대응 UAV 를 위한 VLM 배포를 위해, 운영자의 의도를 시스템 제약 조건으로 통합한 최초의 프레임워크를 제안했습니다.
2. 실용적인 이중 스트림 운영 모델: 빠른 상황 인식 (Context) 과 정밀한 공간 분석 (Insight) 을 분리하여, 실제 재난 작업의 이질적인 의도 구조에 부합하는 아키텍처를 설계했습니다.
3. 경량 자기 인식 컨트롤러: 실시간 네트워크 상태와 운영자 의도를 모니터링하여, 정확도, 처리량, 에너지 소모 간의 균형을 자동으로 조절하는 제어 로직을 개발했습니다.
4. Flood-ReasonSeg 데이터셋 및 VLM 파인튜닝: 홍수 대응을 위한 새로운 데이터셋과 이를 기반으로 파인튜닝된 LISA-7B 모델을 공개하여, 실제적인 평가를 가능하게 했습니다.

4. 실험 결과 (Results)

NVIDIA Jetson AGX Xavier(32GB) 와 클라우드 서버 환경에서 LISA-7B 모델을 사용하여 평가했습니다.

• 정확도 향상: 원본 이미지 전송 방식 대비 11.2% 더 높은 정확도를 달성했습니다. (특히 Split@1 전략이 원본 픽셀 전송보다 효율적임)
• 에너지 효율성: Insight 스트림의 전체 온보드 실행 대비 93.98% 적은 에너지를 소모했습니다. 이는 UAV 의 비행 시간을 크게 연장합니다.
• 적응성 및 안정성: 동적인 네트워크 조건 (대역폭 변동) 하에서 정적 'High-Accuracy' 기준선과 비교했을 때 평균 정확도가 0.75% 이내로 유지되었으며, 네트워크가 불안정할 때 처리량 (Throughput) 이 급격히 떨어지는 것을 방지했습니다.
• 성능 트레이드오프: AVERY 는 작은 정확도 손실 (약 0.75%) 을 감수하고 더 높은 처리량과 에너지 효율을 얻거나, 반대로 네트워크가 좋을 때 최대 정확도를 유지하는 유연한 운영 포인트를 제공합니다.

5. 의의 및 결론 (Significance)

이 논문은 재난 대응과 같은 동적 환경에서 VLM 을 배포하는 것이 단순한 '클라우드 오프로딩' 문제가 아니라, 의도 (Semantic Intent) 와 리소스 (Resource) 를 함께 고려한 적응형 시스템 설계 문제임을 보여줍니다.

• 실질적 가치: AVERY 는 UAV 가 제한된 배터리와 불안정한 통신 환경에서도 운영자의 질의에 맞춰 "무엇을 볼 것인가 (Context vs Insight)"와 "어떻게 전송할 것인가 (압축 및 분할)"를 스스로 결정하게 함으로써, 실시간으로 질의 가능한 지능형 재난 대응 시스템을 가능하게 합니다.
• 시스템적 시사점: 단순한 모델 분할을 넘어, 인간의 시각 인지 구조를 모방한 기능적 분할과 의도 기반의 제어 로직이 임베디드 AI 시스템의 효율성을 극대화할 수 있음을 입증했습니다.

결론적으로 AVERY 는 자원 제약이 심한 물리적 에이전트 (UAV) 가 복잡한 환경에서 고도화된 시각 - 언어 추론을 수행할 수 있는 새로운 패러다임을 제시합니다.