OVerSeeC: Open-Vocabulary Costmap Generation from Satellite Images and Natural Language

이 논문은 위성 영상과 자연어 명령을 기반으로 사전 정의된 지식 없이도 자율 항해를 위한 전역 비용 지도를 생성하는 제로샷 모듈러 프레임워크인 OVerSeeC 를 제안하며, 이를 통해 다양한 미션 요구사항과 새로운 지형 객체에 유연하게 대응하는 확장 가능한 글로벌 경로 계획이 가능함을 보여줍니다.

핵심

1. 문제 상황: "고정된 메뉴판"의 한계

기존의 자율 주행 시스템은 마치 오직 '한정된 메뉴'만 있는 식당과 같습니다.

• 기존 방식: 로봇은 미리 정해진 것만 인식합니다. "도로", "잔디", "물" 같은 것만 알고 있습니다.
• 한계: 만약 사용자가 "비행기 활주로 위는 피하고, 옆에 있는 낡은 공터는 지나가도 돼"라고 말하면, 로봇은 당황합니다. 사전에 '낡은 공터'라는 메뉴가 없기 때문입니다. 또한, "잔디는 좋지만, 건물이 붙어 있는 잔디는 피하라"처럼 복잡한 조건을 넣으면 로봇은 혼란에 빠집니다.

2. OVERSEEC 의 해결책: "유능한 비서 + 고해상도 카메라 + 코딩 전문가"

OVERSEEC 는 이 문제를 해결하기 위해 세 명의 전문가 팀을 꾸렸습니다. 이 팀은 **자연어 (사람의 말)**로 지시를 받으면, 즉시 로봇이 따라갈 수 있는 **비용 지도 (Costmap)**를 만들어냅니다.

① 첫 번째 전문가: "명령 해석자 (LLM)"

• 역할: 사람의 말을 듣고 무엇을 찾아야 할지 파악합니다.
• 비유: 마치 유능한 비서처럼 "비행기 활주로"와 "낡은 공터"라는 단어를 듣고, "아, 이 두 가지를 찾아야겠구나. 그리고 공터는 피해야 하고, 활주로는 괜찮구나"라고 정리합니다.
• 특징: 사전에 정해진 단어 목록이 없어도, 사람이 말하면 그 순간에 그 의미를 이해합니다.

② 두 번째 전문가: "정밀 탐정 (Open-Vocabulary Mask Generator)"

• 역할: 위성 사진 속에서 비서가 지시한 대상을 찾아내어 표시합니다.
• 비유: 고해상도 위성 사진을 들고 다니는 탐정입니다. 이 탐정은 "비행기 활주로"나 "낡은 공터"라는 이름만 들어도 그 모양을 찾아냅니다.
• 기술적 특징: 위성 사진은 너무 커서 한 번에 볼 수 없기 때문에, 사진을 잘게 잘라 (타일링) 하나씩 분석한 뒤 다시 붙여 만듭니다. 또한, 처음 찾은 대략적인 모양을 **SAM(Segment Anything Model)**이라는 도구를 이용해 더 선명하고 정확하게 다듬습니다.

③ 세 번째 전문가: "지도 제작자 (Costmap Function Compositor)"

• 역할: 찾은 대상들과 사용자의 조건을 결합하여 로봇이 이동할 '비용 지도'를 코드로 작성합니다.
• 비유: 코딩 전문가입니다. 비서가 정리한 조건 ("비행기 활주로 = 위험, 공터 = 안전") 을 보고, 로봇이 읽을 수 있는 **수학 공식 (코드)**을 그 순간에 바로 작성합니다.
  • 예: "비행기 활주로 위는 점수 100 점 (위험), 공터는 점수 10 점 (안전), 그 외는 50 점"처럼.
• 결과: 로봇은 이 지도를 보고 "가장 점수가 낮은 (안전한) 길"을 찾아갑니다.

---

3. 왜 이것이 혁신적인가요? (핵심 장점)

1. 새로운 것을 바로 배웁니다 (Zero-shot):

   • 기존 방식은 새로운 물체를 보려면 다시 공부를 시켜야 (학습 데이터가 필요) 했지만, OVERSEEC 는 말만 해주면 그 순간에 그 물체를 인식하고 처리합니다. "전기 타워", "강", "운동장" 등 처음 보는 것이라도 상관없습니다.

2. 복잡한 조건도 이해합니다:

   • "잔디는 좋아. 근데 건물 옆에 있는 잔디는 싫어." 같은 미묘한 조건도 코드로 변환해 정확하게 반영합니다.

3. 사람의 의도와 일치합니다:

   • 실험 결과, OVERSEEC 가 만든 경로가 사람이 직접 그리는 경로와 가장 비슷했습니다. 특히 낯선 지역이나 새로운 물체가 있는 상황에서도 잘 작동했습니다.

4. 직관적인 인터페이스:

   • 연구진은 이 시스템을 **GUI(그래픽 인터페이스)**로 만들었습니다. 사용자가 위성 지도를 올리고 "여기서 저기로 가는데, 강은 피하고"라고 입력하면, 몇 분 만에 로봇이 따라갈 최적의 지도가 생성됩니다. 재학습이나 복잡한 설정이 필요 없습니다.

4. 요약: 한 줄로 정리하면?

OVERSEEC 는 "위성 사진"과 "사람의 말"을 받아, 로봇이 어디를 가야 안전한지 알려주는 유연하고 똑똑한 지도 제작기입니다.

기존의 로봇이 "내가 아는 것만 보고 간다"면, OVERSEEC 는 **"네가 말해준 대로 보고, 상황에 맞춰서 길을 찾는다"**는 점에서 큰 차이를 보입니다. 이는 재난 구조, 군사 작전, 혹은 복잡한 자연 환경에서의 자율 주행에 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 자율 주행 지상 차량 (AGV) 이 비포장 도로 (off-road) 환경에서 장거리 경로 계획을 수행하려면, 고해상도 위성 이미지를 planner 가 사용할 수 있는 비용 지도 (costmap) 로 변환해야 합니다.
• 기존 한계:
  • 고정된 온톨로지 (Fixed Ontology): 기존 접근법은 미리 정의된 클래스 (도로, 건물 등) 와 고정된 비용 매핑에 의존합니다. 이는 훈련 데이터에 없는 새로운 지형 (예: 새로운 유형의 장애물) 이나 미션 특화적 요구사항을 처리할 수 없습니다.
  • 복잡한 사용자 선호도 반영 불가: "잔디 위를 지나되 건물이 있는 곳은 피하라"와 같은 복합적이고 공간적인 논리를 가진 자연어 지시를 기존 모델은 해석하지 못합니다.
  • 고해상도 이미지 처리의 어려움: 위성 이미지는 고해상도이므로, 고정된 입력 크기 제한을 가진 비전 기반 모델 (Foundation Models) 로 직접 처리하기 어렵습니다.
• 목표: 훈련 데이터나 수동 규칙 설계 없이, 자연어 프롬프트와 위성 이미지를 입력받아 미션에 맞는 오픈 보카불러리 (Open-Vocabulary) 비용 지도를 생성하는 시스템 구축.

2. 방법론 (Methodology: OVERSEEC)

OVERSEEC 는 단일 모델이 아닌, Interpret (해석) - Locate (위치 파악) - Synthesize (합성) 의 3 단계 모듈러 아키텍처를 사용합니다.

A. 엔티티 식별 (Entity Identification)

• LLM 활용: 사용자의 자연어 프롬프트를 분석하여 관련 지형 클래스 (예: '강', '트레일', '전봇대') 를 추출합니다.
• 기하학적 분류: 추출된 클래스를 '선형 (linear, 예: 도로)' 또는 '면적 (areal, 예: 잔디)' 구조로 분류합니다. 이는 추후 마스크 생성 시 각기 다른 임계값을 적용하여 선형 구조의 끊어짐을 방지하고 면적 구조의 노이즈를 줄이기 위함입니다.

B. 오픈 보카불러리 마스크 생성 (Open-Vocabulary Mask Generation)

고해상도 위성 이미지에서 추출된 클래스를 정밀하게 분할하는 2 단계 파이프라인입니다.

1. 초기 분할 (Open-Vocabulary Semantic Segmentation):
   • CLIPSeg를 사용하여 텍스트 프롬프트에 기반한 초기 확률 지도와 거친 마스크 (Coarse Masks) 를 생성합니다.
   • 타일링 (Tiling): 고해상도 이미지를 작은 타일로 나누어 처리한 후 다시 합쳐 (Stitching) 원본 해상도를 유지합니다.
2. 마스크 정제 (Mask Refinement):
   • SAMRefiner (Segment Anything Model 기반): 초기 거친 마스크를 공간적 프롬프트 (Spatial Prompt) 로 사용하여 경계를 정교화하고 연결성을 개선합니다.
   • 최종적으로 클래스별 이진 마스크와 임계값이 적용된 확률 지도를 생성합니다.

C. 비용 지도 함수 합성 (Costmap Function Composition)

• LLM 기반 코드 생성: 추출된 마스크와 사용자의 프롬프트를 기반으로 실행 가능한 Python 함수 (f_LLM) 를 LLM 이 실시간으로 생성합니다.
• 논리 구현:
  • 클래스 간 계층 구조 (예: '야구장'은 '잔디'의 하위 집합) 와 공간적 조건 (예: "도로 옆") 을 코드 로직으로 변환합니다.
  • 마스크 연산자 (AND, OR, NOT, REMOVE) 를 사용하여 조건부 비용 할당을 수행합니다.
  • 최종적으로 [0, 1] 범위의 스칼라 비용 지도를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 고해상도 오픈 보카불러리 분할 파이프라인: 고정된 입력 크기 제한을 극복하기 위한 타일링 및 정제 기법을 도입하여, 훈련 데이터에 없는 새로운 지형 클래스를 대규모 이미지에서 정확히 위치 파악합니다.
2. 자연어 기반 실행 가능 비용 함수 생성: LLM 이 자연어 지시를 해석하여 직접 실행 가능한 비용 함수 코드를 생성함으로써, 고정된 규칙 없이도 복잡한 선호도와 조건부 논리를 구현합니다.
3. 제로샷 (Zero-Shot) 반복 가능한 GUI: 운영자가 주석이나 재학습 없이 자연어로 엔티티나 선호도를 수정하고 수 분 내에 업데이트된 비용 지도를 얻을 수 있는 인터페이스를 제공합니다.
4. RRPI (Ranked Regret Path Integral) 지표: 생성된 경로가 사용자의 선호도와 얼마나 잘 일치하는지를 정량화하는 새로운 평가 지표를 제안했습니다.

4. 실험 결과 (Results)

• 데이터셋: D2 (In-Distribution, Out-of-Distribution, Open-Vocabulary 분할) 및 D3 (복합적 선호도 및 인간 의도 정렬 테스트) 를 사용했습니다.
• 성능 비교:
  • RRPI 및 경로 길이: OVERSEEC 는 고정 온톨로지 기반의 Baseline (SegFormer, DINO-UNet) 보다 RRPI 점수가 낮고(선호도 정렬이 우수함), 경로 길이가 효율적입니다. 특히 OOD(Out-of-Distribution) 및 OOD-OV(새로운 클래스 포함) 환경에서 Baseline 은 실패하거나 성능이 급격히 저하되는 반면, OVERSEEC 는 견고한 성능을 유지했습니다.
  • 인간 의도 정렬: 인간이 그린 경로와의 Hausdorff 거리 측정에서 OVERSEEC 가 가장 낮은 오차를 보이며, 인간의 의도 (예: "전봇대 피하기", "강이 마르면 통과 가능") 를 정확히 반영했습니다.
  • 분할 정확도 (IoU): 분포 변화 (Distribution Shift) 가 있는 환경에서도 CLIPSeg 기반의 분할이 고정 모델보다 높은 IoU 를 기록했습니다.
• 시각적 결과: "도로 중앙을 따라가라"와 "도로 가장자리를 따라가라"와 같은 미세한 기하학적 지시에도 비용 지도가 적절히 반응하여 경로가 변경되는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

• 적응형 자율 주행: OVERSEEC 는 훈련 데이터에 의존하지 않고 자연어 지시만으로 새로운 환경과 미션 요구사항에 즉시 적응할 수 있는 유연한 글로벌 계획 시스템을 제시합니다.
• 신경 - 심볼릭 (Neuro-Symbolic) 접근의 실증: 대규모 언어 모델 (LLM) 과 비전 기반 모델 (VLM) 을 모듈러하게 결합하여, 언어 이해와 시각적 인식, 그리고 논리적 추론을 성공적으로 통합함을 증명했습니다.
• 실용성: 운영자가 실시간으로 지시를 수정하고 즉각적인 결과를 얻을 수 있어, 군사적 또는 탐사 임무와 같이 동적인 환경에서의 실제 배포 가능성을 높였습니다.

이 연구는 위성 이미지 기반의 자율 항법 분야에서 오픈 보카불러리 (Open-Vocabulary) 와 사용자 선호도 정렬 (Preference Alignment) 을 동시에 해결할 수 있는 강력한 프레임워크를 제시했다는 점에서 의의가 큽니다.