기술 요약: GSD-as-Token 을 넘어선 원격 탐사 VLM 을 위한 연속적 스케일 조건부 학습

1. 문제 제기

원격 탐사 비전 - 언어 모델 (RS-VLM) 은 지상 샘플링 거리 (GSD) 의 극심한 변동성으로 인해 자연 이미지 대응 모델과 근본적인 불일치를 겪습니다. 자연 이미지는 일반적으로 안정적인 스케일 범위 내에 존재하는 반면, 원격 탐사 이미지는 0.06m/픽셀 (아래 10cm) 의 초고해상도 항공 이미지부터 10m/픽셀 이상 (또는 그보다 더 낮은 해상도) 의 데카미터 위성 제품까지 두 개 이상의 차수에 걸친 스케일 범위를 포괄합니다.

기존 RS-VLM 들은 다음 두 가지 주요 한계를 통해 이러한 물리적 현실을 효과적으로 해결하지 못합니다:

1. 스케일 무관한 파인튜닝: 이러한 모델은 모든 해상도에 걸쳐 정적 매개변수를 사용하여, 모델이 미세한 질감부터 흐릿한 영역까지 구별되는 시각적 체계를 단일 평균화된 표현으로 붕괴시킴으로써 미세 세부 사항 인식과 광역 지역 추론 모두를 저하시킵니다.
2. GSD-as-Token: 현재 접근법은 GSD 메타데이터를 이산적인 텍스트 토큰 (예: "0.4m 해상도") 으로 주입합니다. 이 방법은 스칼라를 텍스트로 토큰화하여 매개변수 수준의 적응을 유도하지 못하며, 센서 메타데이터가 누락되거나 신뢰할 수 없을 때 완전히 실패합니다.

어떤 접근법도 GSD 를 모델의 내부 계산 경로를 동적으로 지배해야 하는 연속적인 물리 변수로 취급하지 않습니다.

2. 방법론: ScaleEarth

저자들은 Qwen3-VL-8B 백본을 기반으로 한 매개변수 효율적 파인튜닝 프레임워크인 ScaleEarth를 제안합니다. 핵심 혁신은 GSD 를 수동적인 메타데이터가 아닌 모델의 계산을 구동하는 연속적 조건부 변수로 취급하는 것입니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

A. CS-HLoRA (연속적 스케일 조건부 하이퍼-LoRA)

CS-HLoRA 는 핵심 적응 메커니즘입니다. 하위 투영 행렬과 상위 투영 행렬 사이에 GSD 구동 게이트를 삽입하여 표준 저랭크 적응 (LoRA) 업데이트 경로를 수정합니다.

• 메커니즘: 업데이트는 $\Delta W(s) = \frac{\alpha_{lora}}{r} B \text{diag}(h(s)) A$로 정의되며, 여기서 $s = \log_{10}(\text{GSD})$입니다.
• 게이팅 함수: 게이트 $h_k(s) = \sigma(\alpha(\tau_k - s))$는 입력 스케일에 기반하여 LoRA 랭크 차원을 부드럽게 선택하는 시그모이드 함수입니다.
• 물리적 티어 초기화: 64 개의 랭크 차원은 최소 매핑 단위 이론에 기반하여 세 가지 물리적으로 동기화된 티어로 초기화됩니다:
  • 객체 랭크 (0–10): 미세한 세부 사항을 위해 고해상도 (GSD < 1m) 에서 활성화됩니다.
  • 구조 랭크 (11–31): 배치 및 구조적 관계를 위해 중저해상도 (1–10m) 에서 활성화됩니다.
  • 의미론적 랭크 (32–63): 지형 수준의 의미론을 위해 전체 스케일 범위에서 활성화됩니다.
• 연속적 라우팅: GSD 가 변함에 따라 활성 LoRA 차원이 부드럽게 이동하여, 스케일 무관 파인튜닝의 평균화 정책을 사전 훈련된 백본을 수정하지 않고도 스케일 의존적 적응 경로로 대체합니다.

B. SSE-U (이분산 스케일 추정)

배포 시 센서 메타데이터에 의존하지 않고 프레임워크가 작동하도록 하기 위해, ScaleEarth 는 경량 이분산 서브헤드인 SSE-U 를 포함합니다.

• 기능: 시각적 특징 (풀링된 ViT 특징) 에서 직접 GSD ($\hat{\mu}$) 와 그 불확실성 ($\hat{\sigma}^2$) 을 예측합니다.
• 훈련: 정확한 GSD 주석이 있는 샘플에 대해 가우스 음의 로그 가능도 (NLL) 를 통해 훈련됩니다.
• 추론: 메타데이터가 누락된 경우, 모델은 불확실성이 낮으면 예측된 GSD 를 사용하고, 그렇지 않으면 중립적 앵커 스케일로 백업합니다. 이는 불확실성을 인지한 스케일 조건부 디코딩을 가능하게 합니다.

C. GeoScale-VQA 데이터셋

일치하는 감독을 제공하기 위해 저자들은 150 만 개 샘플 규모의 스케일 계층형 RS-VQA 코퍼스인 GeoScale-VQA를 구축했습니다.

• 구성: 기존 데이터셋 (RSVQA-HR/LR, RSVQA-xBEN, GeoLLaVA-8K, PatternNet, MtSCCD) 과 새로 생성된 샘플을 결합합니다.
• 스케일 인지 생성: 질문 - 답변 쌍은 이미지의 GSD 티어 (고: <0.2m, 중: 0.2–1.0m, 저: >1.0m) 에 조건부로 생성됩니다. 고티어 프롬프트는 객체 세부 사항을 강조하고, 중티어는 공간적 배치를 중점적으로 다루며, 저티어는 지형 수준의 의미론을 대상으로 합니다.
• 품질 관리: 구문 검사 followed by Claude 감독 품질 선별이라는 2 단계 필터링 과정을 통해 사실적 일관성과 스케일 정렬을 보장합니다.

D. 훈련 파이프라인

ScaleEarth 는 2 단계 훈련 전략을 사용합니다:

1. 1 단계 (RS 도메인 SFT): 자연 이미지에서 RS 분포 간극을 해소하기 위해 RS-GPT4V 에 대한 전체 매개변수 감독 파인튜닝.
2. 2 단계 (스케일 조건부 적응): 백본을 고정 (4 비트 양자화) 합니다. CS-HLoRA 어댑터와 SSE-U 헤드를 GeoScale-VQA 에서 공동 훈련합니다. 목적 함수는 VLM 손실과 GSD 추정 손실을 결합합니다 ($\mathcal{L} = \mathcal{L}_{VLM} + \lambda_{gsd}\mathcal{L}_{nll}$).

3. 주요 기여

1. CS-HLoRA: 물리적으로 근거 있는 티어 초기화를 가진 GSD 구동 게이트를 통해 LoRA 저랭크 부분 공간을 조절하는 새로운 파인튜닝 방법입니다. 이는 단일 모델이 아키텍처 수정이나 별도의 해상도별 어댑터 없이 물리적 스케일에 맞춰 계산을 적응하도록 가능하게 합니다.
2. SSE-U: 시각적 특징만으로 GSD 와 불확실성을 예측하는 이분산 스케일 추정 헤드로, 메타데이터 의존성을 줄이고 불확실성 인지 디코딩을 지원합니다.
3. GeoScale-VQA: 감독과 매개변수 효율적 적응이 동일한 물리 스칼라 (GSD) 에 의해 구동되는 폐쇄형 방법 - 데이터 루프를 형성하는 150 만 개 샘플 규모의 스케일 인지 RS-VQA 코퍼스입니다.

4. 실험 결과

모델은 두 가지 포괄적인 벤치마크에서 평가되었습니다: XLRS-Bench(초고해상도 인식 및 추론) 와 OmniEarth-Bench(6 개 구에 걸친 지구 시스템 인지).

• XLRS-Bench: ScaleEarth 는 **57.4%**의 새로운 최첨단 평균 정확도를 달성하여, 가장 강력한 전문화 베이스라인 (GeoEyes, 54.2%) 보다 +3.2% 를, 그리고 가장 좋은 오픈소스 범용 모델 (Qwen3-VL-235B-A22B, 51.1%) 보다 +6.3% 를 상회했습니다. 이는 8B 백본만을 사용했음에도 불구하고 달성된 것입니다. 지역 토지 이용 분류 (78.6%) 와 객체 운동 상태 (66.1%) 와 같은 스케일 민감 작업에서 상당한 향상이 관찰되었습니다.
• OmniEarth-Bench: ScaleEarth 는 객관식 작업에서 **40.71%**의 평균 정확도를 달성하여, 가장 강력한 제로샷 오픈소스 베이스라인 (InternVL3-72B, 33.26%) 보다 7.45 퍼센트 포인트, 그리고 가장 강력한 클로즈드소스 베이스라인 (Claude-3.7-Sonnet, 29.07%) 보다 11.64 퍼센트 포인트를 상회했습니다.
• 애블레이션 연구: CS-HLoRA 를 제거하면 정확도가 4.2% 감소했고, 스케일 인지 감독을 제거하면 3.8% 감소했습니다. 물리적 티어 초기화를 무작위화하면 성능이 추가로 3.5% 감소하여 지도학적 사전 지식의 유용성을 확인시켰습니다.
• GSD 스푸핑 테스트: GSD 입력이 체계적으로 교란되었을 때, ScaleEarth 는 실제 GSD 에서 정점을 이루는 매끄러운 종형 정확도 곡선을 보였습니다. 반면, 이산적 버킷 기반 라우팅 (MoE-LoRA) 은 버킷 경계에서 급격한 불연속성을 보였고, 표준 LoRA 나 텍스트 토큰 주입은 평탄한 반응을 보여, 성취된 향상이 단순히 추가된 용량이 아닌 연속적 물리 조건부 학습에서 비롯됨을 증명했습니다.

5. 의의 및 주장

이 논문은 ScaleEarth 가 아키텍처, 감독, 데이터 사이에 구축한 폐쇄 루프가 RS-VLM 을 위한 더 넓은 설계 원칙을 시사한다고 주장합니다: 천공 이미지와 자연 이미지를 근본적으로 구별하는 물리 변수는 보조 텍스트 프롬프트로 단순히 폐기되거나 삽입되는 것이 아니라, 모델에 직접적이고 체계적으로 영향을 미쳐야 합니다.

저자들은 ScaleEarth 가 다음을 입증한다고 주장합니다:

• GSD 를 연속적 조건부 변수로 취급하면 단일 모델이 객체, 구조, 의미론적 티어 간에 계산을 동적으로 라우팅할 수 있습니다.
• 이 접근법은 스케일 무관 모델과 스케일을 이산적 텍스트 토큰 또는 버킷화된 라우팅 신호로 취급하는 모델 모두보다 우수합니다.
• SSE-U 가 제공하는 불확실성 인지 백업 덕분에 센서 메타데이터가 누락된 배포 시나리오에서도 프레임워크는 견고하게 유지됩니다.

이 작업은 초고해상도 시나리오에서의 미세한 인식이 필요하거나 복잡한 지구 시스템 작업에서의 교차 스케일 추론이 필요한 작업을 특히 대상으로 하는, 더 신뢰할 수 있고 해상도 인지형 원격 탐사 AI 로 나아가는 한 걸음으로 자신을 위치시킵니다.