💻 computer science

Multi-Year Geospatial Reasoning using Interannually-Consistent Historical Predictions as a Free Input Modality

이 논문은 연간 일관된 과거 예측값과 부가적인 식생 마스크를 딥러닝 모델의 입력 양식으로 통합하는 것이 단일 연도 픽셀 분류기를 시계열 추론이 가능한 시스템으로 변환함으로써, 특히 다년생 및 과수 작물에 대해 다년간의 지리공간적 추론 및 작물 분류 정확도를 유의미하게 향상시킨다는 것을 입증한다.

원저자: Syed Roshaan Ali Shah, Kasper Bonte, David Bekaert, Kristof Van Tricht, Dieter Wens

게시일 2026-08-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Syed Roshaan Ali Shah, Kasper Bonte, David Bekaert, Kristof Van Tricht, Dieter Wens

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

시간 여행하는 농부의 연감

당신이 우주에서 찍은 사진만을 보고 들판에 무엇이 자라고 있는지 컴퓨터에게 가르치려 한다고 상상해 보세요. 이것이 바로 **지구 관측(Earth Observation)**의 세계입니다. 지구 관측은 위성이 거대한 떠 있는 카메라 역할을 하여 몇 일 간격으로 지구의 사진을 찍는 과학의 한 분야입니다. 이 사진들은 그 후 머신러닝(Machine Learning), 즉 플래시카드를 공부하는 학생처럼 예시를 통해 학습하는 유형의 컴퓨터 프로그램으로 입력됩니다. 목표는 어떤 들판에 밀이 자라고 있는지, 올리브가 있는지, 아니면 그냥 빈 흙뿐인지를 정확히 알려주는 "작물 지도"를 만드는 것입니다.

하지만 여기 까다로운 문제가 있습니다. 작물은 시간이 흐르며 변한다는 점입니다. 어떤 들판은 여름에는 옥수수를 키우고, 겨울에는 비어 있다가, 다음 해에는 밀을 재배할 수도 있습니다. 만약 컴퓨터에게 특정 한 해의 사진만 보여준다면, 컴퓨터는 혼란에 빠질 수 있습니다. 이는 마치 화요일에 주방에 있는 사람을 보고 그 사람의 직업을 추측하려는 것과 같습니다. 그 사람은 요리사일 수도 있고, 그저 가족을 위해 저녁 식사를 준비 중인 것일 수도 있기 때문입니다. 전체적인 그림을 그리려면 그 사람이 작년에 무엇을 했는지, 재작년에는 어땠는지, 그리고 그 습관이 어떻게 변했는지를 알아야 합니다. 이 논문은 단순하지만 강력한 질문을 던집니다. 만약 컴퓨터가 작년에 특정 들판에 대해 이미 추측을 내놓았다면, 왜 그 추측을 올해 더 나은 추측을 하는 데 사용하지 않는가?

논문의 핵심 아이디어: AI에게 자신의 일기를 읽게 하기

유럽의 거대한 위성 프로젝트와 함께 연구를 진행한 연구진은 자신들의 AI가 단기 기억 상실증을 앓고 있다는 사실을 발견했습니다. 매년 시스템은 새로운 위성 사진을 보고 작물을 식별하려고 시도하지만, 이전에 동일한 들판에 대해 이미 예측을 수행했다는 사실을 완전히 무시했습니다. 이는 마치 매일 아침 미스터리를 해결하는 탐정이 그러면서도 어제의 사건 파일을 보는 것을 거부하는 것과 같았습니다.

연구팀은 규칙을 바꾸기로 했습니다. 각 해를 완전히 새로운 미스터리로 취급하는 대신, AI에게 읽을 수 있는 "일기"를 주었습니다. 이 일기에는 시스템의 과거 예측값과 함께 (AI가 과거의 추측에 대해 얼마나 확신했는지를 보여주는 수치인) 신뢰도 점수가 포함되었습니다. 또한 그들은 "식생 마스크(vegetation mask)"를 포함했는데, 이는 AI에게 "이 구역은 확실히 농지이니 숲이나 도시는 무시해"라고 알려주는 형광펜 같은 역할을 합니다.

이를 구현하기 위해 그들은 **CTY 임베딩 인코더(CTY Embedding Encoder)**라는 특별한 도구를 만들었습니다. 이것은 AI의 과거 추측을 컴퓨터가 이해할 수 있는 언어로 바꾸는 번역기라고 생각하면 됩니다. 만약 AI가 2020년에 어떤 들판이 올리브 밭이라고 90% 확신했다면, 번로기는 이 사실에 크고 명확한 목소리를 부여합니다. 만약 AI가 40%만 확신했다면, 그 목소리는 작아집니다. 컴퓨터는 그 후 새로운 사진을 보면서 이 과거의 "목소리"에 귀를 기울이며, "아, 이 들판은 7년 연속으로 올리브를 재배해 왔으니, 이번에도 거의 확실히 올리브겠구나"와 같은 패턴을 포착할 수 있게 됩니다.

연구 결과: 더 똑똑한 추측과 더 적은 실수

결과는 놀라울 정도로 효과적이었습니다. AI에게 자신의 역사를 읽게 함으로써, 시스템은 특히 과수나 견과류 농장처럼 자주 변하지 않는 까다로운 작물을 식별하는 데 훨씬 더 능숙해졌습니다.

상승폭: 작물 식별을 위한 시스템의 전반적인 정확도가 1.6 퍼센트 포인트 상승했습니다.
주요 승자: 가장 큰 개선은 수명이 긴 작물에서 나타났습니다. 올리브를 정확히 찾아내는 능력은 4.6 포인트, 과일은 3.7 포인트, 견과류는 3.2 포인트 향상되었습니다. 이는 나무가 하룻밤 사이에 갑자기 감자밭으로 변하지 않는다는 점을 고려하면 타당한 결과입니다. AI는 이러한 안정성을 신뢰하는 법을 배웠습니다.
균형 잡기: 이 변화 전에는 AI가 너무 의욕이 앞서서, 확신이 없는 상태에서도 "작물"이라고 추측하는 경향(재현율 편향 오류 프로필이라 불리는 문제)이 있었습니다. 역사를 활용함으로써 AI는 더 균형 잡힌 모습을 갖추게 되었고, 언제 "잘 모르겠다"라고 말해야 하는지, 그리고 언제 추측을 확정 지어야 하는지를 알게 되었습니다.

연구진은 또한 "식생 마스크"(형광펜)를 처리하는 방법도 테스트했습니다. 그들은 AI가 (추측하지 않기로 한 구역인) 마스킹된 영역을 과거와 현재 모두 일관되게 처리할 경우, 작물에 대한 정확도가 추가로 2.5 포인트 급증한다는 것을 발견했습니다.

거절된 내용: "클수록 좋다"는 함정

논문은 잘못된 것으로 판명된 몇 가지 아이디어도 테스트했습니다.

더 큰 모델이 항상 승리하는 것은 아니다: 연구팀은 더 큰 뇌가 더 똑똑할 것이라 생각하여 AI의 크기를 (260만 개에서 1,200만 개의 파라미터로) 크게 키워보았습니다. 하지만 거대 모델은 오히려 혼란을 겪으며 성능이 떨어졌습니다. 이 특정 작업에는 데이터를 단순히 암기하는 거대한 모델보다, 자신의 역사를 사용할 줄 아는 집중된 작은 모델이 더 낫다는 것이 밝혀졌습니다.
희귀 작물의 중복 계산: 그들은 희귀한 작물(데이터에서 찾기 매우 어려운 쌀과 같은) 문제를 해결하기 위해, 수학적 가중치를 더 주고 훈련 배치에 더 자주 등장하게 만드는 방법을 시도했습니다. 이 "이중 계산(double-dipping)"은 실제로 AI를 미치게 만들어, 모든 들판을 보고 "쌀"이라고 추측하게 만들었고, 이로 인해 정확도가 14.7 포인트나 폭락했습니다. 그들은 희귀 항목에 대해 과도하게 교정하는 것이 위험하다는 것을 배웠습니다.

결론

이 논문은 AI를 더 똑똑하게 만들기 위해 항상 새로운 데이터나 더 큰 컴퓨터가 필요한 것은 아니라는 점을 보여줍니다. 때로는 그저 어제 배운 것을 기억하도록 가르치기만 하면 됩니다. 시스템에 과거의 예측을 "무료" 입력값으로 제공함으로써, 그들은 단순한 연도별 분류기를 땅의 장기적인 이야기를 이해하는 똑똑하고 시간 여행을 하는 탐정으로 탈바꿈시켰습니다. 이 접근 방식은 AI가 자신의 일기를 읽게 하는 것만으로도 숲 모니터링부터 날씨 예측에 이르기까지 지구의 변화를 추적하는 모든 시스템에 도움을 줄 수 있는 저비용의 비법입니다.

기술 요약: 연간 일관된 과거 예측을 이용한 다년 간 지형 공간 추론

1. 문제 정의

Copernicus Land Monitoring Service (CLMS) High Resolution Layer (HRL) 작물 제품과 같은 운영형 지구 관측(EO) 시스템은 일반적으로 위성 시계열(Sentinel-1/2, 기상 데이터)을 연도별로 처리하는 딥러닝 모델을 사용하여 연간 토지 피복 지도를 생성한다. 이러한 시스템은 자체적인 예측 기록(dense, multi-year archive)을 축적하고 있으며 후처리 과정에서 보조 데이터(BVL와 같은)를 활용함에도 불구하고, 다음과 같은 두 가지 결정적인 한계를 갖는다:

시간적 피드백의 부재: 특정 연도(예: 2024년)의 모델은 자신의 과거 예측값(예: 2017~2023년)에 접근할 수 없다. 결과적으로 모델은 다년생 작물(예: 올리브)의 시간적 안정성이나 작물 윤작의 논리를 활용하지 못하며, 각 연도를 고립된 분류 작업으로 취급한다.
일관되지 않은 신호 통합: 비경작 지역을 식별하는 BVL 마스크와 같은 보조 신호가 신경망 외부에서 규칙 기반의 후처리 단계로 적용된다. 이는 표현 격차(representation gap)를 유발하며, 모델이 자신의 과거 데이터 내에서 마스킹된 픽셀을 '정의되지 않은 데이터'가 아닌 '특정한 신호(마스킹됨 vs 데이터 누락)'로 읽어내지 못하게 만든다.

저자들은 반복되는 EO 모델이 자신의 예측 이력과 외부 보조 레이어를 **자유로운 입력 모달리티(free input modalities)**로 취급하여, 취약한 규칙 기반 후처리에 의존하는 대신 모델 내부에서 직접 다년 간 지형 공간 추론을 수행할 수 있어야 한다고 주장한다.

2. 방법론

제안된 접근 방식은 기존의 운영형 픽셀 기반 트랜스포머 아키텍처를 수정하여, 과거의 예측과 일관된 마스크 표현을 새로운 입력 채널로 수용하도록 한다.

A. 입력 모달리티 및 아키텍처

베이스라인: 다중 소스 트랜스포머 인코더가 Sentinel-2 광학 밴드, Sentinel-1 SAR 후방 산란, 파생 지수 및 AgERA5 기상 데이터의 24단계(10일 단위) 시계열을 처리한다. 정적 지형 스칼라는 밀집 인코더(dense encoder)를 통해 처리된다.
과거 예측 입력 (CTY History): 모델은 각 픽셀에 대해 정렬된 두 개의 시퀀스를 수용한다: 이전 연도(2017~2029년)의 예측 클래스 코드와 그와 관련된 신뢰도 점수(최종 클래스 확률).
- CTY 임베딩 인코더: 과거 클래스 코드를 단순 정수나 스칼라로 처리하는 대신, 저자들은 학습 가능한 임베딩 인코더를 도입했다. 각 과거 클래스 코드 $c_t$ 는 학습 가능한 벡터로 매핑된 후 그 신뢰도 $p_t$ 에 의해 스케일링된다 ( $\mathbf{e}_t = \text{Embed}(c_t) \cdot p_t$ ).
- 시간적 위치 지정: 순서를 보존하기 위해 학습 가능한 사인 함수 기반 위치 임베딩(sinusoidal position embeddings)이 추가된다.
- 마스크 토큰: '외부에서 마스킹된'(BVL) 관측치를 구분하기 위해 특정 학습 가능 토큰(인덱스 1)이 예약되어 있다. 이는 '데이터 없음(padding)'과 '유효한 작물 클래스'를 구분한다.
보조 스칼라: 이력에서 도출된 두 가지 저비용의 수작업 스칼라가 추가된다: "작물 안정성"(과거 연도 중 현재 작물과 일치하는 비율) 및 "변화 후 경과 연수".
융합(Fusion): CTY 임베딩 인코더의 출력은 최종 MLP 분류 헤드로 넘어가기 전 광학/SAR/기상 임베딩과 결합된다.

B. 훈련 전략

엔드 투 엔드(End-to-End) 훈련: 대규모 지형 공간 파운데이션 모델을 미세 조정하는 방식과 달리, 저자들은 데이터셋이 크기(~~5.4M 라벨링된 픽셀) 때문에 컴팩트한 엔드 투 엔드 모델(~~2.6M 파라미터)을 훈련시킨다. 이를 통해 모델은 표현 현상(phenological signals)과 과거 예측 사이의 가중치를 공동으로 학습할 수 있다.
손실 함수: 주요 손 loss는 포컬 크로스 엔트로피(focal cross-entropy)이다. 여기에 **연성 자기지도 일관성 손실(soft self-supervised consistency loss)**이 보조 항으로 추가되는데, 여기서 작은 선형 헤드가 이력 임베딩만으로 클래스 로짓을 예측하며, 낮은 가중치( $\lambda=0.1$ )로 메인 타겟과 일치하도록 훈련된다. 이는 모델이 과거 이력에 과도하게 의존하지 않으면서도 이를 부드러운 사전 정보(soft prior)로 사용하도록 유도한다.
불균형 처리: 클래스 불균형은 균형 배치 샘플링(balanced batch sampling)(배치당 클래스 빈도 동일화)을 통해 관리된다. 저자들은 역빈도 손실 가중치(inverse-frequency loss weighting)를 이 샘플링 위에 추가했을 때 이중 보상으로 인해 성능이 붕괴되는 것을 확인하였다.

C. 마스킹된 관측치의 표현
본 연구는 대상 연도와 이력 모두에서 BVL에 의해 마스킹된 픽셀을 모델이 어떻게 해석해야 하는지 조사한다. 최적의 전략은 다음과 같다:

이력 시퀀스 내에 전용 "마스크" 토큰을 사용한다.
마스킹된 관측치를 "비경작(no-crop)" 클래스로 통합하거나, 이력이 일관되게 재매핑되는 경우 별도의 클래스를 할당한다.

3. 주요 기여

자유로운 입력 모달리티: 신뢰도로 스케일링되고 시간 순서로 정렬된 토큰으로 인코딩된 모델 자신의 연간 예측 이력이, 라벨이 필요 없는 강력한 입력으로서 분류 성능을 크게 향과시킨다는 것을 입증했다.
CTY 임베딩 인코더: 범주형 예측 이력을 학습 가능한 신뢰도 가중치 표현으로 변환하여 모델이 연도 축에 대해 어텐션(attention)을 수행할 수 있게 하는 새로운 아키텍처 구성 요소를 제안했다.
일관된 신호 표현: 외부 마스크(BVL)를 모델의 입력 공간 내에서 일관되게 표현하는 것(마스킹된 데이터와 데이터 누락을 구분하는 것)이 외부 마스크 자체를 변경하지 않고도 작물 분류 성능을 개선함을 보여주었다.
오류 프로파일 교정: 단순 정확도 지표를 넘어, 이 방식이 "재현율 편향(recall-skewed)" 오류 프로파일을 교정하여 과잉 예측을 줄이면서도 높은 재현율을 유지한다는 것을 입증했다.

4. 결과

약 5.4M 개의 라벨링된 픽셀(18개 작물 클래스 + 비경작)을 포함하는 범유럽 데이터셋을 대상으로 평가하였다:

전반적인 성능: 예측 이력을 추가함으로써 작물 전용 F1 점수가 1.6 퍼센트 포인트(pp) 상승했다 (0.787에서 0.803으로).
다년생 및 과수 작물: 이득은 안정적인 다년 이력을 가진 작물에서 가장 두드러졌다:
- 올리브: +4.6 pp
- 과일: +3.7 pp
- 견과류: +3.2 pp
- 건조 콩류: +2.9 pp
일관된 마스크 표현: 대상 연도와 이력 모두에서 BVL 마스크를 일관되게 표현했을 때 작물 전용 F1 점수가 약 2.5 pp 증가했다.
정밀도-재현율 균형: 베이스라인 모델은 재현율 편향(정밀도 0.769 대비 재현율 0.810)을 보여 과잉 예측을 나타냈다. 이력 인식 모델은 이를 재조정하여(정밀도 0.806 대비 재현율 0.803), 18개 작물 클래스 중 13개를 정밀도-재현율 대각선에 더 가깝게 이동시켰다.
절제 연구(Ablation) 결과:
- 이력의 원시 스칼라 또는 시계열 인코딩은 미미한 이득만을 제공했다.
- 모델 크기를 12M 파라미터로 늘렸을 때 과적합이 발생했다.
- 역빈도 손실 가중치를 균형 샘플링과 결에도 결합했을 때 성능이 급격히 하락했다 (F1이 0.64로 떨어짐).

5. 의의 및 주장

본 논문은 이 접근 방식이 클래스 지도를 생성하는 모든 반복적인 지형 공간 또는 파운데이션 모델을 개선할 수 있는 저비용 레시피를 제공한다고 주장한다. 모델에 "연간 고정된" 이력을 피딩함으로써, 시스템은 규칙 기반의 레거시 후처리기(이상치를 교정하고 일관성을 강제하는 기능)의 논리를 효과적으로 **증류(distill)**하고 이를 직접 학습하여 개선한다.

저자들은 이것이 "단일 연도 분류 + 규칙 기반 교정"에서 "다년 간 지형 공간 추론"으로의 패러다임 전환을 의미한다고 주장한다. 모델은 토지 이용의 "시간적 문법"(윤작, 지속성, 점진적 변화)을 자신의 출력으로부터 직접 학습한다. 이 접근 방식은 모듈식이며 연간 업데이트되는 모든 운영형 EO 제품에 적용 가능하며, 새로운 라벨 데이터 없이도 지형 공간 파운데이션 모델을 향상시킬 수 있는 방법으로 제시된다. 결과에 따르면, 이 방식은 더 깨끗한 지도를 생성하고 불필요한 연간 변동을 줄이며, 결과적으로 다운스트림의 체질(sieving) 및 연간 오버라이드(override)의 필요성을 줄일 수 있음을 시사한다.