Crop Recommendation and Agricultural Query Answering System Using Spatio-Temporal Graph Neural Networks and Hybrid Retrieval Augmentation

기술 요약: 시공간 그래프 신경망 및 하이브리드 검색 증강 기술을 이용한 작물 추천 및 농업 질의응답 시스템

문제 정의
본 논문은 인구의 약 66%가 농업에 종사하는 네팔의 정밀 농업에 대한 절실한 필요성을 다룹니다. 현재의 농업 관행은 대부분 자급자족형이며 전통적인 경험이나 기초적인 기상 예보에 의존하고 있는데, 이는 급격한 기후 변화와 극한 기상 현상을 반영하지 못하는 경우가 많습니다. 기존의 의사결정 지원 시스템은 동적인 날씨 데이터와 정적인 토양 특성 간의 통합이 부족하거나, 네팔의 다양한 지형적 특성(1,359개의 서로 다른 농업 지역 포함)에 내재된 복잡한 시공간적 의존성을 모델링하는 데 실패하는 경우가 빈번합니다. 또한, 농민들은 병충해 방제, 보조금 및 작물 관리에 관한 시의적절하고 국지화된 정보에 접근하는 데 어려움을 겪고 있습니다.

방법론
저자들은 일기 예보, 작물 추천, 질의응답 인터페이스를 포함하는 세 가지 핵심 구성 요소로 이루어진 통합 시스템을 제안합니다.

1. 데이터 수집 및 전처리:

   • 위치 데이터: 경도, 위도, 고도 및 명칭을 포함하여 1,359개 농업 지역에서 수동으로 수집한 데이터.
   • 날씨 데이터: 1,359개 위치에 대해 NASA에서 제공하는 42년간의 역사적 데이터셋. 주요 변수(온도, 강수량, 습도 등)는 상관관계 테스트, 표준화 및 120일의 시차를 둔 시계열 스냅샷 생성을 통해 전처리되었습니다.
   • 토양 데이터: pH, 유기물, 질소 및 기타 영양분을 포함하여 API를 통해 추출되었습니다.
   • 작물 데이터: 다양한 채소의 최적 성장 조건(pH, 영양분, 날씨 범위)을 상세히 기록한 큐레이션된 데이터셋.
   • 그래프 구축: 위치를 노드로 모델링했습니다. 에지는 지리적 거리(<15 km) 또는 고도 차이(<50 m)를 기준으로 정의되었으며, 가중치는 이러한 차이에 반비례하도록 설정되었습니다.

2. 날씨 예측 모델:
   두 가지 딥러닝 아키텍처가 100일간의 과거 데이터를 사용하여 30일간의 날씨 매개변수(습도, 강수량, 온도)를 예측하도록 학습되었습니다:

   • 시공간 그래프 합성곱 네트워크 (STGCN): 인접 노드 간의 정보를 전파하여 공간적 의존성을 포착하는 그래프 신경망(GNN)으로, 그래프 시퀀스를 처리할 수 있도록 확장되었습니다.
   • 트랜스포머 기반 그래프 모델: 시간적 합성곱(단기 패턴), 템포럴 트랜스포머 블록(장기 의존성), 그리고 그래프 합성곱(공간적 의존성)을 결념한 하이브리드 아키텍처입니다.
   • 학습: Adam 옵티마이저를 사용한 지도 학습 방식으로 학습되었으며, 70/15/15 데이터 분할을 적용하였고, MAE 및 RMSE를 사용하여 평가되었습니다.

3. 작물 추천 엔진:
   시스템은 예측된 날씨 데이터와 정적인 토양 속성을 통합합니다. 점수 산정 알고리즘은 역거리 메트릭을 사용하여 특정 위치에 대한 각 작물의 적합도 점수를 계산합니다:
   $$score = \frac{1}{1 + |location\_data[feature] - mid\_val|}$$
   여기서 $mid\_val$은 특정 특성에 대한 작물의 이상적인 범위의 중간값입니다. 엔진은 추천된 작물의 순위 목록을 출력합니다.

4. 검색 증강 생성 (RAG) 챗봇:
   작물, 병충해 및 보조금에 관한 농민의 질의에 답하기 위한 대화형 에이전트가 개발되었습니다. 이 시스템은 Pinecone에 저장된 지식 베이스를 쿼리하기 위해 SPLADE(희소 표현용)와 밀집-희소 벡터를 사용하는 하이브리드 검색 방식을 채택합니다. 시스템은 Cohere API를 사용하여 주로 네팔어로 문맥에 맞는 답변을 생성합니다.

5. 배포:
   전체 시스템은 Django 백엔드와 SQLite3 데이터베이스를 갖춘 React Native 기반의 모바일 애플리케이션을 통해 배포됩니다.

주요 결과

• 날씨 예측: STGCN 모델이 트랜스포머 기반 모델보다 우수한 성능을 보였으며, 트랜스포머의 MSE가 0.013인 것에 비해 0.011의 평균 제곱 오차(MSE)를 달성했습니다. 저자들은 STGCN이 지리적 위치 간의 상호작용을 명시적으로 모델링함으로써 지역적 날씨 패턴에 필수적인 공간적 의존성을 더 잘 포착했기 때문에 우수한 성능을 보였다고 설명합니다.
• 시스템 사용성: 모바일 애플리케이션은 위치 기반 작물 추천과 실시간 업데이트를 성공적으로 제공합니다. 사용자 피드백에 따르면, 특히 개인화된 지도가 부족한 농촌 환경에서 본 시스템은 사용 가능하며 유용하다는 평가를 받았습니다.
• RAG 성능: 정성적 평가 결과, RAG 시스템은 제공된 지식 베이스에 근거하여 다양한 농업 관련 질의에 대해 일관되게 관련성 높고 도움이 되는 응답을 생성하였습니다.

의의 및 주장
본 논문은 다음과 같은 점을 통해 첨단 머신러닝과 실질적인 농업 적용 사이의 간극을 메운다고 주장합니다:

• 데이터 소스 통합: 동적인 시공간 날씨 예측과 정적인 토양 데이터를 단일 프레임워크 내에 성공적으로 통합하여, 이러한 요인들을 개별적으로 다루었던 이전 연구들의 한계를 해결했습니다.
• 복잡성 모델링: 지리적으로 다양한 지역의 정확한 날씨 예측을 위해 그래프 신경망, 특히 STGCN이 단독 트랜스포머 모델보다 시공간적 의존성을 포착하는 데 더 효과적임을 입증했습니다.
• 농민 역량 강화: 모바일 우선 솔루션을 제공하여 위치 기반의 통찰력과 대화형 지원을 전달함으로써, 정보에 입각한 의사결정을 촉진하고 잠재적으로 작물 수확량을 높이며 기후 변동성에 대한 회복력을 강화합니다.

한계 및 향-후 과제
저자들은 본 시스템이 불일치할 수 있는 역사적 데이터에 의존하고 있으며, 작물 추천 정확도에 대한 포괄적인 정량적 지표가 부족하다는 점을 인정합니다. 또한, 모델이 매우 복잡한 환경적 상호작용이나 특정 미세 기후를 완전히 포착하지 못할 수 있음을 언급했습니다. 향후 과제로 실시간 위성 데이터 활용, 추천에 대한 견고한 정량적 평가 지표 개발, 모델 아키텍처 개선, 그리고 오프라인 기능을 포함한 모바일 접근성 향상이 제안되었습니다.