Machine Learning Based Crop Recommendation Using Tuned Classifiers and Ensemble Methods

농부들은 적절한 작물은 적절한 조건에 달려 있다는 사실을 항상 알고 있었습니다. 벼가 잘 자라는 논이 밀을 심었을 때는 실패할 수 있는데, 이는 씨앗이 달라서가 아니라 토양의 화학 성분과 기후 패턴이 식물의 요구 사항과 맞지 않기 때문입니다. 이러한 조건에는 지표면의 질소, 인, 칼륨과 같은 영양소의 균형뿐만 아니라 온도, 습도, 강수량, 그리고 토양의 산도가 포함됩니다. 수 세기 동안 이러한 결정을 내리는 데는 경험과 직관에 의존했지만, 오늘날에는 컴퓨터가 도움을 줄 수 있습니다. 토양과 기후에 대한 데이터를 머신러닝 모델에 입력함으로써, 시스템은 특정 위치에서 어떤 작물이 가장 잘 자랄지 예측할 수 있습니다. 정밀 농업이라고 알려진 이 접근 방식은 자원을 절약하고, 토양을 보호하며, 특히 값비싼 실수를 감당할 여유가 없는 농부들에게 식량 안보를 보장해 줄 것을 약속합니다.

하지만 컴퓨터 과학 분야에는 오랫동안 남아 있는 질문이 하나 있습니다. 바로 여러 가지 서로 다른 예측 모델을 하나의 강력한 그룹으로 결합하는 것이 단순히 하나의 모델을 완벽하게 만드는 것보다 실제로 더 효과적인가 하는 점입니다. 머신러닝의 세계에서 이 그룹을 앙상블(ensemble)이라고 부릅니다. 여러 명의 전문가에게 의견을 묻고 그 평균을 내면 단 한 명에게 묻는 것보다 더 나은 답을 얻을 수 있다는 아이디어입니다. 그러나 방글라데시 다카에 위치한 시티 대학교(City University) 연구진이 수행한 이 논문은, 이미 고도로 훈련된 단일 전문가가 있을 때도 이 규칙이 적용되는지를 테스트하고자 했습니다. 그들은 여러 모델을 나란히 실행하는 추가적인 복잡성이 필요한지, 아니면 신중하게 조정된 단일 모델이 똑같이 그 역할을 수행할 수 있는지를 알고 싶었습니다.

답을 찾기 위해 연구진은 두 개의 커다로 공공 작물 데이터 세트에서 시작했습니다. 한 컬렉션은 22가지 다른 유형의 작물에 대한 기록을 담고 있었고, 다른 하나는 51가지 유형의 데이터를 담고 있었습니다. 연구진은 각 22가지 작물이 정확히 100번씩 등장하는 2,200개의 기록이 담긴 더 작고 균형 잡힌 컬렉션을 선택했습니다. 이 균형은 컴퓨터 모델이 가장 흔한 작물에 편향되지 않도록 하는 데 매우 중요했습니다. 그런 다음 연구진은 이 데이터에 대해 다섯 가지 유형의 서로 다른 컴퓨터 알고리즘을 학습시켰습니다. 여기에는 단순한 선형 모델, 주변 데이터 포인트를 살펴보는 방법, 함께 작동하는 거대한 결정 트리 집단, 실수를 통해 학습하는 강력한 부스팅 알고리즘, 그리고 인간의 뇌를 모방하도록 설계된 신경망이 포함되었습니다.

연구진은 먼저 이 다섯 가지 모델을 표준 설정으로 테스트하여 성능을 확인했습니다. 결과는 결정 트리의 집합체인 랜덤 포레스트(Random Forest)와 부스팅 알고리즘이 가장 강력한 후보임을 보여주었습니다. 신경망 또한 좋은 성능을 보였으나, 더 단순한 모델들은 약간 뒤처졌습니다. 다음으로, 팀은 상위 세 가지 성과 모델을 가져와 미세 조정(fine-tuning)하는 시간을 가졌습니다. 이 과정에는 결정 트리가 얼마나 깊게 성장할 수 있는지 또는 신경망이 얼마나 빨리 학습하는지와 같은 모델의 내부 설정을 조정하여 가능한 모든 정확도를 짜내는 작업이 포함되었습니다. 연구진은 테스트 데이터가 훈련에 의도치 않게 영향을 미치지 않도록 엄격한 방법을 사용하여 데이터를 엄격히 분리했습니다.

이 세 가지 개별 모델을 완벽하게 만든 후, 연구진은 세 가지 유형의 앙상블을 구축했습니다. 모델들이 정답에 투표하는 시스템, 모델들의 신뢰도를 평균 내는 시스템, 그리고 마스터 모델이 다른 모델들의 예측을 결합하는 방법을 배우는 시스템을 만들었습니다. 그들은 이 그룹 시스템들을 단일 모델만큼이나 세심하게 튜닝했습니다. 최종 비교 결과는 놀랍고도 실용적인 진실을 드러냈습니다. 일단 완벽하게 튜닝된 단일 랜덤 포레스트 모델은 99.54%의 정확도를 달 achievement 했습니다. 가장 정교한 앙상블 시스템들도 튜닝 후에 정확히 같은 점수에 도달했습니다. 사실, 복잡한 그룹 시스템들은 결과값을 단 0.01%도 개선하지 못했습니다.

이 연구는 특정 유형의 농업 데이터에 대해 모델을 더 많이 섞는 것이 예측을 더 좋게 만들지는 않는다고 결론짓습니다. 연구진은 데이터 자체에 예측할 수 있는 한계가 있으며, 잘 보정된 단일 모델이 거대한 모델 팀만큼 효과적으로 그 한계에 도달할 수 있다는 것을 발견했습니다. 이 발견은 중요한 의미를 갖는데, 이는 농부와 농업 기관들이 수십 개의 모델을 동시에 실행하는 비싸고 복잡한 컴퓨터 시스템에 투자할 필요가 없음을 시사하기 때문입니다. 대신, 그들은 설치가 쉽고 운영 비용이 저렴하며 똑같이 정확한 가벼운 랜덤 포레스트 모델 하나에 의존할 수 있습니다. 이 연구는 더 나은 작물 추천을 추구함에 있어, 세심한 튜닝을 거친 단순함이 복잡성만큼이나 강력할 수 있음을 입증합니다.