Evaluating national machine-learning predictions of household biogas use across time and local contexts in Nepal

네팔의 언덕과 계곡에서 수백만 가구가 수십 년 동안 연기와 그을음이 없는 요리 방식으로 전환하기 위해 노력해 왔습니다. 여러 세대에 걸쳐 가족들은 나무, 농작물 잔해 또는 가축 분뇨를 태우며 생활해 왔는데, 이러한 관습은 건강을 해치고 산림을 고갈시킵니다. 이를 돕기 위해 정부와 국제 단체들은 수년간 바이오가스 설비를 설치하는 데 비용을 들여왔습니다. 이 시스템은 가축의 배설물을 가져와 요리용 깨끗한 가스로 변환하여, 더 깨끗하고 건강한 삶에 대한 약속을 제공합니다. 하지만 마당에 깨끗한 스토브가 있다고 해서 주방의 불까지 깨끗하다는 것을 보장하지는 않습니다. 가족들이 기술을 설치하더라도 물이 부족하거나, 가축의 분뇨가 떨어지거나, 기계가 고장 났는데 수리할 사람이 없다면 사용을 중단할 수 있습니다. 기술을 보유하는 것과 실제로 사용하는 것 사이의 이 간극은 에너지 전환이 실제로 어떻게 작동하는지를 이해하려는 누구에게나 핵심적인 난제입니다.

이러한 진전 상황을 추적하기 위해, 연구자들은 종종 수천 가구의 연료 선택을 묻는 대규모 국가 조사에 의존합니다. 최근 몇 년 동안 과학자들은 머신러닝이라고 알려진 강력한 컴퓨터 프로그램을 사용하여 이러한 설문 조사를 분석하기 시작했습니다. 이 프로그램들은 데이터에서 패턴을 찾아 어떤 가구가 바이오가스를 사용할 가능성이 높은지 예측합니다. 이러한 예측이 지도가 되어, 공무원들에게 에너지 전환이 어디에서 성공하고 있고 어디에서 정체되고 있는지를 보여주기를 희망합니다. 그러나 전국을 대상으로 그려진 지도는 특정 마을에 맞지 않을 수 있으며, 한 해를 위해 그려진 지도는 다음 해에 맞지 않을 수도 있습니다. 문제는 이러한 국가적 컴퓨터 모델이 서로 다른 장소나 서로 다른 시간에 적용될 때 여전히 유용한지, 아니면 단순히 시대에 뒤떨어진 추측에 불과한지 여부입니다.

한 연구팀은 바로 이 점을 테스트하기 위해 연구를 시작했습니다. 그들은 네팔의 국가 데이터를 기반으로 구축된 머신러닝 모델을 가져와서, 치트완 계곡(Chitwan Valley)이라는 특정 지역에서 여러 해에 걸쳐 바이오가스 사용을 예측하는 데 사용했습니다. 그들은 시간이 흐르고 지역 상황이 변함에 따라 모델이 여전히 바이오가스를 사용할 가구와 그렇지 않은 가구를 구별해 낼 수 있는지 확인하고자 했습니다. 또한, 모델이 서로 다른 사회 집단을 공정하게 다루는지, 아니면 특정 공동체에 대해 지속적으로 오차를 내는지도 알고 싶었습니다.

연구진은 2011년, 2016년, 2022년에 실시된 세 차례의 국가 조사 데이터를 수집했으며, 이 조사들은 전국을 포괄했습니다. 그런 다음 그들은 자신들이 직접 수행한 치트완 계곡의 2014년, 2017년, 2023년 독립 조사 결과와 이 국가적 예측치를 비교했습니다. 테스트의 공정성을 기하기 위해, 그들은 각 지역 조사 이전에 사용 가능했던 정보만을 사용했습니다. 예를 들어, 2014년 지역 조사를 예측할 때는 2011년의 국가 데이터만을 사용했습니다. 이는 모델이 이미 알고 있는 내용을 단순히 반복하는 것이 아니라, 시간이 흐름에 따라 모델이 얼마나 잘 버텨내는지를 테스트하기 위함이었습니다.

결과는 이 모델들의 성능이 어떻게 나뉘는지에 대한 흥ende로운 사실을 드러냈습니다. 연구진이 모델이 가구의 순위를 올바르게 매길 수 있는지(즉, 어떤 가족이 다른 가족보다 바이오가스를 사용할 가능성이 높은지 식별하는 능력)를 살펴보았을 때, 모델은 놀라울 정도로 강력한 상태를 유지했습니다. 몇 년이 지난 후에도 컴퓨터 프로그램은 바이오가스를 사용할 확률이 높은 가구를 찾아내는 데 여전히 유능했습니다. 그러나 연구진이 실제 수치를 살펴보았을 때, 모델의 정확도는 떨어졌습니다. 모델은 실제보다 더 많은 가족이 바이오가스를 사용할 것이라고 계속 예측했습니다. 시간이 지날수록 모델의 예측과 실제 관찰된 수치 사이의 격차는 점점 더 커졌습니다. 가장 최근의 비교에서, 모델은 거의 3%의 가구가 바이를 주요 연료로 사용할 것이라고 예측했지만, 실제 수치는 약 1%에 불과했습니다.

이러한 불일치는 연구진이 바이오가스 사용의 단계별 과정을 살펴볼 때 더욱 명확해졌습니다. 설비를 설치하는 것은 첫 단계일 뿐입니다. 설비는 1년 동안 작동하다가 멈출 수도 있습니다. 가족은 가스를 가끔 사용하거나, 이를 주 연료로 사용할 수도 있습니다. 국가 모델은 가장 진보된 단계인 '바이오가스를 주된 요리 연료로 사용하는 것'을 예측하도록 설계되었습니다. 연구진이 이 예측을 지역 데이터와 비교했을 때, 모델은 그 특정하고 진보된 단계를 살펴볼 때 가장 잘 작동한다는 것을 발견했습니다. 하지만 단순히 설비를 설치한 상태와 같은 더 단순한 단계를 살펴볼 때, 모델은 기술을 실제로 사용하고 있는 가구 수를 크게 과대평가했습니다. 예를 들어 2023년에 13%의 가구가 설비를 보유하고 있었지만, 6%만이 그것이 작동 중이라고 보고했으며, 3% 미만이 이를 주 연료로 사용한다고 보고했습니다. 주 연료 사용이라는 국가적 목표에 맞춰 훈련된 모델은 부분적인 사용이나 장비 고장과 같은 복잡한 현실로 그 성공 사례를 쉽게 번역하지 못했습니다.

이 연구는 사회적 정체성에 따른 중요한 차이점도 밝혀냈습니다. 네팔 사회는 자원과 기회에 대한 접근권을 역사적으로 결정해 온 카스트 제도로 구조화되어 있습니다. 연구진이 모델의 예측을 다양한 카스트 그룹의 실제 결과와 비교했을 때, 소외된 공동체에 대해 일관된 저평가 패턴을 발견했습니다. 구체적으로, 오랜 차별을 받아온 달릿(Dalit) 카스트 가구는 국가 모델이 예측한 것보다 바이오가스를 사용할 가능성이 현저히 낮았습니다. 광범위한 국가 평균을 바탕으로 구축된 모델은 이 가족들이 직면한 특수한 장벽들을 고려하지 못했습니다. 반면, 모델은 지역 공동체 숲 그룹에 참여하는 가구들에 대해서는 동일한 종류의 격차를 보이지 않았는데, 이는 사회적 지위가 예측 오류의 주요 요인이었던 반면, 지역 제도적 구성원 자격은 이 특정 맥락에서 차별화 요소가 아니었음을 시사합니다.

연구진은 이러한 국가적 모델을 특정 연도에 정확히 몇 명의 사람들이 바이오가스를 사용할 것인지 알려주는 고정된 예측치로 취급해서는 안 된다고 결론지었습니다. 대신, 이 모델들을 적응형 벤치마크로 간주해야 합니다. 모델은 상대적인 차이를 식별하는 데(어떤 가구가 기술을 채택할 가능성이 더 높은지 알려주는 데) 유용한 도구이지만, 정확한 수치를 예측할 때는 오차가 발생합니다. 이 연구는 에너지 전환을 진정으로 이해하기 위해서, 관리자들이 이러한 국가적 예측을 지역의 현실과 반복적으로 대조해 볼 필요가 있다고 제언합니다. 그렇게 함으로써, 모델이 실패하는 지점(예: 특정 사회 집단이나 특정 기술 사용 단계)을 식별하고, 지원이 가장 절실한 곳에 목표를 설정할 수 있습니다.

궁극적으로 이 작업은 기술을 가구에 전달할 수는 있지만, 그것을 계속 작동하게 만드는 데는 지역의 삶에 대한 훨씬 더 깊은 이해가 필요하다는 것을 보여줍니다. 컴퓨터 프로그램은 누가 바이오가스 설비를 사용할 가능성이 높은지는 말해줄 수 있지만, 고장 난 펌프, 물의 부족, 또는 가족의 사용을 막는 사회적 장벽을 쉽게 들여다볼 수는 없습니다. 네팔, 그리고 아마도 다른 곳의 깨끗한 에너지 미래를 향한 길은 단순히 더 많은 스토브를 설치하는 것뿐만 아니라, 우리의 예측이 그 기술이 봉사하고자 하는 사람들의 복잡하고 변화하는 삶을 제대로 반영하도록 끊임없이 재평가하는 데 달려 있습니다.