BengalGrid: A Decade-Scale Hourly Dataset of Bangladesh Power Supply by Source Type, Including Cross-Border Imports from India and Nepal

전기는 현대 생활을 움직이는 보이지 않는 전류로서, 발전소로부터 거대한 네트워크를 통해 빛, 공장, 그리고 가정으로 흘러갑니다. 엔지니어와 정책 입안자들이 이 시스템을 원활하게 운영하기 위해서는 얼마나 많은 전력이 생산되고 있는지, 어디에서 오는지, 그리고 언제 필요한지에 대한 명확하고 연속적인 기록이 필요합니다. 이 기록을 '시계열(time series)'이라고 부르며, 이는 시간이 흐름에 따라 이야기를 들려주는 단순한 숫자 목록입니다. 이러한 목록이 없다면 미래의 수요를 예측하거나 가스, 석탄, 풍력과 같은 에너지원의 구성이 어떻게 변하고 있는지 이해하는 것은 불가능합니다. 그러나 세계의 많은 지역에서 이 중요한 정보는 컴퓨터 분석을 위한 형식이 아닌 인간의 눈을 위해 만들어진 형식 속에 흩어져 있거나, 단순히 긴 시간 동안 누락되어 있습니다.

급속히 성장하는 경제와 복잡한 에너지 지형을 가진 국가인 방글라데시에서도 최근까지 이러한 명확한 기록이 부재했습니다. 이 나라의 전력망은 국내 연료원과 인접 국가로부터 수입되는 전기에 의존하고 있지만, 공식 데이터는 컴퓨터가 쉽게 읽을 수 없는 방식으로 정보를 제시하는 공공 웹사이트에 갇혀 있었습니다. 날짜는 다른 문자로 작성되어 있었고, 숫자는 일관되지 않았으며, 데이터는 수천 개의 작은 페이지로 나뉘어 있었습니다. 국가의 에너지 미래를 연구하기 위해 연구자들은 이 데이터를 잠금 해제하고, 정제하며, 하나의 신뢰할 수 있는 타임라인으로 변환해야 했습니다.

다카에 위치한 이스트 웨스트 대학교(East West University)의 연구팀은 이제 정확히 그 일을 해냈습니다. 그들은 방글라데시 전력 공급의 10년 치 시간당 관측치를 제공하는 새로운 오픈 데이터셋인 '벵골그리드(BengalGrid)'를 구축했습니다. 정부 공식 포털을 체계적으로 방문하는 컴퓨터 프로그램을 작성함으로써, 그들은 2015년 4월부터 2026년 10월까지를 아우르는 104,000개 이상의 기록을 수집했습니다. 이 거대한 노력은 혼란스러운 웹 페이지의 집합을 누구나 사용할 수 있는 깨끗하고 정리된 파일로 탈바꿈시켰습니다.

이 과정은 방글라데시 전력공사(Power Grid Company of Bangladesh)의 공공 웹사이트를 디지털로 훑는 것으로 시작되었습니다. 연구진은 서버에 과부하를 주지 않기 위해 인간 방문자를 모방하여 사이트의 모든 페이지를 하나씩 방문하는 스크립트를 작성했습니다. 그들은 총 전력 출력과 천연가스, 액체 연료, 석탄, 수력, 태양광, 풍력과 같은 연료 유형별 내역을 담은 표를 추출했습니다. 또한 인도와 네팔으로부터 특정 교차 국경 연결을 통해 들어오는 전력 데이터도 포착했습니다. 수집된 원시 데이터는 엉망이었습니다. 날짜와 시간이 뱅골 숫자로 작성되어 있어 컴퓨터가 숫자로 인식하지 못했고, 시간 형식도 일관되지 않았습니다. 일부 항목은 중복되었고, 다른 항목은 정보가 누락되어 있었습니다.

데이터를 사용 가능하게 만들기 위해 팀은 이를 정제하고 정리하는 두 번째 프로그램을 구축했습니다. 그들은 뱅골 숫자를 표준 숫자로 변환했고, 모든 시간 형식이 동일한 형식을 따르도록 수정했으며, 중복된 항목을 제거했습니다. 결과적으로 그들은 438개의 중복 행과 몇 개의 불가능한 날짜를 가진 기록을 폐기하여, 최종적으로 104,134개의 고유한 시간당 기록을 남겼습니다. 결정적으로, 그들은 누락된 숫자를 채워 넣거나 발견된 이상한 이상치(outliers)를 수정하지 않기로 했습니다. 대신, 그들은 결함과 특이한 값들을 출처에 나타난 그대로 남겨두었는데, 이는 미래의 연구자들이 데이터의 가공되지 않은 진실을 보고 어떻게 처리할지 스스로 결정할 수 있다고 믿었기 때문입니다. 이러한 접근 방식은 이 데이터셋이 오류를 숨기는 세련된 버전이 아니라, 공식 기록을 투명하게 비추는 거울로 남도록 보장합니다.

데이터가 준비되자, 연구진은 데이터가 진실된 이야기를 하고 있는지 확인하기 위해 수개월 동안 품질 검증에 매진했습니다. 그들은 특정 시간대에 보고된 총 전력량이 가스와 석탄 같은 개별 에너지원과 이웃 국가로부터 수입된 전력의 합계와 일치하는지 확인했습니다. 모든 숫자가 사용 가능한 거의 모든 경우에서, 총량은 각 부분의 합과 완벽하게 일치했으며 차이는 1메가와트 미만이었습니다. 이러한 내부적 일관성은 데이터 수집 과정이 서로 다른 열 사이의 관계를 보존했음을 확인시켜 주었습니다. 그들은 또한 데이터가 실제 전력망처럼 작동하는지도 확인했습니다. 그들은 전력 생산이 예측 가능한 일일 리듬을 따른다는 것을 발견했는데, 이른 아침에 감소했다가 낮 동안 상승하고, 수요가 정점에 달하는 저녁에 뚜렷한 고원을 형성했습니다. 또한 주간 패턴도 확인했는데, 방글라데시의 주간 휴일인 금요일에 전력 사용량이 눈에 띄게 감소하는 것을 보았고, 더운 여름철에는 공급이 높고 겨울철에는 낮은 계절적 패턴도 확인했습니다.

데이터셋은 방글라데시의 성장을 동력화하는 방식의 중대한 변화를 보여줍니다. 데이터가 다루는 10년 동안 방글라데시의 총 전력 공급은 꾸준히 성장했습니다. 연구진은 전통적으로 천연가스가 지배적인 원천이었으나, 전체 구성에서 차지하는 비중이 감소하기 시작했음을 관찰했습니다. 동시에 석탄의 비중이 급증하여, 가스의 물량에 필적하는 주요 기여자로 성장했습니다. 데이터는 또한 교차 국경 무역의 중요성이 높아지고 있음을 보여줍니다. 특히 베라마라(Bheramara)라는 고전압 연결을 통한 인도로부터의 전력 수입은 안정적이고 필수적인 부분으로 자리 잡았습니다. 아다니(Adani) 및 네팔로부터의 새로운 연결선들은 데이터셋의 후반부에 등장하며, 이는 국가의 확장되는 에너지 파트너십을 반영합니다.

연구진은 사용자가 정확히 무엇을 보고 있는지 알 수 있도록 자신들의 작업에 대한 한계점도 기록했습니다. 그들은 풍력이나 태양광 같은 최신 에너지원들이 데이터셋의 초기 몇 년 동안은 보고되지 않았기 때문에 큰 공백이 있음을 발견했습니다. 또한 데이터에는 단일 기록이 국가 전체가 생산할 수 있는 수준을 훨씬 넘어서는 6,400만 메가와트 이상의 총 발전을 보여주는 등 물리적으로 불가능해 보이는 극단적인 값들이 포함되어 있습니다. 이는 원래의 보고 과정에서의 오류일 가능성이 높으며, 연구진은 사용자가 이를 식별하고 처리할 수 있도록 파일에 그대로 남겨두었습니다. 마찬가지로, 데이터는 전력 공급이 단순히 얼마나 만들어지느냐뿐만 아니라 언제 만들어지느냐의 문제이며, 세심한 관리가 필요한 저녁 시간대의 뚜렷한 피크가 존재함을 보여줍니다.

연구진은 이 데이터셋을 생성하는 데 사용된 컴퓨터 코드와 함께 공개함으로써 향후 연구를 위한 토대를 마련했습니다. 과학자들은 이제 이 데이터를 사용하여 미래의 에너지 수요를 예측하거나, 가스에서 석탄으로 전환함에 따른 환경적 영향을 연구하거나, 교차 국경 무역이 국가 안보에 미치는 영향을 분석할 수 있습니다. 이 작업은 파편화되고 읽기 어려운 웹 페이지의 집합을 한 국가의 에너지 여정을 보여주는 명확하고 장기적인 기록으로 탈바꿈시켰습니다. 이는 데이터가 지저도한 인터페이스 뒤에 숨겨져 있을 때라도, 그것을 찾아내고 정리함으로써 현대 경제의 꾸준하고 복잡한 맥박을 드러낼 수 있음을 보여줍니다. 그 결과, 학생부터 정책 전문가에 이르기까지 누구나 방글라데시의 지난 10년 전력 역사를 고해상도로 확인하고 다음 10년의 결정을 내리는 데 활용할 수 있는 도구가 탄생했습니다.