Feature Selection for Multidimensional Poverty Measurement: Taming Indicator Dimensionality

빈곤은 오랫동안 단 하나의 수치, 즉 한 개인이나 가구가 얼마나 많은 돈을 가지고 있는가로 측정되어 왔습니다. 소득이 특정 선 아래로 떨어지면 그들은 빈곤층으로 분류됩니다. 하지만 이러한 좁은 시각은 고통의 실상을 놓치고 있습니다. 어떤 가족은 음식을 살 돈은 충분하지만 깨끗한 물, 전기, 또는 의사를 만날 기회가 부족할 수도 있습니다. 이러한 더 완전한 그림을 포착하기 위해 사회 과학자들과 정책 입안자들은 다차원적 빈곤 측정법으로 눈을 돌렸습니다. 단 한 가지만을 보는 대신, 그들은 아이들이 학교에 다니는지, 집에 수세식 화장실이 있는지, 혹은 성인이 만성 질환을 앓고 있는지와 같은 수십 가지의 서로 다른 지표들을 추적합니다. 이 많은 신호들을 결 조합함으로써, 그들은 누가 여러 방면에서 진정으로 결핍되었는지를 식별할 수 있습니다. 이 접근 방식은 이제 빈곤을 이해하는 세계적인 표준이 되었으며, 유엔과 같은 기구들이 100개 이상의 국가에서 원조와 정책을 안내하는 데 사용하고 있습니다. 그러나 이러한 지표 목록이 점점 길어져 종종 수백 개에 달하게 되면서, 새로운 문제가 발생합니다. 이토록 방대한 데이터를 수집하고 처리하는 것은 믿기 힘들 정도로 비용이 많이 들고 느려지며, 이는 정부가 실시간으로 빈곤층을 효과적으로 모니터링하는 것을 어렵게 만듭니다.

중국의 푸단 대학교 연구자인 칸 순(Kan Sun)은 이 실질적인 병목 현상을 해결하기 위해 나섰습니다. 질문은 우리가 왜 삶의 많은 측면을 측정해야 하는가가 아니라, 정확한 결과를 얻기 위해 정말로 그 모든 것들을 다 측정해야 하는가였습니다. 순은 이 거대한 목록에서 핵심적인 정보만을 남기고 나머지를 쳐낼 방법이 있는지 물었습니다. 답을 찾기 위해 연구자는 보통 인공지능과 머신러닝에 사용되는 도구들을 활용했습니다. 구체적으로, 이 연구는 '특징 선택(feature selection)'이라 불리는 기술 세트를 사용했습니다. 쉽게 말해, 이 방법들은 커다란 데이터 더미를 체로 치듯 걸러내어 가장 중요한 정보를 담고 있는 몇 가지 항목만을 찾아내고 나머지는 중복된 것으로 간주하여 버리는 역할을 합니다. 목표는 작고 신중하게 선택된 지표 그룹이 훨씬 더 크고 다루기 힘든 전체 집합과 동일한 역할을 수행할 수 있는지 확인하는 것이었습니다.

이 연구는 교육, 건강, 생활 수준 전반에 걸쳐 15가지 결핍 징후를 추적한 인도 내 42,000가구 이상의 대규모 조사를 통해 이러한 아이디어들을 테스트했습니다. 연구자는 이 데이터에 다섯 가지의 서로 다른 머신러닝 알고리즘을 적용했습니다. 각 알고리즘은 서로 다른 심판처럼 작동하며, 15가지 지표가 가구의 빈곤 여부를 예측하는 데 얼마나 유용한지를 순위 매겼습니다. 결과는 놀라웠습니다. 알고리즘들은 매우 작은 지표의 부분 집합이 거의 모든 필요한 정보를 포함하고 있다는 점에 만장일치로 동의했습니다. 목록의 맨 위에는 여성 교육이 있었습니다. 데이터에 따르면, 가구 내에서 가장 교육 수준이 높은 여성이 6년 미만의 교육을 받았는지 여부를 아는 것만으로도 전체 집합과 거의 동일한 정확도로 빈히곤을 예측하기에 충분했습니다. 만약 집안의 여성이 이러한 기초 교육을 받지 못했다면, 그 가구는 여러 차면에서 거의 확실히 빈곤한 상태였습니다. 반대로 그녀가 교육을 받았다면, 그 가구는 거의 확실히 빈곤하지 않았습니다.

여성 교육 외에도, 성인 건강 및 핵심 생활 수준과 같은 몇 가지 다른 요인들도 매우 유익한 정보를 제공하는 것으로 드러났습니다. 반면, 서류상으로는 중요해 보였던 지표들은 빈곤층과 비빈곤층을 구분하는 데 있어 무용지물임이 밝혀졌습니다. 예를 들어, 컴퓨터 소유 여부는 최하위에 기록되었습니다. 이는 컴퓨터가 중요하지 않아서가 아니라, 조사 대상자 중 거의 아무도 컴퓨터를 소유하지 않았기 때문입니다. 거의 모든 사람이 이 항목에서 결핍되어 있었기에, 이것은 빈곤한 가구와 약간 덜 빈곤한 가구를 구분하는 데 도움을 줄 수 없었습니다. 마찬가지로, 전기는 매우 흔해서 그것의 부재가 드물었기에 빈곤을 분류하는 데 좋지 않은 도구였습니다. 연구는 가장 유용하지 않은 지표들을 제거함으로써, 연구자들이 정확도를 크게 손실하지 않고도 목록을 15개에서 8개로 줄일 수 있음을 발견했습니다. 시스템은 여전히 거의 동일한 정확도로 빈곤층을 식별할 수 있었습니다. 그러나 지표가 5개 미만으로 떨어지기 전까지는 정확도가 급격히 떨어지지 않았습니다. 이 결과는 연구자들이 무엇을 "빈곤"으로 간주할지에 대한 규칙을 바꾸거나 각 범주에 부여하는 가중치를 조정하더라도 유효했습니다.

이것이 단순히 인도 데이터의 특이한 현상이 아님을 보장하기 위해, 연구자는 남아프리카 공화국의 유사한 조사로 실험을 반복했습니다. 결과는 거의 동일했습니다. 그 나라에서도 교육과 건강이 전체 측정 시스템의 무게를 지탱하는 작고 강력한 핵심을 형성했으며, 많은 수의 생활 수준 지표들은 중복되는 것으로 나타났습니다. 이 연구는 이러한 패턴이 단일 데이터셋의 우연한 결과가 아니라, 이 지역들에서 빈곤이 나타나는 방식의 구조적 특징임을 확인해주었습니다.

이 연구가 무엇을 말하고 있으며 무엇을 말하지 않는지를 이해하는 것이 중요합니다. 이 연구는 컴퓨터 소유나 벽의 품질 같은 것들이 인간의 웰빙에 중요하지 않기 때문에 더 이상 측정해서는 안 된다고 주장하는 것이 아닙니다. 빈곤 측정에 어떤 차원을 포함할 것인가에 대한 선택은 사회가 무엇을 가치 있게 여기느냐에 기반한 도덕적이고 정치적인 결정입니다. 이 연구는 그러한 결정을 내리지 않습니다. 대신, 이미 그러한 결정을 내린 사람들을 위한 실질적인 도구로서 기능합니다. 이 연구는 일단 15가지를 측정하기로 결정했다면, 신뢰할 수 있는 빈곤 수치를 얻기 위해 15가지 모두에 대한 데이터를 수집할 필요는 없을 수도 있다는 점을 보여줍니다. 통계적으로 중복되는 지표를 식별함으로써, 이 연구는 정확도를 희생하지 않으면서도 빈곤 모니터링 시스템을 더 저렴하고, 빠르고, 관리하기 쉽게 만드는 방법을 제시합니다. 무엇을 측정할지에 대한 최종 결정은 정책 입 결정자들에게 남아 있지만, 이제 그들은 어떤 지표가 필수적이고 어떤 것이 단지 부가적인 것인지에 대한 명확한 지도를 가지고 그 결정을 내릴 수 있습니다.