Feature Selection for Multidimensional Poverty Measurement: Taming Indicator Dimensionality

貧困は長い間、ある一つの数字、つまり個人や家族がいくらのお金を持っているかによって測定されてきました。もし所得がある一定のラインを下回れば、その人は貧困層としてカウントされます。しかし、この狭い見方は苦難の現実を見落としています。ある家族は食べ物を買うための十分な資金を持っていても、清潔な水や電気、あるいは医師へのアクセスを欠いているかもしれません。このより完全な全体像を捉えるために、社会科学者や政策立案者は「多次元的貧困測定」へと目を向けてきました。単一の要素を見るのではなく、子供が学校に通っているか、家に水洗トイレがあるか、あるいは成人が慢性疾患に苦しんでいるかといった、数十もの異なる指標を追跡するのです。これらの多くの信号を組み合わせることで、彼らは誰が同時に複数の面で本当に困窮しているのかを特定することができます。このアプローチは現在、100カ国以上の国々で援助や政策を導くためのグローバルスタンダードとして、国際連合のような組織によって用いられています。しかし、これらの指標のリストが長くなり、時には数百に達することもあり、新たな問題が生じています。膨大なデータを収集し処理することは非常にコストがかかり、時間がかかるため、政府がリアルタイムで貧困層を効果的に監視することを困難にしているのです。

中国の復旦大学の研究者であるカン・スン（Kan Sun）は、この実用的なボトルネックを解決しようと試みました。問いの本質は、生活の多くの側面を測定すべきかどうかではなく、正確な結果を得るために本当にそのすべてを測定する必要があるのかどうかでした。スンは、膨大なリストから、正確な識別能力を失うことなく「余分な脂肪」を削ぎ落とす方法があるのではないかと考えました。その答えを見出すために、研究者は通常、人工知能や機械学習のために用意されるツールを用いました。具体的には、「特徴量選択（feature selection）」と呼ばれる手法を用いたのです。平たく言えば、これらは大量のデータの中から最も重要な情報を持つ少数の項目を選び出し、残りを冗長なものとして捨てる、いわば「ふるい」のような役割を果たす手法です。目的は、慎重に選ばれた少数の指標グループが、より大きく扱いにくい大規模なセットと同じ役割を果たせるかどうかを確認することでした。

この研究では、教育、健康、生活水準にわたる15の剥奪の兆候を追跡した、インドの4万2,000世帯以上の大規模な調査を用いて、これらのアイデアをテストしました。研究者はこのデータに対して5つの異なる機械学習アルゴリズムを適用しました。各アルゴリズムは異なる「審判」のように機能し、ある世帯が貧困であるかどうかを予測する上でどれほど有用であるかによって、15の指標をランク付けしました。その結果は驚くべきものでした。アルゴリズムは一様に、非常に小さな指標のサブセットの中に、必要な情報のほぼすべてが含まれているということに同意しました。リストの最上位にあったのは「女性の教育」でした。データによれば、世帯内で最も教育を受けた女性が6年未満の教育しか受けていないかどうかを知るだけで、フルセットを用いた場合とほぼ同一の精度で貧困を予測できることが示されました。もし家庭内の女性がこの基礎的な教育を欠いていれば、その世帯はほぼ確実に複数の面において貧困でした。逆に、彼女がそれを備えていれば、その世帯はほぼ確実に貧困ではないということになります。

女性の教育以外にも、成人の健康や基本的な生活水準といったいくつかの要因も、非常に有益であることが証明されました。対照的に、理論上は重要に見える指標が、貧困層と非貧困層を分類する上では役に立たないことが判明しました。例えば、コンピュータの所有権は最下位にランク付けされました。これはコンピュータが重要でないからではなく、調査対象者のほとんどが所有していなかったためです。ほぼ全員がこの項目において「剥奪」されている状態であったため、貧困世帯と、それよりはるかにマシな世帯を区別する助けにはなりませんでした。同様に、電気も非常に一般的であり、その欠如は稀であったため、分類のためのツールとしては不適切でした。研究の結果、最も有用性の低い指標を排除することで、研究者は精度をほとんど損なうことなく、リストを15項目から8項目に減らせることが分かりました。システムは依然として、ほぼ同一の精度で貧困層を特定することができました。しかし、指標が5つ未満になると、精度は急激に低下します。この発見は、研究者が「貧困」の定義を変更したり、異なるカテゴリーへの重み付けを調整したりした場合でも、同様に成立しました。

この研究が単なるインドのデータの特異性によるものではないことを確認するため、研究者は南アフリカの同様の調査を用いて同じ演習を繰り返しました。結果はほぼ同一でした。南アフリカにおいても同様に、教育と健康が、測定システム全体の重みを担う小さく強力なコアを形成しており、多くの生活水準に関する指標は冗長であることが判明しました。この研究は、このパターンが単一のデータセットにおける偶然の産物ではなく、これらの地域における貧困の発現形態における構造的な特徴であることを裏付けました。

この研究が何を語り、何を語っていないのかを理解することが極めて重要です。この研究は、コンピュータの所有権や壁の質といったものが、人間の幸福にとって重要ではないからといって、それらの測定をやめるべきだと主張しているわけではありません。どの次元を貧困測定に含めるかは、社会が何を価値とするかに基づく、道徳的かつ政治的な決定です。この研究はその決定を下すものではありません。むしろ、すでにそれらの決定を下した人々に対する、実用的なツールとして機能するものです。これは、15の事柄を測定すると決めた場合、信頼できる貧困カウントを得るためにその15すべてを収集する必要はないかもしれない、ということを示しています。統計的に冗長な指標を特定することで、本研究は、精度を犠牲にすることなく、貧困監視システムをより安価で、速く、管理しやすくする方法を提示しています。何を測定するかという最終的な決定は政策立案者に委ねられていますが、彼らは今や、どの指標が不可欠であり、どの指標が単なる「余剰」であるかという明確な地図を持って、その決定を下すことができるようになったのです。