A Total Statistical Error Framework for Comparing Census Data Collection Methods

あなたは、ある賑やかな都市の完璧なスナップショットを撮ろうとしているところだと想像してください。あなたは、誰がどこに住んでいるのか、それぞれの家に何人住んでいるのか、そして彼らが普段どこで眠っているのかを正確に知りたいと考えています。これが国勢調査の仕事です。しかし、人生は複雑です。人々は移動しますし、書類への記入を忘れることもありますし、学生寮や建設現場のキャンプのような一時的な場所に寝泊まりしていることもあります。調査員がその人を見つけられなかったり、その人の「通常」の住所が分からなかったりする場合、彼らは推測しなければなりません。この推測のゲームが「補完（imputation）」と呼ばれるものです。

さて、推測には2つの異なる方法があると考えてみましょう。例えば、ある方法は「最近傍法（nearest neighbor approach）」（回答した最も似ている人を見つけて、その詳細をコピーする手法）を用い、もう一方は「ランダムフォレスト」と呼ばれる複雑なコンピューターの脳を使って予測するという方法です。どちらの推測器が良いかをどうやって判断すればよいのでしょうか？ 通常、統計学者は2つのことを別々にチェックします。「その人を見つけられたか？」そして「住所を正しく推測できたか？」です。しかし、もし一方の方法は多くの人を見つけられるものの住所の推測を間違え、もう一方は見つけられる人数は少ないものの住所の推測は正しいとしたらどうなるでしょうか？ それは、大量の料理を作るが半分は焦がしてしまうシェフと、少量の料理を完璧に作るシェフを比較することに似ています。あなたは、パーツ（部分）だけでなく、「食事全体」を測定する方法を必要としています。この論文は、まさにその問題を解決するための新しい「スコアカード」を構築しており、どの推測方法が人口の最も正確な姿を描き出せるかを決定する手助けをします。

---

大いなる国勢調査・推測対決

人を数える世界では、人数を正しく数えることと同じくらい、住所を正しく特定することが重要です。もし学生が大学の寮にカウントされているが、その人の「通常」の住所が実は実家である場合、それは地域計画にとって間違いとなります。この論文の著者であるSiu-Ming TamとAnders Holmbergは、統計学者が異なる推測方法を比較するための、単一の公平な方法を持っていないことに気づきました。彼らは、「私たちは彼らを見つけられたか？」と「私たちは彼らの住所を正しく当てられたか？」という2つの要素を、一つの単純な数値に組み合わせたスコアを求めていました。

彼らは、**全統計誤差（Total Statistical Error: TSE）**フレームワークと呼ばれる新しい枠組みを作り出しました。これは、国中のすべての人がキャラクターであるビデオゲームのようなものだと考えてください。各キャラクターに対して、2つのことが同時に起こった場合にのみ「正解（Correct）」ポイント（1）が得られます。すなわち、国勢調査が実際にその人を見つけ、かつ、その人を正しい自宅住所に割り当てた場合です。もし国勢調査がその人を見逃した、あるいは、見つけたものの間違った家に配置してしまった場合、それは「不正解（Wrong）」ポイント（0）となります。これらをすべて合計することで、**正解率（Correctness Rate）**が得られます。この率は、究極のタイブレーカー（勝敗を決めるもの）となります。もし方法Aが方法Bよりも高い正解率を持っていれば、方法Aの勝ちです。たとえ方法Aが見つけられる人数がわずかに少なくても、正しい人を正しい場所に配置できていれば、それがより優れたツールなのです。

スコアの確認方法の二つのパラダイム

論文では、持っている情報に応じて、このスコアを計算する2つの方法があることを説明しています。

パラダイム I：ミステリーボックス（検証調査）
時として、全員の「真の」住所を知らないことがあります。手元にあるのはサンプルのみです。巨大な国勢調査データの箱を持っているのですが、本当の答えが分かりません。作業を確認するために、特別なチーム（事後調査、またはPES）をラン送出し、ランダムに選ばれた人々に「ねえ、本当はどこに住んでいるの？」と尋ねます。そして、国勢調査の推測結果と、PESの回答を比較します。これは、先生がランダムに選んだ数問の質問だけをチェックして、テストの採点をするようなものです。論文では、PESに回答しない人々が、回答する人々とは異なる性質を持っている場合（例えば、住所が間違っている人ほど見つけるのが難しい場合など）、スコアにバイアスが生じることを示しています。これは、難しい問題が読み取りにくいために、先生が簡単な問題だけを採点しているようなものです。著者らは、この「依存的な非回答（dependent nonresponse）」が、悪い手法を優れたものに見せかけてしまう可能性があることを明らかにしました。

パラダイム II：マスターキー（直接ベンチマーク）
時として、全員に対する「真実」が手元にあることがあります。例えば、以前の国勢調査や、完璧な政府登録データがある場合です。この場合、推測したりサンプリングしたりする必要はなく、新しい手法を直接マスターリストと比較するだけです。これは、テスト全体の解答鍵を持っているようなものです。推測なしで、正確な正解率を算出できます。彼らは、全員の真の回答を知ることができる2021年のオーストラリア国勢調査の膨大なデータセットを利用したため、この方法を用いてメインの実験を行いました。

大規模実験：誰が最もうまく推測するか？

この新しいフレームワークをテストするために、著者らは2021年のオーストラリア国勢調査の実データを用いた大規模なシミュレーションを実行しました。彼らは3万人のグループを取り出し、そのうちの2%、5%、または10%が「欠損データ（所得や職種など）」を持っていると仮定しました。そして、2つの異なる推測マシンに空白を埋めさせました。

1. k-Nearest Neighbors (kNN): この手法は、データベースの中から、欠損している人に最も似ている人を探し出し、その情報をコピーします。
2. Random Forest (RF): これは、多くの決定木を構築して欠けている情報を予測する、より複雑なコンピューターモデルです。

彼らは、**NMAR（Missing Not At Random: 非ランダムな欠損）**と呼ばれるトリッキーな条件下でこれらの手法をテストしました。これは、欠損している人々が偶然欠落しているのではなく、高所得者であったために、国勢調査の質問に答える確率が低かったというシナリオを意味します。これは、推測を非常に困難にする現実的なシナリオです。

衝撃的な結果：
「全体的な正解率（Overall Correctness Rate）」（全員を含むトータルのスコア）を見たとき、3つの手法すべてがほぼ同じに見えました。すべて95%から98%程度のスコアでした。なぜでしょうか？ なぜなら、ほとんどの人は欠損データを持っていなかったため、自動的に正しくカウントされていたからです。全体的なスコアは、真の問題を隠してしまっていました。

しかし、推測が必要な人々だけに焦点を絞ったとき（「条件付き正解率（Conditional Correctness Rate）」）、物語は一変しました。

• Random Forest モデルは、個々の詳細を推測することにおいて明確な勝者でした。テストされたあらゆる変数において、kNNを上回りました。例えば、正しい職業業界を当てた割合は34%（kNNは29%）であり、所得を正しく当てた割合は17%（kNNは12.5%）でした。
• しかし、全体像（同じ人物について4つの詳細すべてを一度に正しく推測すること）を見たとき、k-Nearest Neighbor 法（具体的には、単一の近傍を使用した場合）が、実はわずかにリードしました。欠損している人々のうち、4つの詳細すべてを正しく当てた割合は、Random Forestの3.4%に対し、kNNは3.7%でした。

なぜこのような違いが生じたのでしょうか？ それは、Random Forestが各詳細を個別に推測したからです。ある人に対して職業は正しく推測できても、所得は間違えてしまうことがあります。一方でkNN法は、同じ「近傍」からすべての詳細を取得するため、答え同士の整合性が保たれます。これは、ある友人から服一式をもらうのと、一人の友人からシャツを、別の友人からパンツをもらうのを比べるようなものです。服一式をもらったほうが、全体としてのフィット感が良くなるのです。つまり、Random Forestは個々の事実については優れた「スペシャリスト」ですが、より単純なkNN法の方が、全体のストーリーを首尾一貫させる上では実際には優れている可能性があるということです。

偏った調査の罠

この論文の最も重要な発見は、「パラダイム I」のシミュレーションから得られました。著者らは、チェックアップ・チーム（PES）が、誤って推測された人々を見つけるのに苦労したシナリオをシミュレートしました。

• 標準的なアプローチ: もしPESに回答した人々だけを見ているのであれば、推測手法の精度は97%であると考えるかもしれません。
• 現実: 真の精度は、わずか95%程度でした。
• バイアス: 標準的なアプローチは、精度を約2.5パーセントポイント過大評価していました。

しかし、ここが決定的な点ですが、特定のグループ（雇用されている人々など）に目を向けると、エラーは爆発的に増大しました。欠損している人々（グループのわずか1.5%から6%程度）が非常に少なかったため、小さなバイアスが劇的に増幅されたのです。標準的なアプローチでは、雇用されている人々の精度は約50〜60%であると主張していましたが、真の精度は実際にはほぼ0%でした！ これは壊滅的な過大評価でした。

解決策:
著者らは、CBB-NRと呼ばれる修正策をテストしました。これは、調査モデルにシンプルな「フラグ」を追加することです。「この人物のデータは、そもそも欠損しており、補完されたものか？」というフラグです。

• このシンプルなフラグを追加したところ、バイアスは**90%**減少しました。
• 驚くべきことに、実際に推測された値（所得や職業の推測値）を追加しても、あまり効果はありませんでした。 「この人物は推測されたものである」という単純な「はい／いいえ」のフラグこそが、魔法の成分だったのです。

なぜこれが重要なのか

この論文は、国勢調査の質を測定するための、新しい公平な「物差し」を統計学者に提供しています。全体的な精度を見るだけでは、欠損データの推測における深刻な欠陥を隠してしまう可能性があることを証明しています。また、チェックアップ調査が、推測が間違っている人々を見つけにくい場合、私たちは自分たちの手法が実際よりもはるかに優れていると誤解してしまう可能性があることを警告しています。

著者らは、新しい「正解率」を用いること、そしてシンプルなフラグによって調査のバイアスを修正することで、ようやくkNNやRandom Forestといった手法を公平に比較できることを示しました。彼らは、複雑なコンピューターモデルは単一の事実を推測することには長けているものの、すべての事実をまとめて保持する単純な手法の方が、実は全体のストーリーを正しく把握する上では優れている可能性があることを明らかにしました。最も重要なことは、チェックアップ調査におけるバイアスを修正しなければ、私たちは地図が完璧だと思い込みながら、実際には穴だらけの地図を手にしていることに気づかないまま、盲目的に進んでしまうということなのです。