A note on the optimum allocation of resources to follow up unit nonrespondents in probability

あなたは、ある都市の全人口に関する謎を解こうとしている探偵だと想像してください。しかし、あなたは少数のランダムなグループにしかインタビューすることができません。これが、政府や研究者が、フィールドに何頭の羊がいるかから、人々が自分の仕事についてどう感じているかまで、あらゆることを理解するために使用する統計ツールである「確率調査」の世界です。大きな問題は？全員がドアを開けてくれるわけではないということです。ある人は探偵を無視し、ある人は電話を切ってしまい、またある人は単に話すのを拒否します。これは「無回答（nonresponse）」と呼ばれます。

長い間、これらの探偵にとっての標準的なルールはシンプルでした。「誰かがドアを開けるまで、返事のないすべてのドアを叩き続けること」です。目標は、できる限り高い「回答率（response rate）」、つまり「はい」と言った人の割合を得ることでした。論理はこうです。「より多くの人に話を聞けば、都市の全体像はより鮮明になるはずだ」と。しかし、統計学者たちは、高い回答率が必ずしも高品質な画像（データ）を意味するわけではないということに気づきました。多くのドアを叩いても、結局、回答した人々がすべて同じ近所の人々であった場合、都市全体の偏った見方をしてしまう可能性があります。真の目標は、単に多くの「はい」という答えを得ることではなく、持っている予算の中で、いかに正確な答えを得るかということなのです。この論文は、極めて重要な問いを投げかけています。もしドアを叩くための予算が限られている場合、単に「声の大きい（回答数の多い）」結果を得るのではなく、最高の成果を得るために、どのように予算を使うべきでしょうか？

---

探偵のジレンマ：なぜすべてのドアを叩くことが時間の無駄になり得るのか

オーストラリア統計局などが収集しているような公式統計の世界には、「コスト」と「品質」の間の古典的な綱引きが存在します。調査統計学者は、「無回答フォローアップ（NFU）」のための予算、つまり最初の回答がなかった人々を追いかけるために費やすお金と時間を保有しています。旧来の戦略は、この予算を使用して、最初の回答が得られなかった「すべて」の人々にフォローアップを行い、彼らを回答者に変えることを期待するというものでした。考え方はこうでした。「回答者が多ければ多いほど、データは良くなる」というものです。

しかし、この論文の著者であるSM Tam、A Holmberg、S Wangは、これは探偵が、単に「やってみた」と言うために、協力的な目撃者を何度も何度も何度も聞き出そうとして全財産を使い果たし、その一方で、事件をより早く解決できる他の手がかりを無視しているようなものだと主張しています。彼らは、「回答率はデータの質を示す指標としては不十分である」と指摘しています。時には、回答率を高めることが、むしろバイアス（偏り）を導入することでデータを「悪化」させることさえあります。

回答率を追い求める代わりに、著者らは新しい戦略、すなわち「平均二乗誤差（MSE）の最小化」を提案しています。簡単に言えば、MSEとは、あなたの推測が真の答えからどれだけ離れているかを測る尺度です。目標は、フォローアップの予算を、単に「声を大きくする」ためではなく、最終的な推定値を真実にできる限り近づける方法で使うことです。

新しい戦略：「応答均質性グループ（RHG）」マップ

これを解決するために、著者らはビデオゲームの攻略本のような手法を提案しています。彼らは、非回答者を「応答均質性グループ（RHG）」と呼ばれるグループに分割します。これらのグループは、いわば、全員が似たような「話しやすさ」のスコア（「傾向スコア」として知られる）を持つ近隣地域のようなものです。

• グループA： 優しく頼めば、非常に回答してくれる可能性が高い人々（高傾向）。
• グループB： 非常に頑固で、何をしても回答する可能性が低い人々（低傾向）。

論文では、全員を同じに扱うべきではないと述べています。もし予算が限られているなら、一度5回ノックしてもなお、超頑固なグループBの人々を説得するためにエネルギーを浪費すべきではありません。代わりに、数回の追加のノックによって、実際に新しい有用な情報が得られるグループに注力すべきです。

著者らは、「準ランダム化（quasi-randomisation）」と「逆傾向重み付け（inverse propensity weighting）」という数学的枠組みを使用しています。群衆の写真を撮っている場面を想像してください。もし前列の人々だけを撮影すれば、写真は偏ってしまいます。しかし、もし後列に何人がいて、彼らがどれくらいの確率で前へ踏み出すかを知っていれば、数学的に写真を「引き伸ばして」、あたかも全員を見たかのように見せることができます。この論文は、誰にフォローアップの努力を払うべきかを決定するために、その数学を用いることを示唆しています。

羊農場の実験

彼らのアイデアをテストするために、著者らはオーストラリアの「2018/19年度 農村環境・農業商品調査（REACS）」の実データを用いたシミュレーションを行いました。彼らは農場の「羊」の数を推定しようとしていました。

実験の設定は以下の通りです：

1. データ： 4,696の農場を調査しました。そのうち3,525は継続農場（以前にも調査があった農場）であり、1,171は新規農場でした。
2. 予測： 著者らは「ランダムフォレスト（意思決定ツリーのチームのような機械学習の一種）」と呼ばれるアルゴリズムを使用し、各農場が回答する可能性を予測しました。新規農場については、「k近傍法」を用い、最も類似した古い農場の挙動から新規農場の行動を推測しました。
3. グループ分け： すべての非回答農場を、回答の可能性に基づいて10のグループ（RHG）に分類しました。範囲は「非常に可能性が低い（0%〜10%）」から「非常に可能性が高い（90%〜100%）」までです。
4. 予算： 仮定のフォローアップ予算を30,000ドルに設定しました。

結果：一生懸命ではなく、賢く使う

著者らは、羊のカウントにおける誤差を最小限に抑えつつ、予算を使い果たさないための最適な訪問回数を算出するために、コンピュータソルバー（超高性能な計算機のようなもの）を使用しました。

従来の方法（一般的な慣行）：
もしすべてのドアを同じ回数叩くのであれば、超頑固な農場（結果が得られない場所）に時間を使いすぎ、一方で「もしかしたら」という農場への対応が不足してしまうかもしれません。彼らのシミュレーションでは、この「一律（one-size-fits-all）」のアプローチは30,000ドルを費やし、99%の回答率をもたらしました。しかし、羊のカウントにおける誤差は依然として比較的高いままでした。

新しい方法（最適配分）：
著者らの手法は、全く異なる計画を提示しました：

• 「非常に可能性が低い」グループに対して： 第1グループには6回、第2グループには5回ノックします。これらのグループはデータの分散（バラつき）が大きく、推定値全体の不確実性に最も寄与します。ここに訪問を多く割り当てることで、この戦略は誤差を最も減らすことができるグループをターゲットにします。
• 「非常に可能性が高い」グループに対して： 1回だけノックします。これらの人々はすでに回答する可能性が高いため、6回もノックして無駄にする必要はありません。
• コスト： このスマートな戦略は、わずか19,640ドル（予算の約3分の2）しかかかりませんでした。
• 結果： 彼らは、予算を使いながらも、非回答による分散（エラー）を577億ユニットから382.1億ユニットへと減少させました。

大きな驚き：
「一般的な慣行」は99%の回答率を得ましたが、「最適戦略」は97%の回答率でした。

• 一般的な慣行： 回答率99%、誤差は高い、コストは30,000ドル。
• 最適戦略： 回答率97%、誤差は低い、コストは19,640ドル。

論文は、99%の回答率は「偽りの勝利」であったことを示しています。それは一見立派に見えますが、より多くのコストがかかり、実際には羊の個体数についてより不正確な図を与えていました。最適戦略は、より少ない人数が「はい」と言ったにもかかわらず、より少ないお金で、より正確な答えを提供しました。具体的には、標準的な「すべてのドアを叩く」方法と比較して、最適配分は非回答分散を約**3.9%**減少させました。（注：論文にある10.4%の減少は、フォローアップを「全く行わない」場合と比較した平方根平均二乗誤差（RMSE）の減少であり、標準的な方法との比較ではありません）。

これが将来に意味すること

著者らは、高い回答率を追い求めることは罠であると結論づけています。それは、勝負が決まった手札を確認する代わりに、ただ「チェック！」と叫ぶ回数を数えることでゲームに勝とうとするようなものです。

彼らの知見は、調査統計学者は「すべての」非回答者を説得しようとするのをやめるべきであることを示唆しています。代わりに、どのグループに少しのプッシュが必要で、どのグループがすでに順調であるかを特定するために、データを使用すべきです。リソースを、平均二乗誤差（MSE）を最も減少させる場所に割り当てることで、機関はより少ない費用でより良いデータを得ることができます。

羊の調査の具体的なケースにおいて、最適配分は、何も行わない場合と比較して誤差を大幅に減少させ、標準的な「すべてのドアを叩く」方法と比較しても、小さくとも意味のある差を生み出しつつ、数千ドルの節約を実現しました。この論文は、これがあらゆる問題に対する魔法の杖であると主張しているのではなく、調査のフォローアップをよりスマートにするための、明確で数学的に裏付けられた方法を提供しており、「いつノックをやめるべきかを知ることは、いつノックを始めるべきかを知ることと同じくらい重要である」ということを証明しているのです。