How can the use of different modes of survey data collection introduce bias? A simple introduction to mode effects using directed acyclic graphs (DAGs)

特定の種類の食べ物が本当にどれくらい好かれているのかを突き止めようとしている場面を想像してみてください。そのために、アンケートに回答してもらうことにしました。しかし、ここにひねりがあります。回答の方法を、回答者に自由に選ばせるのです。紙のフォームに記入する人もいれば、ウェブサイトで回答する人も、電話で担当者と話す人もいます。

この論文は、回答の「方法」を選択させることは、実は2つの巧妙な方法で結果を狂わせてしまう可能性があると論じています。著者たちは、「有向非巡回グラフ（DAG）」というツール（これは、原因と結果の関係を示すシンプルなフローチャートのようなものです）を用いて、なぜこのようなことが起こるのか、そしてどのようにして騙されるのを避けるべきかを説明しています。

問題の概要と解決策を、日常的な例えを用いて解説します。

2つの大きな問題

1. 「モード効果」（仮面の問題）
例えば、「あなたは野菜を食べますか？」と尋ねるとします。

• シナリオA： 親しみやすいインタビュアーと対面で質問された場合。人は「はい！」と言うかもしれません。なぜなら、人間の前では良く見られたい（社会的に礼儀正しくいたい）と思うからです。
• シナリオB： プライベートなコンピュータ画面上で質問された場合。彼らは、安全で正直でいられると感じるため、「いいえ」と入力するかもしれません。

彼らの食習慣という「真実」は変わっていないのですが、回答の「方法（モード）」が変わっただけで、「回答」が変わってしまったのです。これはモード効果と呼ばれます。それは、誰が見ているかによって顔が変わってしまう「仮面」を被っているようなものです。

2. 「モード選択」（自己選択の問題）
さて、誰がその方法を選んだのでしょうか。

• テクノロジーに強い若者は、ウェブサイトを好むかもしれません。
• 高齢者やインターネットを持っていない人は、電話での回答を好むかもしれません。

つまり、ウェブサイトで回答しているグループは、電話で回答しているグループとは異なる人々なのです。これがモード選択です。これは、もし車の所有者にのみ車の運転習慣について尋行したら、車を持っていない人がそこにいないため、サンプル自体がすでに偏っている状態と同じです。

罠： 「修正」することが状況を悪化させる理由

この論文の主な警告は、研究者が「自己選択の問題」を考えずに「仮面の問題」を修正しようとしたときに何が起こるかについてです。

素朴な修正策：
もし、ウェブサイトの人は野菜に対して「いいえ」と言い、電話の人は「はい」と言うことに気づいた場合、研究者はこう考えるかもしれません。「よし、データを分けて比較しよう」あるいは「計算式に『モード』の項目を追加して、その差を打ち消そう」と。

罠（合流点バイアス / Collider Bias）：
著者たちは、もし「その人のタイプ（年齢や教育レベルなど）」が、「どの方法を選んだか」と「何と答えたか」の両方に影響を与えていた場合、これは危険であると述べています。

クラブのボディーガードを想像してみてください：

• 「ボディーガード」は、調査モード（ウェブサイトか電話か）です。
• 「VIP」は、ウェブサイトを選んだ人々です（おそらく若い世代）。
• 「常連客」は、電話を選んだ人々です（おそらく高齢の世代）。

もし、VIPと常連客を直接比較しようとしてデータを「修正」しようとすると、実際には関係のないもの同士の間に、偽の繋がりを偶然作り出してしまう可能性があります。

論文の警告：
もし、人々自身が自分の特性に基づいて調査モードを選んでいた場合、調査モードを「制御（コントロール）」しようとすること（データを分けたり、計算式で調整したりすること）は、**新たなエラー（合流点バイアス）**を生み出すことになります。それは、赤い車を所有している人たちが皆ピザが好きだと観察し、「赤い車がピザ好きを引き起こしている」と結論づけてしまうようなものです。実際には、両方の要素を持つ人々が、たまたま「赤い車のクラブ」を選んだだけなのに。

論文は、フローチャート（DAG）を用いて以下のように示しています：

• もし調査モードが単なる「仮面」（回答には影響するが、本人の特性によって選ばれたものではない）であれば、モードごとにデータを分けることで修正可能です。
• しかし、調査モードが「ボディーガード」（本人の特性によって選ばれたもの）である場合、モードごとにデータを分けて修正しようとすることは、逆に**新たなエラー（合流点バイアス）**を生み出します。

研究者はどうすべきか？

論文では、状況に応じて3つの対処法を提案しています。

1. そのままにする（条件付け）： もし人々が自身の特性に基づいてモードを選んでいないと確信できるなら、単にデータをモード別に分けることができます。しかし、もし彼らが選んでいたのであれば、それはしないでください！
2. 推測して埋める（代入法）： 「ウェブサイトの人々」がもし「電話メソッド」を使っていたらどう答えたかを推測し、空白を埋める方法です。論文では、これはリスクが高いと警告しています。なぜなら、欠損データがランダムであることを前提としていますが、実際にはそうではないことが多いからです。これは、友達に質問をしていないのに、その答えを推測しようとするようなものです（他の人と同じ答えを出すだろうと仮定して）。
3. 「もし〜だったら」ゲーム（定量的バイアス分析）： これが著者たちが最も推奨する手法です。データを魔法のように修正しようとするのではなく、データの不完全さを認めるのです。「よし、モード効果がこれくらいの大きさだったと仮定しよう。その時、結果はどう変わるだろうか？」と考え、異なるサイズで試してみます。エラーの大きさを変えても主要な結論が変わらないのであれば、あなたの発見には自信を持ってよいでしょう。

まとめ

異なる調査方法（電話、ウェブ、紙など）を混ぜ合わせる時は、注意が必要です。

• 方法は重要です： それは人の答え方を変えます（仮面）。
• 人は重要です： 異なる人々が異なる方法を選びます（ボディーガード）。

もし「ボディーガード」がいることに気づかずに「仮面」の問題を修正しようとすれば、誤って偽の物語を作り上げてしまうかもしれません。最善のアプローチは、自身の前提を（フローチャートを用いて）明確にし、データを完璧に修正することはできないと理解した上で、エラーの大きさが変われば結果がどう変わるかをテストすることです。