💻 computer science

Low-Pass Filtering Improves Behavioral Alignment of Vision Models

この論文は、生成モデルの性能向上の要因が「低域通過フィルタリング」にあることを示し、判別モデルに対してもテスト時に画像をぼかす（高周波成分を除去する）ことで、人間の視覚行動との整合性が劇的に向上し、新たな最先端記録を達成することを明らかにしています。

原著者： Max Wolff, Thomas Klein, Evgenia Rusak, Felix Wichmann, Wieland Brendel

公開日 2026-02-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Max Wolff, Thomas Klein, Evgenia Rusak, Felix Wichmann, Wieland Brendel

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI が人間の目と『同じ間違い』をするようになる秘密」**を解明した面白い研究です。

一言で言うと、**「AI に『ぼやけた』画像を見せるだけで、人間の思考パターンに驚くほど近づく」**という発見です。

まるで、AI に「メガネの度数を少しずらして、少しだけボヤケた世界」を見せることで、人間の脳と同じように物事を見るようになる、といった感じです。

以下に、専門用語を排して、わかりやすい比喩を使って解説します。

1. 問題：AI と人間は「見方」が違う

これまでの AI（ディープラーニング）は、写真認識のテストでは人間よりもはるかに上手ですが、「人間の脳と同じように見ている」わけではありません。

人間の視点： 「これは形が猫だ」と判断する（例：耳の形、しっぽの形）。
AI の視点： 「これは模様が猫だ」と判断する（例：毛並みのテクスチャ、背景のノイズ）。

もし、形は犬なのに、毛並みが猫の画像を見せると、人間は「犬（形）」と答えますが、AI は「猫（模様）」と答えてしまいます。また、人間が「難しい」と感じる画像と、AI が「難しい」と感じる画像もズレています。これを**「行動の一致（Behavioral Alignment）」**が低いと言います。

2. 過去の誤解：「生成 AI」が特別だった？

最近、画像を「描く」ことができる生成 AI（Imagen など）が、人間に近い行動を示すことが発見されました。
研究者たちは、「ああ、画像を**描く（生成する）**という作業をさせたから、AI が人間らしくなったんだ！」と推測していました。まるで、絵を描く練習をすれば、見る目も人間らしくなる、というイメージです。

3. この論文の発見：実は「単純なぼかし」が正解だった

しかし、この論文の著者たちは、**「待てよ、生成 AI にはもう一つの共通点があるぞ」**と気づきました。

生成 AI は、画像を処理する際、**「一度、小さくして（解像度を落として）、また元に戻す」という作業を行っています。
これは、「画像をぼかす（ローパスフィルタ）」**ことと全く同じ効果を持っています。

著者たちは実験しました。

実験： 画像を「描く」作業はさせず、「見る」だけの普通の AI に、あえて画像をぼかして見せた。
結果： 驚くべきことに、「描く」作業をしなくても、AI の行動は人間に劇的に近づいた！

比喩で言うと：
AI はもともと「4K 超高精細なモニター」で見ていて、細かなノイズやテクスチャに敏感すぎました。
しかし、**「少し曇ったメガネ（ぼかし）」をかけた状態で見せると、AI は細部に惑わされず、「全体の形」**に注目するようになりました。その結果、人間の脳と同じように「形」で判断するようになったのです。

4. なぜ「ぼかし」が効くのか？人間の目もそうだから

ここが最も面白い部分です。
実は、人間の目も「ぼやけた」状態で世界を見ています。

人間の目の仕組み： 人間の目のレンズ（水晶体）は完璧ではなく、光が通る際に少し散乱します。また、網膜の細胞も完全にはピントが合いません。
結果： 人間が瞬間的に（0.2 秒程度で）画像を見たとき、脳に入ってくる情報は、実は**「低周波（ぼやけた部分）」が強調されたもの**なのです。

AI に「ぼやけた画像」を見せることは、**「人間の脳が実際に受け取っている信号と同じものを AI にも与える」**ことと同じです。
つまり、AI に「人間の目」を装着させてあげたようなものなのです。

5. 結論：特別な「生成」は不要だった

この研究は、**「AI を人間らしくするには、複雑な生成モデル（画像を描く AI）を作る必要はない」**と示しました。

これまでの常識： 「もっと大きなデータで、もっと複雑なモデルを作れば人間に近づく」。
新しい発見： 「入力画像を少しだけぼかすだけで、人間との行動一致度が劇的に向上する」。

さらに、この「ぼかす強さ」を最適化すると、人間の視覚の特性（コントラスト感度関数）と完璧に一致することがわかりました。

まとめ

この論文は、**「AI を人間らしくするには、AI の頭（モデル）を改造するのではなく、AI の目（入力画像）を少し『ぼやけ』させるだけでいい」**という、シンプルかつ革命的なアイデアを提案しています。

まるで、**「AI に『人間と同じメガネ』をかけてあげたら、AI も人間と同じように世界を見られるようになった」**というお話です。これにより、人間の視覚の仕組みを理解する上でも、AI の安全性を高める上でも、大きな手がかりが見つかりました。

論文の技術的サマリー：「LOW-PASS FILTERING IMPROVES BEHAVIORAL ALIGNMENT OF VISION MODELS」

1. 概要と背景

深層ニューラルネットワーク（DNN）はコンピュータビジョンのベンチマークにおいて高い性能を示していますが、人間の視覚行動（特に「エラーの一貫性」や「形状バイアス」）を十分に模倣できていません。近年の研究では、識別モデルではなく生成モデル（例：Imagen）の方が人間に近い振る舞いを示すことが報告され、これが「生成目的」によるものだと仮説立てられていました。

しかし、本論文は、生成モデルの優れた性能の主要な要因は、生成目的そのものではなく、入力画像の解像度を低下させる操作（リサイズ）にあると主張します。この操作は実質的にローパスフィルタ（低域通過フィルタ）として機能し、高周波成分を除去することで、人間の視覚システムとの行動的整合性（Behavioral Alignment）を劇的に向上させます。

2. 問題設定

課題: DNN と人間の視覚行動の乖離（形状バイアスの欠如、エラーの一貫性の低さ）。
既存の仮説: 生成モデル（Imagen など）の優れた性能は、生成タスクそのものが人間の視覚のトップダウン処理を模倣しているためだと考えられていた。
本論文の仮説: Imagen の入力解像度が 64x64 ピクセルにリサイズされている点（ローパスフィルタリング）が、人間の視覚系（特に短時間提示時のコントラスト感度関数）に近づく鍵であり、これが行動的整合性を向上させている。

3. 手法

本論文では、以下の主要な実験的アプローチを採用しました。

3.1 テスト時におけるローパスフィルタリング

対象モデル: OpenCLIP (ViT-H-14 など) などの識別モデル。
操作: 学習済みモデルに対して、推論時（テスト時）にのみ画像に対して以下の処理を施します。
1. ガウスブラー: 標準偏差 $\sigma$ を変えて画像をぼかす。
2. リサイズ: 画像を低解像度（例：64x64）に縮小し、再度元の解像度に戻す（Imagen の処理を模倣）。
比較: 低域通過フィルタをかけた画像での性能と、元の画像での性能を比較。また、学習時にぼやけた画像で学習させたモデルとの比較も行いました。

3.2 最適フィルタの学習（フーリエ空間）

エラー一貫性（Error Consistency: EC）を最大化するフィルタを直接学習しました。
手法: フーリエ変換空間でフィルタをパラメータ化し、勾配降下法で最適化。
正則化: オーバーフィッティングを防ぐため、フィルタのスパース性と滑らかさを制約しました。
目的: 人間の視覚系に最も適合するフィルタの形状を特定し、それがローパスフィルタであることを実証する。

3.3 人間のコントラスト感度関数（CSF）との比較

短時間提示（200ms）における人間の視覚系は、帯域通過フィルタではなくローパスフィルタとして機能します（Kelly, 1979）。
最適化されたガウスフィルタの周波数スペクトルが、この短時間提示時の人間の CSF をよく近似しているかを検証しました。

3.4 パレート最適解の計算

「OOD 精度（外乱に対する精度）」と「エラー一貫性」にはトレードオフの関係があるため、ベンチマークの理論的な上限（パレートフロンティア）を計算しました。これにより、現在のモデルがどの程度改善の余地があるかを定量的に評価しました。

4. 主要な結果

4.1 ローパスフィルタリングによる性能向上

エラー一貫性（EC）の向上: OpenCLIP ViT-H-14 に $\sigma=2.5$ のガウスブラーを適用したところ、EC が 0.28 から 0.37 に向上しました。これは、それまでの SOTA である生成モデル Imagen (0.31) を上回る結果です。
形状バイアス（Shape Bias）の向上: 同様に、形状バイアスも 0.60 から 0.96 まで大幅に向上しました（人間は 0.96）。
一般化: この効果は OpenCLIP だけでなく、ResNet、SWSL、BiT-M、ViT など、多様なアーキテクチャで観測されました。
精度とのトレードオフ: OOD 精度はわずかに低下しましたが（約 3-6 ポイント）、行動的整合性の向上にはこの精度低下が許容範囲内、あるいは必要不可欠であることが示唆されました。

4.2 生成目的の必要性の否定

生成モデル（Imagen）の優れた性能は、その「生成目的」によるものではなく、単に低解像度入力（ローパスフィルタ）によるものであることが示されました。
識別モデルであっても、適切なローパスフィルタを付加するだけで、生成モデルを凌駕する行動的整合性を達成できます。

4.3 最適フィルタと CSF の一致

学習によって得られた最適フィルタは、明確にローパスフィルタの形状をしていました。
このフィルタの周波数特性は、短時間提示（200ms）における人間のコントラスト感度関数（CSF）と非常に良く一致しており、人間の視覚系が持つ光学系および初期神経処理（網膜・外側膝状体）のフィルタリング特性を模倣していることが確認されました。

4.4 ベンチマークの天井（パレートフロンティア）

計算されたパレートフロンティアによると、理論上の最大エラー一貫性は 0.674（OOD 精度 0.67 の場合）です。
現在のモデル（フィルタ適用後）はこの上限に近づきつつありますが、まだ改善の余地があることが示されました。

5. 貢献と意義

行動的整合性の新たな SOTA: テスト時に画像を単純にぼかす（またはリサイズする）だけで、DNN と人間の行動的整合性を大幅に向上させ、既存の生成モデルを凌駕するスコアを達成しました。
生成モデルの誤解の解明: 生成モデルの優れた性能は「生成タスク」自体ではなく、「低解像度入力（ローパスフィルタ）」によるものであるという代替仮説を提示し、人間の視覚モデルとしての生成モデルの必要性に疑問を投げかけました。
生理学的根拠の提示: 最適なフィルタが人間の短時間視覚処理（CSF）を近似していることを示し、DNN が人間の視覚行動に近づくためには、入力段階で人間の視覚系と同様のフィルタリングを行うことが有効であることを実証しました。
ベンチマークの理論的限界の解明: Model-vs-Human ベンチマークにおける精度と整合性のトレードオフを定量化し、パレートフロンティアを初めて計算することで、今後の研究の目標値を明確にしました。

6. 結論

本論文は、深層学習モデルの人間との行動的整合性を高めるために、複雑な生成モデルの再学習や大規模なデータセットの必要性ではなく、入力画像への適切なローパスフィルタリング（テスト時）が極めて有効であることを示しました。これは、人間の視覚システムが持つ周波数選択特性（特に短時間提示時のローパス特性）をモデルの入力段階で模倣することが、行動的整合性の向上に直結することを意味します。この発見は、人間の視覚モデルの設計指針や、DNN の解釈可能性に関する議論に重要な示唆を与えます。