Evaluating Graphical Perception Capabilities of Vision Transformers

本論文は、Cleveland と McGill の研究に触発された制御されたグラフィカル知覚タスクにおいて、Vision Transformer（ViT）が CNN や人間と比較してどの程度人間の知覚と一致するかを評価し、ViT が一般的な視覚タスクでは優れているものの、可視化分野における人間のようなグラフィカル知覚の能力には限界があることを明らかにしています。

要約

視覚の「天才」は、実は「勘違い」しやすい？

――AI の新しい目（ViT）が、人間の「直感」を真似できるか検証した研究の解説

こんにちは。今回は、2026 年に発表された最新の研究論文を、難しい専門用語を使わずに、まるでお茶の間の雑談のように解説します。

この研究のテーマは、「最新の AI（Vision Transformer）」が、人間のようにグラフや図表を「直感的に」読めるのか？ という疑問です。

---

1. 物語の登場人物：3 人の「目」

この研究では、3 つの異なる「目」を持つ存在を比べました。

1. 人間（あなたと私）
   • 特徴: 何百年も進化してきた「直感の達人」。棒グラフの長さや円グラフの角度を、一瞬で「あ、こっちの方が大きいな」と感じ取れます。
2. CNN（従来の AI の目）
   • 特徴: 昔ながらの「パズル好き」。画像を小さなタイル（パッチ）に切り分け、その局部を順番に組み合わせて理解しようとします。まるで、絵の一部分を拡大鏡で見て「ここは赤だ、ここは青だ」と積み上げていく職人のようです。
3. ViT（Vision Transformer：最新の AI の目）
   • 特徴: 「全体を見る天才」。画像をバラバラの断片（トークン）に分解し、それらが「どう関係しているか」を、まるで会議で全員が同時に発言して議論するように、一瞬で全体像を把握しようとします。最近のチャットボットや画像認識で大活躍している「スーパー AI」です。

【研究の問い】
「ViT という『全体を見る天才』は、人間が得意とする『グラフの読み方』も、人間と同じように上手にできるのだろうか？」

---

2. 実験：AI に「小学生の算数」を解かせる

研究者たちは、人間の視覚能力を測るために使われる古典的なテスト（Cleveland と McGill の研究）を AI にやらせました。

• テストの内容:
  • 「この棒グラフ、どれくらい長い？」
  • 「この円グラフ、どのくらいの角度？」
  • 「点々が散らばっている中、何個の点がある？」
  • 「この影の濃さ、何を表している？」

これらは人間にとって「直感的」な作業ですが、AI にとっては「数値を正確に当てはめる」難しい課題です。

3. 驚きの結果：天才は「勘違い」した！

結果は、**「ViT は、人間には簡単すぎる課題で、なぜか失敗した」**というものでした。

🏆 人間 vs ViT：人間の圧勝

• 棒グラフの長さ比較: 人間は「あ、こっちが長い」と瞬時にわかります。しかし、ViT は「えっと、計算すると…」と迷い、2 倍も間違った答えを出しました。
• 点の数のカウント: 点々が散らばっている画像で「何個あるか」を当てる課題では、ViT は完全にパニック状態。人間は感覚で「多いな」とわかりますが、ViT は「1000 個あるのか、10 個あるのか」を混乱しました。

🤔 なぜ？ViT の「弱点」

ViT は「全体を一度に見る」のが得意ですが、「長さ」や「位置」のような、単純な物理的な比較においては、人間のような「直感」を持っていません。

• 比喩で言うと: ViT は「素晴らしい料理のレシピ（全体像）」は完璧に理解できますが、「このスプーンとあのスプーン、どっちが長い？」という単純な比較では、人間の直感に劣るのです。

🥈 CNN との比較：古い方が強い？

意外なことに、最新の ViT よりも、昔ながらの CNN（パズル好き）の方が、これらの「長さや角度」の測定では正確でした。

• 理由: CNN は「局部を順番に見る」癖があるため、棒の長さや位置を測るような「局所的な作業」に、なぜか適しているようです。ViT は「全体を俯瞰する」ことに特化しすぎて、細部の「物差し」を失ってしまったのかもしれません。

---

4. 重要な発見：AI は「人間の感覚」を真似していない

この研究で最も重要な発見は、**「AI がグラフを解釈する順番が、人間と違う」**ということです。

• 人間: 「長さ」や「位置」が一番わかりやすい → 「角度」や「面積」は少し難しい → 「影」や「曲がり具合」は一番難しい。
• ViT: 「長さ」や「位置」は難しい → 「曲がり具合」や「影」は意外に得意。

【比喩】
人間が「長さ」を測るのに定規を使うように、ViT は「曲がり具合」を測るのに特別なセンサーを使っているようです。
つまり、**「ViT はグラフを見ているようで、実は人間とは全く違う『別の世界』を見ていた」**と言えます。

5. この研究が私たちに教えてくれること

この研究は、**「最新の AI が万能ではない」**ことを示しています。

• 自動チャート作成や分析: もし AI に「このグラフを人間にわかりやすく説明して」と頼んでも、AI が「長さ」を正しく認識できないなら、間違った結論を導いてしまうかもしれません。
• 今後の課題: 開発者は、ViT という「天才」を、人間の「直感」に近い感覚で働かせるように、もっと訓練する必要があります。

まとめ

この論文は、**「最新の AI（ViT）は画像認識の天才だが、グラフを読む『人間の直感』にはまだ追いついていない」**と告げています。

AI は「全体像」を見るのが得意ですが、人間が「長さ」や「位置」を瞬時に判断するあの**「直感の魔法」**はまだ持っていないのです。これから、AI が人間と協力してデータを見るときは、その「違い」を理解して使うことが大切だ、というメッセージが込められています。

---

一言で言うと：
「最新の AI は、絵画の鑑賞は得意だけど、定規で長さを測るような単純な作業では、人間の直感にまだ勝てないんだね！」

技術概要

論文要約：Vision Transformers のグラフィカル知覚能力の評価

論文タイトル: Evaluating Graphical Perception Capabilities of Vision Transformers
掲載誌: Computers & Graphics (2026)
著者: Poonam Poonam, Pere-Pau Vázquez, Timo Ropinski

1. 研究の背景と問題提起

ビジョン・トランスフォーマー（ViT）は、従来の畳み込みニューラルネットワーク（CNN）に代わる強力な画像処理モデルとして台頭し、複雑な空間パターンの捕捉において優れていることが示されています。しかし、データ可視化の分野では、人間がグラフやチャートを解釈する際に不可欠な「低レベルの視覚的知覚（位置、長さ、角度、面積などの推定）」において、ViT が人間とどの程度一致するかが未解明でした。

Cleveland と McGill の古典的な研究は、人間が異なる視覚エンコーディングをどの程度の精度で知覚できるかを階層的に評価し、可視化デザインの基礎を築きました。その後、CNN に対して同様の評価が行われましたが、ViT の知覚能力、特に人間のような「グラフィカル知覚（Graphical Perception）」との整合性については、体系的な検証がなされていませんでした。本研究は、ViT が可視化タスクにおいて人間と同等の知覚精度を達成できるか、あるいはどのようなギャップが存在するかを明らかにすることを目的としています。

2. 研究方法

2.1 評価タスクとデータセット

本研究では、Cleveland と McGill の実験および Haehn らの先行研究に基づき、9 つの基本的な視覚エンコーディング（位置、長さ、角度、面積、体積、曲率、陰影など）に焦点を当てました。具体的には以下の低レベル視覚タスクを評価対象としました：

• 位置 - 角度: 棒グラフや円グラフにおける比率の推定。
• 位置 - 長さ: グループ化された棒グラフと分割された棒グラフにおける位置と長さの推定。
• 棒と枠付き長方形: 非対称スケールにおける長さの比較。
• 点群（Point Cloud）: ウェーバーの法則に基づき、散布図内のドット数（10, 100, 1000）の推定。

データセットは、Haehn らの手法を再現して生成された 10 万枚の画像（各タスクあたり）を使用し、訓練・検証・テストセットに 6:2:2 で分割しました。

2.2 評価対象モデル

ViT アーキテクチャの多様性を反映するため、以下の 3 つのモデルをゼロから訓練し、CNN（LeNet, VGG19, Xception, ResNet-18）および人間の実験データと比較しました：

1. Vanilla Vision Transformer (vViT): 純粋なトランスフォーマー構造。
2. Convolutional Vision Transformer (CvT): 畳み込み層を組み込んだハイブリッド構造。
3. Swin Transformer: 階層的な表現学習とシフトウィンドウ機構を採用。

2.3 評価指標

知覚精度を定量化するために、**平均対数絶対誤差（MLAE: Mean Log Absolute Error）**を使用しました。
$$\text{MLAE} = \log_2(|\text{予測値} - \text{真値}| + 0.125)$$
値が低いほど知覚精度が高いことを示します。また、タスクの難易度順位（人間、CNN、ViT 間の比較）も分析しました。

3. 主要な結果

3.1 人間 vs ViT

• 全体的な性能: 人間は多くの知覚タスクで ViT を凌駕しました。特に「棒と枠付き長方形」や「点群」の推定において、人間の精度が著しく高いことが示されました。
• 例外: ViT（特に Swin）は「方向（Direction）」や「陰影（Shading）」の推定において、人間よりも高い精度（低い誤差）を達成しました。これは、ViT が局所的なテクスチャや配向の検出に優れていることを示唆しています。
• 順位の違い: 人間にとって難しいタスク（曲率や面積）を、ViT は比較的容易と判断する傾向があり、知覚の階層構造において人間との乖離が見られました。

3.2 CNN vs ViT

• 誤差の比較: 全体的に、ViT は CNN よりも高い誤差（MLAE）を示しました。特に「点群」タスクでは、CNN の平均誤差が 3.40 であるのに対し、ViT は 6.37 と大幅に劣りました。「棒と枠付き長方形」タスクでも同様の傾向が見られました。
• 一般化能力: ViT は訓練データのパラメータ変化（オブジェクトの幅や位置の変化など）に対する一般化能力が低く、CNN に比べて頑健性が不足していることが判明しました。

3.3 アーキテクチャ間の比較

• Swin Transformerが 3 つの ViT の中で最も優れた性能を示しましたが、それでも CNN や人間には及ばないケースが多かったです。
• CvTは CNN の要素を取り入れていますが、Swin には劣る結果となりました。
• アブレーション研究: 画像解像度の変更、パッチサイズの縮小（8x8）、訓練データの 4 倍増、ImageNet での事前学習などを行いましたが、低レベル知覚タスクにおける性能向上は限定的でした。

4. 主要な貢献

1. ViT の知覚能力の体系的評価: Cleveland と McGill の枠組みに基づき、3 つの代表的な ViT アーキテクチャを低レベル視覚タスクで評価し、人間および CNN との比較を行いました。
2. 知覚的整合性の限界の特定: ViT が一般的なビジョンタスクでは優れているものの、可視化分野で必要な「人間のようなグラフィカル知覚（特に長さや位置の比較、点群の推定）」においては、人間や CNN に比べて整合性が低いことを実証しました。
3. 将来の研究方向性の提示: 可視化システムや自動チャート解釈において ViT を適用する際の注意点を示唆し、知覚的に整合したモデル開発の必要性を提唱しました。

5. 結論と意義

本研究は、ViT がデータ可視化の分野で広く使用される前に、その知覚的基盤を慎重に検証する必要性を浮き彫りにしました。ViT は局所的な特徴やテクスチャの認識には優れていますが、人間が得意とする相対的な長さの比較や、不確実性下での推定（点群など）においては、依然として人間や CNN に劣ります。

この知見は、自動チャート解釈、可視化の再設計、人間中心の AI 設計において重要です。ViT を可視化システムに統合する際は、単にタスク精度だけでなく、「人間がどのように知覚するか」という視覚的忠実度（Perceptual Fidelity）を考慮した設計が必要であることが示されました。今後は、より大規模なモデルやマルチモーダルモデルを用いたさらなる研究、および人間の知覚に合わせたアーキテクチャの再設計が期待されます。