ML-Assisted Cognitive Characterization of Human Problem Solving Behaviors through Visuo-Spatial Game

人間の精神は、世界のパターンを見つけ出し、パズルを解き、目標に到達するために絶えず世界をスキャンする、ナビゲーションの達人です。何十年もの間、科学者たちは人間がどのようにこれを行っているのかを理解しようと試みてきました。私たちがどのような動きをし、どのような選択を下し、どのような戦略を用いるかという「行動」を観察することによってです。しかし、この精神的な作業のかなりの部分は、私たちが実際に行動を起こす前に起こっています。それは、私たちの目が一点から別の点へと飛び、細部に留まり、あるいは全体像を走査するという方法において起こります。これらの眼球運動は無作為なものではありません。それらは私たちの思考プロセスへの直接的な窓なのです。問題を見たとき、私たちの目は、私たちが混乱しているのか、進むべき道を見つけたのか、あるいは試行錯誤のループの中で立ち往生しているのかを明らかにします。これらの視覚的習慣を研究することで、研究者は人間の問題解決における目に見えない構造を見分けることができ、「突破口を開こうとしている人」と「ただ彷徨っている人」を区別することができるのです。

インド工科大学カラグプル校の研究チームは、古典的なパズルと現代的なツールを用いて、このアイデアを検証することにしました。彼らは成人のグループを集め、特定の種類の視覚的パズルとして知られる「8タイル配置ゲーム」を解くよう求めました。このゲームでは、画像が9つのブロックに分割されており、1つのブロック（具体的には右下のタイル）が取り除かれて隙間が生じています。プレイヤーは元の画像を再構成するために、画像のタイルを空いたスペースにスライドさせなければなりません。単純に聞こえますが、解決への道のりは決して直線的ではありません。研究者たちは参加者にアイトラッキング装置——人がどこを見て、どのくらいの時間見ているかを正確に記録するカメラであり、毎秒数千のデータポイントを捉えるデバイス——を装着させました。プレイヤーがタイルを動かす際、機械は彼らの注視を記録し、注意のディテールなマップを作成しました。目的は単に誰がパズルを解けたかを知ることではなく、成功した場合、苦戦した場合、あるいは完全に諦めた場合に、目の動きがどのように異なって展開するかを理解することでした。

研究者たちは、強力なコンピュータプログラム、つまり一種の機械学習モデルを使用して、アイトラッキングデータを分析しました。彼らは最終スコアだけを見たのではなく、一歩一歩繰り広げられる物語を観察したのです。彼らは、コンピュータが二つの主要なグループ――後に「ソルバー（解決者）」と呼ぶようになった、最終的にパズルを解いた人々――と、「ノンソルバー（非解決者）」と呼ばれる、解けなかった人々――を判別できることを発見しました。その違いは、どれだけの数を操作したかではなく、注視のリズムとパターンにありました。ソルバーたちは、コンピュータが高精度で識別できる明確な視覚的挙動を示しており、多くの場合、ゲーム開始からわずか数手以内にそれが特定されました。これは、人が問題を見る方法が、ほぼ即座にその戦略を明らかにするということを示唆しています。

しかし、物語はこれら2つのグループだけで終わりませんでした。研究者たちは、ソルバーの中にも非常に異なるタイプの思考者がいることを見出しました。第一のグループである「エキスパート（専門家）」は、着実かつ戦略的な目でパズルに臨みました。彼らの注視は集中して効率的であり、解決に向けて目的を持って動いていました。第二のグループである「パーシステント・プレイヤー（粘り強いプレイヤー）」もパズルを解きましたが、彼らの目は異なる物語を語っていました。彼らの目は不安定で、あちこちに飛び跳ねたり、領域を何度も行き来したり、混乱の兆候を示しながらも、最終的に道を見出していました。彼らは問題を解決しましたが、最初から道を明確に見通していたのではなく、可能性の中を彷徨うことで解決に至ったのです。同様に、ノンソルバーも全員が同じではありませんでした。「トライヤー（試行者）」と呼ばれる人々は、パズルを解くために長い時間を費やしました。彼らの目は努力と探索の混ざり合いを示しており、答えを探し、アイデアを試し、時には解決策にかなり近づきながらも途中で断念していました。もう一方のグループである「キッター（諦める人）」は、関与の欠如を示していました。彼らの注視パターンは、探求する意志がないことを示しており、探索することもせず、単にゲームが終わるのを待っていたのです。

最も衝撃的な発見の一つは、これらの違いがいかに早く現れたかということでした。コンピュータモデルは、ゲームのごく一部を観察しただけで、プレイヤーが成功するか失敗するかを高確率で予測できました。研究者が「サドルポイント（鞍点）」と呼んだこの瞬間は、プレイヤーの行動が明確なパターンとして定着する時点のことです。エキスパートにとって、これはほとんど瞬時に起こりました。トライヤーにとっては、ボードを探索するためにより時間がかかりましたが、彼らの「試そうとするパターン」は、何も試行的なパターンを示さなかったキッターとは依然として明確に異なっていました。また、研究はコンピュータがゲームの未来をどの程度予測できるかについても調査しました。初期の眼球運動を見ることで、モデルはプレイヤーが完了までにあと何手必要か、あるいは辞めるまであとどのくらいプレイし続けるかを推定することができました。予測は、コンピュータが特定のタイプのプレイヤーに基づいて訓練されたときに最も正確になり、エキスパート特有の「言語」や、トライヤー特有の葛藤を学習しました。

研究者たちも、プレイヤーの精神状態を理解するためにデータのノイズに着目しました。彼らは、エキスパートの眼球運動には非常にクリーンで安定した信号があり、それが冷静で自信に満満ちた心を暗示していることを見出しました。一方で、パーシステント・プレイヤーは、より多くのノイズを含む信号を示しており、考えながら進めていく過程での精神的努力を反映するように、目が激しく動いていました。トライヤーもこのようなノイズが多く変動するパターンを示しましたが、これは彼らが完全には把握できない解決策を積極的に探し求めているためと考えられます。対照的に、キッターは、集中によるものではなく、関心の喪失から来る、異なる種類の安定性を示していました。この研究は、私たちの物事の見方が、高度に敏感な認知戦略の指標であることを示唆しています。それは、私たちが深く考えているのか、ループの中に陥っているのか、あるいは興味を失ってしまったのかを明らかにします。

本研究は、人間が自分自身について何を言っているかではなく、瞳が何を考えているかを明かす姿を通じて、人間の知性を理解するための新しい方法を提供しています。それは、問題解決が一つのスキルではなく、エキスパートのような戦略的な明晰さから、トライヤーのような決意はあるものの混乱した探索に至るまで、多様な振る舞いの集合体であることを示しています。こうしたパターンをタスクの極めて早い段階で検出できる能力は、教育者やデザイナーにとって価値のあるものとなるでしょう。もしシステムが、ある学生が洞察を得る寸前の「トライヤー」であることを認識し、適切なタイミングでヒントを与えることができるならば、彼らの成功を助けることができます。逆に、誰かが本当に諦めてしまったことを識別できれば、異なる種類のアプローチが可能になります。この研究は、私たちの目は受動的なカメラではなく、手が動く前に解決への経路を描き出す、思考の能動的な参加者であることを裏付けているのです。