あなたは、私たちが書くときに脳がどのように機能しているのかという謎を解明しようとする探偵だと想像してください。何十年もの間、科学者たちは、キーボードのあらゆるタップを記録するソフトウェアである「キーロガー」を使用して、タイピング中に発生する極めて短い休止やスピードの急上昇を研究してきました。これらの休止は足跡のようなものです。それらは、書き手が一生懸命考えているのか、躊躇しているのか、あるいは間違いを犯しているのかを教えてくれます。この分野は認知科学と呼ばれ、執筆の背後にある目に見えない「メンタル・ギムナスティクス（精神的な体操）」を理解するのに役立っています。しかし、大きな問題があります。英語やその他のアルファベットを使用する言語で書いているときは、一つのキーが一つの文字に対応するため、これらの足跡を見つけるのは簡単です。しかし、中国語、日本語、または韓国語で書く場合はどうなるでしょうか？ これらの言語では、文字を直接入力することはありません。音を入力し、特別な補助プログラムである「インプット・メソッド・エディタ（IME）」が、あなたがどの文字を求めているのかを推測します。それは、メロディを口ずさむことでピザを注文し、シェフ（IME）がどのピザを持ってくるかを決めるようなものです。従来のキーロガーは、シェフの選択を見ることはできません。彼らには「口ずさみ」しか聞こえないのです。これは、これらの言語で書いている時に人々がどのように考えているかについての理解に、大きな空白を残しています。

ここで、この謎を解くために、研究者のロベルト・クロッティ、ジョヴァンニ・デナーロ、ジチアン・ドゥ、リカルド・ムニョス・マルティンによって構築された新しいツール「Hylog」が登場します。Hylogを、二組の眼鏡を同時にかけているスーパー探偵だと考えてください。一方の眼鏡は「口ずさみ」（あなたが打つラテン文字）を見、もう一方の眼鏡は「ピザ」（画面上に現れる実際の漢字）を見ます。これら二つの視点を組み合わせることで、Hologはタイピングプロセスの完璧に同期されたマップを作成します。研究者たちは、二人のボランティアに英語から中国語への湯たんぽの説明書の翻訳を行わせることで、このシステムをテストしました。その結果、Hylogは従来のツールが完全に見逃していた、微細な休止や精神的なステップを特定できることがわかりました。例えば、文字の選択を確定するまでにどれだけの時間を待ったかを正確に測定することができ、精神的な労力は単にキーを叩くことだけでなく、複雑な推測ゲームの中で意思決定を行うことにあることを明らかにしました。これは、非アルファベット言語での書き方を真に理解するためには、入力と最終的な結果の両方を観察するツールが必要であることを示唆しています。

問題点： 「見えない」タイピスト

あなたが手品師が帽子からウサギを取り出す様子を見ていると想像してください。標準的なキーロガーは、手品師の手の動きだけを記録するカメラのようなものです。手が入り、手が外れ、それにかかった時間を記録します。しかし、帽子の中にウサギが現れたことや、手品師がたくさんのウサギの中から正しいウサギを選ぶために立ち止まっていたことは分かりません。

人々がどのように書くかを研究してきた研究者たちは、長い間、キーロガーを使用して「インターキーストローク間隔（IKI）」を追跡してきました。これらは、一つのキーを押してから次のキーを押すまでの極めて短い隙間です。短い隙間は書き手が順調に進んでいることを意味し、長い隙間は書き手が詰まっているか、考えているか、あるいは言葉を調べていることを意味します。これは、"c-a-t" と打つことが指から画面への直通線である英語では非常にうまく機能します。

しかし、中国語は異なります。漢字の「猫（mao）」を打つために、「cat」というキーを押すことはありません。「m-a-o」というラテン文字の音を打ちます。すると、IMEと呼ばれるプログラムが、「mao」という音に似た文字のリストを表示します。あなたはリストを見て、正しい文字を見つけ、それを選択するために数字キーを押さなければなりません。

ここでの問題は、従来のキーロガーは「m-a-o」と数字の入力しか見えないことです。あなたがリストを凝視し、どの文字が正しいか決定し、それを確定させる瞬間を見逃してしまうのです。それは、キーロガーが手品師の手は見ているものの、帽子の中にウサギが現れたことを見逃しているようなものです。つまり、研究者は認知プロセス——文字を選択し確定するという精神的な作業——の大部分を見逃していたことになります。

解決策： ハイブリッドな探偵

論文の著者たちは、この死角を修正するために「Hylog（ハイブリッド・ロギング）」を作成しました。Hylogは、キーボードの音を聞くだけでなく、同時に二つのことを行います。

1. キーボードの音を聞く： 標準的なキーロガーのように、入力されたすべてのラテン文字と、選択を確定するために押されたすべての数字を記録します。
2. 画面を観察する： テキストロガーのように、実際に画面上に表示されている内容のスナップショットを取ります。

魔法は、その中間で起こります。Hylogには、翻訳者の役割を果たす特別な「ハイブリダイザー（混合化）」モジュールがあります。それは、入力された音のリストと表示された文字のリストを取り込み、それらを完璧に整列させます。「ああ、ユーザーは 'm-a-o' と打ち、500ミリ秒待ち、それから 'mao' という文字が現れたのだ」と判断するのです。

これを、特に巨大な文書を扱う際に効率的に行うため、Hylogは「ダイナミック・スナップショット・ウィンドウ（DSW）」と呼ばれる巧妙なトリックを使用しています。あなたが300ページの書籍を編集していると想像してください。不器用なロガーは、一文字変更されるたびに本全体をコピーしようとして、コンピュータの動作を極端に遅くしてしまいます。しかし、Hylogはスマートなスポットライトのようなものです。それは現在編集しているテキストの極めて小さなセクションだけに光を当てます。カーソルを本の冒頭に移動させれば、スポットライトは即座にそこへ飛びます。数語入力すれば、その数語だけを記録します。これにより、プロセスは高速かつ目立たない状態に保たれ、書き手はソフトウェアが存在することにさえ気づきません。

実験： 湯たんぽの翻訳

Hylogが実際に機能するかをテストするために、研究者は二人のボランティアに、英語から簡体字中国語への湯たんぽの説明書の翻訳を依頼しました。

• ジョン は、ネイティブの中国語話者（L1）でした。
• ジェーン は、第一言語がイタリア語である中国語学習者（L2）でした。

彼らは二つのツールを同時に使用しました。古い標準的なもの（Inputlog 9.5）と、新しいHylлоgです。

判明したこと：
古いツールであるInputlogは、タイピングを平坦なラテン文字のストリームとして見ていました。文字を打つことと、文字を確定することの区別がつきませんでした。それは、母音だけを聞いて会話を理解しようとしているようなものでした。

しかし、Hylogは全体像を捉えていました。Hylogはタイピングプロセスを明確なレイヤーに分解しました。

• サウンド・レイヤー（音の層）： ラテン文字（例：「m-a-o」）を打つのにかかった時間。
• キャラクター・レイヤー（文字の層）： 確定後に文字が表示されるまでの時間。
• デシジョン・レイヤー（決定の層）： IMEリストから正しい文字を選ぶために費やした時間。

結果として、Hylogはジョンの文字確定を98.4%、ジェーンの文字確定を**100%**特定できました。Hylogは「ノイズ」（誤ったキー押しなど）を正常にフィルタリングし、キーのタップと画面の変化をミリ秒単位の精度で一致させることができました。

データが明らかにしたこと

これらの同期されたレイヤーを見ることで、研究者は以前は不可視であった事象を見ることができました。

• 運動スキル vs 脳の力： 彼らは「滞留時間（dwell time）」（キーを押し続けている時間）を測定しました。ジョンとジェーンはどちらも、ほぼ同じ時間（約80〜110ミリ秒）キーを押し続けていました。これは、物理的なキー押しという行為が、言語の習熟度に関わらず、筋肉の記憶に基づくスキルであることを示唆しています。
• 「思考」の休止： 真の違いは、キーとキーの間の隙間に現れました。学習者であるジェーンは、IMEリストから文字を選択する際、ジョンと比較してはるかに長い休止がありました。これは、彼女の脳が、どの文字が正しいかを判断するために、より多くのエネルギーを費やしていたことを示唆しています。
• タイピングの「フロー」： ジョンのタイピングには、前のキーを離す前に次のキーを押す「オーバーラップ（ロールオーバー）」が多く見られました。これは、流暢で自動化されたリズムの兆候です。ジェーンのタイピングは、一つのキーを押し、離し、次に進むという「直列的」なものでした。これは、彼女が各ステップについてより深く考えていたことを示しています。

決定的なことに、最大の精神的なボトルネックは、音を打つことではなく、文字を確定することであったことが研究によって示されました。正しい文字を選択するために待機する時間は、プロセスの中で最も長い休止でした。これは、非アルファベットのスクリプトにおいて、書くことの最も困難な部分は物理的なタイピングではなく、認知的な意思決定であることを物語っています。

なぜこれが重要なのか

この論文は、執筆に関するすべての謎を解明したと主張しているわけではありませんが、より優れた「懐中電灯」を構築しました。Hylogが登場する前、中国語の執筆を研究する研究者たちは、それらの長い休止中に何が起きているのかを推測するか、あるいはそれらを完全に無視するしかありませんでした。今や、彼らは書き手が文字の選択で苦戦しているのか、それとも単に次に何を書くべきか考えているのかを、正確に見極めることができます。

研究者たちは、これが「概念実証（プルーフ・オブ・コンセプト）」の研究であることを慎重に述べています。彼らはわずか二人の人物と、特定の種類の中国語入力（Microsoft Pinyin）のみをテストしました。今後の研究では、より多くの人々や、異なる入力メソッド（SogouやBaiduなど）をテストする必要があると示唆しています。しかし、核となる考え方——非アルファベットの書き方を理解するには、キーボードと画面の両方を観察する必要があるということ——は、今や確かなデータによって裏付けられています。

著者たちは、Hylogをオープンソースとして公開することで、他の科学者たちが日本語や韓国語、その他の複雑なスクリプトにおける書き方を探索するためにHylogを使用できるよう、門戸を開いています。これは、デジタル世界における人間の思考、執筆、およびコミュニケーションに関する、より包括的な理解への一歩であり、非アルファベットの書き手の「足跡」が、ようやく科学界にとって可視化されるためのステップなのです。