Classification of integers based on residue classes via modern deep learning algorithms

数字の魔法と機械の限界

あなたは、大量にある番号付きの石を仕分けなければならないゲームをしていると想像してください。石には「偶数」（2つの等しい山に分けられるもの）と「奇数」（1つだけ石が余るもの）があります。人間にとって、これは朝飯前です。最後の桁を見るだけでいいからです。もしそれが2、4、6、8、または0であれば、偶数だと分かります。しかし、もしゲームがもっとトリッキーになったらどうでしょう？もし、3や7、あるいは他の素数で割り切れるかどうかで石を仕分けなければならなくなったら？人間には特別なコツがあります。例えば、数字のすべての桁を足して、その合計が3で割り切れるかどうかを確認するといった方法です。これは、小学校で習った秘密のコードのようなものです。

さて、この石の仕分けゲームを、超スマートなロボットに渡したと想像してみてください。あなたはこう思うかもしれません。「もしロボットが詩を書いたり車を運転したりできるほど賢いなら、数字のルールに基づいて石を仕分けられるはずだ、よね？」これが、科学者たちが**機械学習（Machine Learning）**の分野で問い続けている大きな疑問です。機械学習とは、ルールブックを与える代わりに、何百万もの例を見せることでコンピュータに教えるようなものです。コンピュータは自力でパターンを探し出します。また、「AutoML」と呼ばれるツールもあります。これは、仕事に最適なロボットの脳を自動的に選んでくれる、魔法の箱のようなものです。そして「大規模言語モデル（LLM）」は、世界中のほぼすべてのテキストで訓練されたコンピュータであり、まるで何でも知っているかのように振る舞います。しかし、ここに落とし穴があります。コンピュータが巨大で賢いからといって、私たちのように数字の「論理」を理解しているとは限らないのです。彼らは単に答えを暗記しているか、あるいは推測しているだけかもしれません。

数値仕分けの大実験

この研究において、ペンシルベニア大学とフィラデルフィア小児病院の研究チームは、これらのハイテクなロボットたちをテストすることに決めました。彼らは、現代のディープラーニング・アルゴリズムや自動化ツール、さらには世界で最も有名なチャットボットたちが、ルールを明示的に教えられなくても、小さな素数（2、3、7など）で数字を割るためのルールを見つけ出せるかどうかを確かめたいと考えました。

セットアップ：ロボットに新しい言語を与える
研究者たちは、まず異なる種類の「コンピュータの脳」に数字を入力しました。しかし、ここにはひねりがあります。彼らは数字を異なる「言語」や形式で入力しようとしたのです。

• 生の数値（Raw Numbers）: 単なる数字そのもの（例：123）。
• バイナリ（Binary）: コンピュータのネイティブ言語である0と1（電球のスイッチのオンとオフのようなもの）。
• 桁のリスト（Digit Lists）: 数字を個々のパーツに分解したもの（1, 2, 3）。
• 桁の和（Digit Sums）: 桁をすべて足したもの（1+2+3 = 6）。

彼らはこれらの入力を、3種類のシステムでテストしました。

1. ディープニューラルネットワーク（Deep Neural Networks）: 人間の脳を模倣しようとする複雑な数学的レイヤー。
2. AutoMLプラットフォーム: 最良の解決策を自動的に見つけ出すとされる、大手テック企業（Amazon、Google、Microsoftなど）の自動化システム。
3. 大規模言語モデル（LLMs）: 「あらゆること」を知っているとされる、GPT-4、LLaMA、Falconといった有名なAIチャットボット。

衝撃的な結果：ロボットは行き詰まった
結果は、「すごい！」と「おっと……」が入り混じったものでした。

研究者が生の形式（単なる数字の123）で数字を与えたとき、ディープラーニング・モデルやAutoMLツールはひどい状態でした。彼らは適当に推測しており、偶数・奇数の判定では約50％、3で割れるかの判定ではわずか33％しか正解できませんでした。それはまるで、ロボットが目隠しをしてダーツを投げているかのようでした。「魔法の箱（AutoML）」は完全に失敗しました。なぜなら、数字のパターンを明らかにする方法を見つけられなかったからです。

しかし、研究者が特徴量エンジニアリング（Feature Engineering）――これは「ロボットにより良いヒントを与える」という、もっとおしゃれな言い方ですが――を行った途端、ロボットたちは突如として天才に変貌しました。

• 数字をバイナリ（0と1）に変換すると、ロボットは即座に偶数・奇数のルールを100％の精度で理解しました。バイナリにおける最後の桁こそが、まさに答えなのです。
• 数字の桁の和（人間が3で割るために使うトリック）を与えると、ロボットも100％の精度を達成しました。

しかし、ここが最も興味深い点です。ロボットはルールを自力で「学習」したわけではありません。 彼らが成功したのは、人間が異なる形式で「答え」を提示したからです。この研究は、注意深く作られたヒントがなければ、たとえどれほど巨大で複雑なニューラルネットワークであっても、自力でパターンを見つけ出すことはできないということを示しました。

フーリエ級数：数学的なショートカット
研究者たちは、ディープラーニングに頼らない別の方法も試みました。それは**フーリエ級数回帰（Fourier series regression）**と呼ばれる手法です。これは、数字の中にあるリズムを見つけ出すための、特別な波形ツールを使うようなものです。3や7で割る計算は繰り返されるパターンを作るため（3または7の音符ごとにループする曲のようなもの）、この数学的ツールは非常に少ない例から完璧に予測できました。これは速く、シンプルで、テストされたケース（mod 3 および mod 7）において100％正確であり、時として巨大で複雑なAIよりも単純で古典的な数学のトリックが優れていることを証明しました。

チャットボット：賢いが、何も分かっていない
最後に、研究チームは有名なチャットボット（ChatGPTやオープンソースのモデル）に、そのルールを説明するよう求めました。

• 2や3のような小さな数字については、チャットボットは時として正しい答えを出すことができました。
• しかし、研究者がより大きな素数（7、11、23など）について尋ねると、チャットボットは「幻覚（ハルシネーション）」を起こし始めました。彼らは一貫して不正確で、役に立たない回答を生成しました。ルールを捏造したり、間違った数学を提供したり、あるいは単に「剰余演算子（modulo operator）を使用してください」と言ったりしました（これは、本来自分で導き出すべき計算を、単にコンピュータに指示しているだけです）。
• 最新のGPT-4でさえ、これを解決するためのコンピュータプログラムを設計するよう求められると、効率的な解決策を作ることができませんでした。適切な「特徴量エンジニアリング」や、最適なアルゴリズムを見つけ出すことができなかったのです。

大きな教訓

この論文からの主な教訓は、**「超スマートなコンピュータを持っているだけでは不十分であり、問題への『見方』を教えなければならない」**ということです。

研究者たちは、「特徴量エンジニアリング」――生のデータを、隠れたパターンが明らかになる形式へと翻訳するという人間の行為――が、依然として最も重要なステップであることを発見しました。AutoML（モデルを自動で選んでくれるツール）やLLM（世界のほぼすべての言葉を知っているマシン）が存在する時代であっても、これらのツールは数学のルールを魔法のように自力で見つけ出すことはできません。彼らには、「ねえ、桁を見て、あるいはバイナリを見て、あるいはそれらを足してみて」と伝える人間が必要です。

この人間の導きがなければ、世界で最も高度なAIであっても、辞書は暗記しているけれど算数はできない学生のようなものです。この研究は、AIは強力ではあるものの、生のデータを解けるパズルへと変えるためには、依然として人間の洞察力に大きく依存していると結論付けています。ロボットは速いですが、私たちが懐中電灯を持って照らしてあげなければならないのです。