技術的概要：人間の抽象化学習における先見的圧縮

問題定義

本論文は、プログラム合成と認知モデリングにおける核心的な課題である「オンラインライブラリ学習」に取り組んでいる。これは、将来のタスク要求に関する不確実性のもとで、再利用可能な抽象化（ヘルパー）を漸進的に獲得するプロセスである。DreamCoder や Stitch といった既存の計算アプローチは、ライブラリ学習を「回顧的圧縮」として扱う。これらのアルゴリズムは、過去のタスクの静的なコーパスを最大限に圧縮するサブプログラムのライブラリを反復的に発見する。

しかし、著者らは、現実世界の学習領域はしばしば「非定常的」であり、タスクは時間とともに変化する生成プロセスから生じると主張する。そのような環境において、学習者は完全なタスク分布を知ることもなく、これまでに観測されたタスクのみに基づいて、どの抽象化を形成すべきかを決定しなければならない。中心的な問いは、人間のライブラリ学習が過去のデータの圧縮（回顧的）によって駆動されるのか、それとも将来のタスクの予測と圧縮（先見的）によって駆動されるのかという点である。

手法

パターンビルダータスク（PBT）

これを調査するために、著者らは視覚的プログラム合成のパラダイムである「パターンビルダータスク」を利用する。

• ドメイン: 参加者は $10 \times 10$ の二値幾何学パターンを再構成する。
• メカニズム: 解は、6 つの幾何学的プリミティブと 7 つの変換演算子（3 つの二項演算子、4 つの単項演算子）を含む固定されたドメイン固有言語（DSL）で構成されたプログラムとして表現される。
• ライブラリ学習: 参加者は、任意の中間構築物を「ヘルパー」として保存できる。これらのヘルパーは試行を超えて維持され、新しいプリミティブとして機能し、再利用可能なライブラリの漸進的構築を可能にする。

実験デザイン

著者らは、回顧的圧縮戦略と先見的圧縮戦略を分離するために、相補的な「潜在カリキュラム」を備えた 2 つの実験を設計した。

1. 実験 1（逐次カリキュラム）: タスクは自己回帰的な構造に従い、各ターゲットは先行する解の変換である。この構造は、過去の解が将来の解を直接示唆するため、回顧的圧縮によって解決可能である。
2. 実験 2（演算子グループカリキュラム）: タスクは 4 つのグループに編成される。グループ内では、すべてのターゲットが、4 つの異なる演算子の固定セットと組み合わされた共通の潜在サブプログラム（ヘルパー）を共有する。重要なのは、グループ内の連続する試行は表面的な類似性が低く、直前のタスクのみから共有構造を推測することが困難である点である。この設計は、グループ全体の共有ヘルパーを予測するために潜在生成プロセスを推論する「先見的圧縮」を必要とする。

計算モデル

著者らは、人間の行動を計算モデルのファミリーと比較評価した。

1. ベースライン（ライブラリなし）: 抽象化なしの網羅的ボトムアップ探索。
2. 回顧的圧縮モデル:
   • RC（回顧的圧縮）: 過去のタスクのコーパスにおける圧縮有用性を最大化するように、ヘルパーを貪欲に選択する（DreamCoder に類似）。
   • GL（貪欲ライブラリ学習）: 現在の試行のターミナルプログラムのみを選択する。
   • PL（確率的ライブラリ学習）: 導出トレースからサブプログラムを確率的に選択する。
3. *帰納的バイアスモデル（LLM ベース）:
   • LLM-PS: 現在のタスクとプリミティブに基づき、大規模言語モデル（GPT-5.2）を用いて合成を行う。履歴なしで構造的な事前分布を捉える。
   • LLM-PS-H: プロンプトに過去のタスクと解の完全な履歴を含める。
4. *先見的圧縮（規範的）: 観測されたタスク分布に条件付けられ、過去および将来を含む「完全な」解コーパス全体における期待圧縮有用性を最大化するようにヘルパーを選択する理論的モデル。

指標

パフォーマンスは以下の指標で測定された。

• ステップ数: 解構築の効率性。
• ライブラリサイズ: 作成されたヘルパーの数。
• コーパス圧縮有用性: 主要指標。選択された $k$ 個のヘルパーが、将来のタスクを含む「完全な」（ホールドアウトされた）プログラムコーパスをどの程度圧縮するかを評価する。

主要な結果

1. 人間の効率性とライブラリ使用: 参加者はタスクを正常に完了し、一貫してヘルパーライブラリを作成した。ヘルパーの使用は、生プリミティブによる解と比較して必要なステップ数を大幅に減少させ、生プログラム長が増大しても解の深さを有界に保った。
2. 実験 1 における回顧的モデル: 逐次カリキュラムにおいて、人間の行動は回顧的圧縮（RC）モデルによってよく近似された。人間も RC も、観測された過去のタスクを効果的に圧縮するヘルパーを選択した。
3. 実験 2 における先見的行動: 演算子グループカリキュラムにおいて、回顧的モデル（RC, GL, PL）および帰納的バイアスモデル（LLM-PS, LLM-PS-H）は、最適な共有ヘルパーを選択することに失敗した。
   • RC は過去のタスクを圧縮するヘルパーを選択したが、グループ全体に共有される潜在構造を見逃した。
   • LLM モデル は帰納的バイアスに基づいて幾何学的に妥当なヘルパーを選択したが、グループに必要な特定の共有サブプログラムを捉えられなかった。
   • 人間の性能: 人間が選択したヘルパーは、実験 2 においてすべての計算モデルよりも「高いコーパス圧縮有用性」を達成した。人間の行動は、事後に知られる最適なヘルパーのセットである「オラクル」に密接に追従しており、人間が潜在生成構造を正常に推論し、将来のタスクに有用となる抽象化を選択したことを示している。
4. 既存の説明の不十分さ: 結果は、人間の抽象化選択が、回顧的圧縮のみ、または現在の LLM ベースの合成によってモデル化される帰納的バイアスだけでは説明できないことを示している。

主要な貢献

1. 実験パラダイム: 先見的圧縮戦略と回顧的圧縮戦略を分離するために特別に設計された、潜在カリキュラムを備えた制御されたパラダイム（PBT）の導入。
2. 計算評価: 非定常環境における人間の行動に対して、回顧的圧縮、帰納的バイアス、および確率的戦略を含むモデルファミリーを体系的に評価。
3. 先見的圧縮の経験的証拠: 人間のオンライン抽象化学習が、タスク生成プロセスの「先見的圧縮」によって駆動されていることを初めて実証。人間は潜在構造を推論して将来のタスクに転移する抽象化を選択する能力を持っており、これは既存の回顧的アルゴリズムや現在の LLM ベースのプログラム合成では捉えられていない。

意義と主張

本論文は、人間の抽象化学習は単なる回顧的圧縮や静的な帰納的バイアスではなく、「先見的圧縮」として特徴づけるべきであると主張する。

• プログラム合成にとって: 著者らは、ライブラリ学習アルゴリズムが過去のデータ圧縮の最適化を超えて進む必要があると論じる。非定常ドメインを処理するには、アルゴリズムは明示的に非定常なタスク分布をモデル化し、将来の依存関係を予測しなければならない。
• 認知科学にとって: 発見は、抽象化学習が「予期的構造モデリング」と密接に結合しているという見解を支持する。学習者は単に経験を圧縮するのではなく、階層的な予測と系列学習を促進するために、タスク構造が時間とともにどのように進化するかを推論する。
• ベンチマークとして: パターンビルダータスクは、先見的抽象化を評価するための候補ベンチマークとして提案される。これは、単に個々のタスクを解決するアルゴリズムと、時間的に変化するタスク分布全体にわたって構造を推論し再利用できるアルゴリズムを区別するものである。

著者らは、研究範囲について謙虚であり、本研究が制約された視覚ドメインに限定されていること、そして将来の作業として、将来のタスクの確率分布を正式にモデル化し、ライブラリと潜在タスク生成プロセスの両方に対する結合推論を行う必要があることを指摘している。