ルールを読み込んだり、整然とした数字のグリッドを見たりするのではなく、ゲーム盤の画像を見てゲームを学習しなければならないコンピュータ・プログラムを想像してみてください。これは、環境に依存しないエージェント（environment-agnostic agent）を構築するという挑戦です。つまり、異なるデジタル世界に入り込み、見ただけでその仕組みを理解し、再プログラミングされることなく、勝利のためにアクションを起こすことができる単一のソフトウェアの精神（mind）を作ることです。もし、そのエージェントが見ている画像が鮮明でなかったら、難易度は跳ね上がります。画像がノイズでぼやけていたり、あるいは、まるで不思議な鏡を通した時のように、ボード自体が曲がったり、引き伸ばされたり、歪んだりしていたらどうなるでしょうか。現実世界では、私たちの目と脳は驚くほど巧みにこれらの歪みを補正できますが、機械にとって、歪んだターゲットを見て、元の平坦なボード上の正確な位置を特定することは、知性の極めて深いテストとなります。この問いは、人工知能が視覚的な混沌の霞を通して、いかにクリアに「見る」ことを学習できるかを探求する新しい研究の中核に位置しています。
SingularityNETの研究者たちは、特定のタイプの人工エージェントに、ARC-AGI-3として知られる一連の論理パズルを読み込ませることで、このテストを行いました。これらのパズルは推論能力を試すように設計されており、解く者は隠されたルールやパターンを発見する必要があります。この実験において、エージェントには、ボードのきれいな数字のリストやテキストによる説明は一切与えられませんでした。代わりに、エージェントが受け取ったのは画像のみでした。このタスクを極限まで困難にするため、研究者たちは意図的にこれらの画像を破損させました。古いテレビ画面に見られるようなランダムな静止画ノイズ（static）を加え、さらに、ボードの直線的なラインを曲線へと曲げたり、遠近感を完全に変えてしまったりする幾何学的な歪み（warp）を適用しました。決定的なのは、この歪みがエージェントが見るフレームごとに変化したことです。つまり、ゲームの状態が変わっていないにもかかわらず、ボードの見え方は瞬間ごとに異なっていました。エージェントは、ねじれてノイズの乗った画像を見ながら、そこで何が起きているのかを理解し、そして元の、歪みのないボード上の正確な座標を提出してアクションを起こさなければなりませんでした。それは、まるで、形が絶えず変化する、ゆがんで汚れた窓越しに、壁にある的を狙うようなものでした。
この研究では、二つの異なるバージョンの人工知能を比較し、どちらがこの視覚的な混沌に対処できるかを検証しました。古いバージョンは、ねじれた画像に直面すると、著しく苦戦しました。特に画像が複雑に曲げられている場合、そのパフォーマンスは急激に低下しました。研究者たちは、画像の「曲がり」が、静止画ノイズ単体よりも機械にとってはるかに混乱を招くものであることを見出しました。この古いエージェントを助けるために、科学者たちは「カーソル・フィードバック」という単純なツールを導入しました。これにより、エージェントはボード上の位置を提案し、その点が歪んだ画像上のどこに現れるかを確認できるようになりました。つまり、決定を下す前に、自分の推測をチェックできるようになったのです。これは、クリック操作を必要とするゲームにおいて、古いエージェントが失った能力をある程度回復させるのに役立ちましたが、最も深刻な歪みを克服することはできませんでした。この助けがあっても、画像が極端にノイズが多く、かつ激しく歪んでいる場合、古いエージェントはほとんどの難解なパズルを解くことができませんでした。
しかし、新しい人工知能は、驚くべき回復力を見せました。古いモデルを麻痺させかねない同じ深刻な歪みに直面しても、このエージェントはほぼすべてのパズルを解決し、カーソル・フィードバック・ツールなしでも95パーセント以上の成功率を達成しました。このエージェントは、ねじれてノイズの乗った画像をナビゲートし、元のボード上の座標を正しく特定することができました。研究者たちは、追跡テストにおいてこのエージェントをさらに追い込み、個々のピクセルが判別不能になるほどのノイズを増やし、ボードにランダムな回転を加えました。このような極限状態においても、エージェントは崩壊しませんでした。全体的な成功率は低下したものの、依然としてかなりの割合のゲームを解き続けることができました。ある特定のゲームにおいては、画像がノイズと歪みによって人間が見てもほとんど認識できないほどであったにもかかわらず、完璧に近いスコアを達成しました。
このエージェントがどのように成功したのかを掘り下げるため、研究者たちはプレイ中に作成されたファイルを調査しました。彼らは、エージェントが画像を処理するために独自のコンピュータ・スクリプトを記述していることを見つけました。エージェントはこれらのツールを使用して、ノイズを取り除き、歪んだラインをまっすぐに修正し、混沌とした入力からクリアなボードの視界を事実上再構築してから、意思決定を行っていたのです。このことは、エージェントが混乱の中で単に「推測」していたのではなく、開発したツールを用いて、より鮮明な現実の姿を能動的に構築していたことを示唆しています。この研究は、深刻な視覚的歪みは単純なモデルを破壊する可能性がある一方で、より高度なエージェントは、ゲームの内部モデルを構築し、画像処理ツールを用いて自身の視界を補正することで、それに適応できることを示しています。これらの知見は、堅牢な人工知能への道は、単に提示された世界をそのまま見るのではなく、歪みの背後にある世界を理解するために、能動的に働きかける能力にあることを示唆しています。
技術要約：環境非依存型エージェントは、歪曲およびノイズを含む画像からARC-AGI-3を解決できるか？
問題提起
本研究は、深刻な視覚的破損が発生している状況下において、環境非依存型エージェントがインタラクティブなゲームを解決できるかどうかを調査するものである。具体的には、ゲームボードが幾何学的に歪曲し、ノイズが付加された画像として提示される場合に、エージェントが ARC-AGI-3（人工汎用知能のための抽象化および推論コーパス）のゲームを解決できるかをテストする。
核心となる課題は、観測と行動の間の乖離にある：
- 視覚的破損： エージェントは、独立したガウス・ピクセルノイズ、ランダムな射影変換（ホモグラフィ）、および滑らかな非線形歪み（自由形式変形：FFD）が、中間フレームを含むすべてのフレームに対して適用されたレンダリング画像を受け取る。
- 座標の不一致： クリック操作を必要とするゲームにおいて、エージェントは元の、歪みのない 64×64 のボード上の座標を提出しなければならない。しかし、ターゲットは歪んだ画像内の変形した位置に存在する。エージェントは、明示的な変換パラメータなしに、歪んだビューを元の座標系へとマッピングする変換を推論する必要がある。
- 環境非依存性： エージェントの実装は環境が変わっても変化しない。エージェントは提供されたタスクの説明と画像観測のみに依存し、テキストによるグリッドや数値的な状態表現にはアクセスしない。
方法論
実験設定
本研究では、EnvTraverse フレームワークを介して接続された Stop-and-report エージェント（ARC-AGI-3、AGI Maze、Terminal-Bench で以前に評価された環境非依存の実装）を利用する。実験は、メインスタディとフォローアップスタディに分かれている。
環境：
- Clean-view（クリーンビュー）： 修正されていないPNGボード画像を用いたベースライン。
- Distorted-view（ディストーテッドビュー）： ピクセルノイズ（σ=40,80,120）、JPEG圧縮アーティファクト、ランダムな射影変換、および非線形歪み（中程度および強力）を導入。
- Cursor-feedback（カーソルフィードバック）： Distorted-view に補助アクション
highlight_pixel(x,y) を拡張したもの。このアクションは、現在の状態を、マークなしの状態と、提案されたボード座標の変換後の位置を指し示すカーソル付きの状態の2回レンダリングする。これにより、座標を修正したりアクション予算を消費したりすることなく、座標マッピングに関する視覚的フィードバックを提供する。
テストされたモデル：
- GPT-5.6-sol： すべての歪みタイプとノイズレベルにわたって評価。
- GPT-6-astra： パフォーマンスの限界を探るため、最も過酷な条件下で評価。
指標：
パフォーマンスは、レベル完了率と人間による参照カウントに対するアクション効率を組み合わせた 相対的人間アクション効率（RHAE） を用いて測定される。
フォローアップ実験
著者は、GPT-6-astra の限界を探るため、以下の条件下でカーソルフィードバックなしの実験を行った：
- ランダム回転： 強力な歪みと σ=120 のノイズを組み合わせた後、各アクションの後にランダムなボード回転（0∘–360∘）を加える。
- 極端なノイズ： 強力な非線形歪みの下で、ガウスノイズを σ=360 および σ=1200 まで増加させる。
- プロトコルの改訂： 不確実な際にエージェントが早期に停止してしまう「スタック・プロトコル」の問題に対処するため、停止するのではなく意味のあるアクションを取るよう明示的な指示を与えた改訂版エージェント（Stop-and-report3）をテストした。
主な結果
1. ディストーションが GPT-5.6-sol に与える影響
- 幾何学的ノイズ vs ピクセルノイズ： 幾何学的歪み（ホモグラフィとワーピング）は、ピクセルノイズ単独よりも大幅にパフォーマンスを低下させた。ランダムなホモグラフィの下では、全体の RHAE は ~91%（クリーン）から ~50% に低下した。
- カーソルフィードバック： フィードバックは、特に クリックのみのゲーム（ホモグラフィ下で RHAE が
50 ポイント上昇）において、パフォーマンスを部分的に回復させた。しかし、最強の歪みとノイズ（σ=120、強い FFD）の下では、フィードバックがあってもパフォーマンスは低いままであった（15% RHAE）。
- 非線形歪み： 強力な非線形歪みにより、σ=120 における GPT-5.6-sol の RHAE は、フィードバックなしで 16.23%、フィードバックありで 14.48% まで減少した。
2. GPT-6-astra のパフォーマンス
- 高い堅牢性： GPT-6-astra は、最も過酷なメインスタディの条件（強い歪み + σ=120）において、カーソルフィードバックなしでも、24/25 のゲームを完了し、天井に近いパフォーマンス（95.44% RHAE）を達成した。フィードバックを使用した場合、25 ゲームすべてを完了した（99.53% RHAE）。
- フォローアップの限界：
- 回転： ランダム回転を追加しても、RHAE の低下はわずかであった（95.44% → 93.06%）。
- 極端なノイズ： σ=360 において、改訂版エージェント（Stop-and-report3）は 71.77% RHAE を達成した。σ=1200 では、パフォーマンスは 17.37% まで低下したが、エージェントは依然として 10/25 のゲームを完了した。
- ケーススタディ (lf52)： σ=1200 において、エージェントはゲーム lf52 で 99.38% RHAE を達成した。エージェントのワークスペースの分析によれば、エージェントは意思決定を行う前に、OpenCV を使用してデノイズおよびアンワーピング（歪み除去）を行うことで、31 個の Python スクリプトと 1,000 枚近い処理済み画像を生成していた。
主な貢献
- 視覚的堅牢性の定量化： 本研究は、幾何学的歪みがピクセルノイズよりも深刻な障壁となり、特に座標ベースのアクションを妨げることを示している。
- カーソルフィードバックの評価： 視覚的フィードバック（提案された座標がどこに位置するかを示すこと）が、歪んだビューを元の座標にマッピングする上でエージェントを大きく助けることを立証したが、極端な破損を完全に補完することはできないことも示した。
- エージェントのツール利用： 高度なエージェント（GPT-6-astra）が、極度の不確実性下でタスクを解決するために、ワークスペース内で画像処理ツール（デノイズ、アンワーピング）を自律的に開発・活用できるという実証的な証拠を提供した。
- プロトコルの洗練： 「スタック・プロトコル」の曖昧さの特定と修正により、エージェントが不確実性に直面した際に早期に停止してしまう可能性があることが明らかになり、これは堅牢なエージェント設計において管理されるべき要素である。
意義と主張
本論文は、環境非依存型エージェントは、基礎となるモデルが十分な推論能力と外部ツールを活用する能力を備えていれば、激しく破損された視覚入力から複雑なインタラクティブゲームを解決できると主張している。
- 堅牢性： GPT-6-astra は、GPT-5.6-sol を無効にするような条件下でも高いパフォーマンスを維持できる能力を示しており、これは視覚的推論と適応における質的な飛躍を示唆している。
- 成功のメカニズム： 著者は、成功したプレイは、能動的な画像処理（構造の復元）と大幅な不確実性下での意思決定の組み合わせによるものであると考えている。エージェントが、すべての回転した画像を直接解釈するのではなく、ツールを用いて変換の変化（例：回転）を認識し、補正する能力を持つことが極めて重要である。
- 限界： 著者は、公開されている ARC-AGI-3 ゲームへの事前の露出が高スコアに寄与した可能性を控えめに指摘しており、未公開のゲームに対するパフォーマンスについては今後の検証が必要であるとしている。さらに、極端なノイズ下で特定のケースでは成功したものの、全体的なパフォーマンスは σ=1200 という最高レベルのノイズにおいて大幅に低下しており、視覚的堅牢性の現状の限界を示している。
本研究は、幾何学的歪みが大きな課題ではあるものの、ツール利用能力と堅牢な推論能力を備えたエージェントは、これらの障壁を克服して、インタラクティブな視覚環境において人間と同等のパフォーマンスを達成できると結論付けている。
毎週最高の コンピュータサイエンス 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録