現代の人工知能の世界において、コンピュータは「見る」ことと「話す」ことという、二つの異なる能力において驚異的な習熟を見せています。一方では、ビジョンシステムが写真を見て、そこで何が起きているのかを驚くほど正確に説明することができます。もう一方では、言語モデルが膨大な量のテキストを処理することで、物語を書いたり、質問に答えたり、会話を行ったりすることができます。近年、科学者たちはこれら二つの能力を橋渡しし始め、画像と文章を同時に理解できるシステムを作り出しています。これらのハイブリッドツールは「ビジョン・ランゲージ・モデル（視覚言語モデル）」と呼ばれ、すでに画像の解説を行ったり、画像と質問の組み合わせから回答を生成したりといったタスクを実行できます。しかし、これらのシステムの多くは、単一の画像を観察してそれを説明すること、あるいは画像と質問を見て回答を提供することを行うように訓練されています。それらは、前後の比較画像（ビフォー・アンド・アフター）を見て、その間で具体的に何が変化したのかを特定する訓練はまだ受けていません。特に、明るさ、コントラスト、あるいはカラーバランスといった特定の調整が関わる変化についてはなおさらです。

この理解のギャップこそが、研究者のヴァヒド・アジジとファテメ・クーチャキによる新しい研究の焦点です。彼らは、MiniGPT-4と呼ばれる強力なオープンソースのビジョン・ランゲージ・モデルが、「リバース・デザイン（逆設計）」と呼ばれるタスクを学習できるかどうかを検証することに乗り出しました。例えば、夕日の写真があり、次にその同じ写真の、空がよりオレンジ色になり水面がより暗くなったバージョンがあると想像してください。人間のエディターであれば、そのルックを実現するためにどのスライダーが動かされたのかを正確に把握できるでしょう。研究者たちは、コンピュータが元の画像と編集されたバージョンの両方を見ることができ、さらに「もっとドラマチックにして」といった曖昧なヒントを与えられた上で、その編集を作成するために使用された具体的な技術的ステップと数値を予測できるかどうかを知りたいと考えました。これは複雑な課題です。なぜなら、コンピュータは二つの異なる画像を同時に理解し、かつそれらの間の関係性を理解しなければならないからです。これは、単一の画像の中に何があるかを記述するだけの作業を超えたタスクです。

これをテストするために、研究者たちは、画像とテキストを理解するように既に訓練されているMiniGPT-4モデルを取り上げ、「I-MAD-Dense」と呼ばれる特定のデータセットを用いて微調整（ファインチューニング）を行いました。このデータセットには約22,000の例が含まれており、それぞれがソース画像、その画像の編集版、そして編集の背後にあるクリエイティブなアイデアのハイレベルな説明で構成されています。極めて重要なのは、このデータセットには「グラウンド・トゥルース（正解）」、つまり元の画像に対して新しい画像を作成するために適用された操作の正確なリストと数値が含まれている点です。研究者たちは、これらの技術的な操作リストを、言語モデルが読み取れるように文章へと変換しました。そして、画像のペアとオプションのテキスト説明をモデルに入力し、最初の画像が二番目の画像へと変化させた変更リストを予測するように求めました。

チームは、モデルがこのスキルをどの程度学習できるかを確認するために、いくつかの実験を行いました。最初の試みでは、モデルの構造を変更せずに、既存のモデルを単に微調整しました。その結果、モデルはタスクを学習することができ、平均して約72パーセントの割合で変化の種類を予測することに成功しました。しかし、研究者たちは、モデルが変化の数を間違えたり、具体的な数値がわずかにズレたりすることがあることに気づきました。これを改善するために、モデルが予測した調整の数値が正しい値から遠い場合に、トレーニングプロセスに数学的なペナルティを加える方法を試みました。この小さな調整によって、モデルの数値の精度が高まり、予測の平均誤差が減少しました。また、「明るさを調整して」といった特定のコマンドをテキストで与えることが役立つかどうかについてもテストしました。その結果、追加のテキストによる文脈を与えることが、特に指示が明確な場合に、正しい変化を見つけ出すモデルの能力を大幅に向上させることが確認されました。

研究者たちはまた、画像と単語を区別するために、テキストに特別なマーカーを追加することが、モデルが異なる入力を追跡するのに役立つかどうかについても調査しました。画像がどこで終わり、次がどこから始まるかを示す特定のトークンを挿入することを試みましたが、これは実際にはモデルのパフォーマンスを低下させる結果となりました。この発見は、モデルの既存の画像とテキストの処理方法が十分であり、余計な人工的マーカーを追加することは、明確にするどころか混乱を招くことを示唆しています。別の実験では、変化の数を予測する際に、多すぎたり少なすぎたりすることをペナルティとして課すことで、モデルに変化の数をより正確に予測させることを試みましたが、このアプローチも結果を改善することには失敗し、場合によっては結果を悪化させました。

微調整されたモデルと数値誤差の扱い方を組み合わせた最も成功したバージョンのシステムは、これらのビジョン・ランゲージ・モデルが、複雑で多段階の関係性を学習できる能力があることを示しました。このモデルは、編集に関するテキストによる説明を与えられたときに最も高い性能を発揮し、視覚的な理解を導く上での言語の重要性を浮き彫りにしました。このシステムはまだ完璧ではなく、依然として複雑なシナリオには苦戦していますが、この研究は、既製品のモデルであっても、画像の編集を逆エンジニアリングするといった高度なタスクを扱うように拡張できることを証明しています。研究者たちは、現在の結果は有望であるものの、より細かい詳細を捉えるための高解像度画像の利用や、より注意深く精選された人間生成のデータを用いたトレーニングなど、改善の余地がまだあると結論付けています。この研究は、エディターが自身のワークフローを理解するのを助けたり、コンピュータが画像の作成履歴から学習したりすることを可能にする、将来的なツールの扉を開くものです。