あなたは、魔法の芸術家に非常に具体的で微細な指示を与えようとしていると想像してください。例えば、「その花の茎を滑らかなS字型に曲げて」と言うかもしれません。しかし、ここで問題が発生します。その芸術家は少し夢見がちなのです。彼らは「S字型」という言葉を聞くと、茎を間違った場所で曲げてしまったり、植物全体をヘビに変えてしまったりするかもしれません。これが、画像編集における**人工知能（AI）**の課題です。科学者たちは、強力な「生成モデル」——何百万もの画像で訓練されたデジタルアーティストのようなもの——を構築し、テキストに基づいて画像を変化させることができます。しかし、葉を一本曲げたり、炎を伸ばしたりといった、非常に細かく精密な変更を求めると、これらのデジタルアーティストは混乱してしまいます。彼らは画像の誤った部分を変更したり、どのように変更すべきかという指示を誤解したりすることがあるのです。

これを解決するために、研究者たちは主に2つのテクニックを試してきました。一つは、画面上に線を描いて、どこを曲げるべきかを正確に示すスケッチを芸術家に与えることです。もう一つは、「ここを曲げて」と書くようなテキストによる指示を与えることです。しかし、それぞれのテクニックには欠点があります。スケッチだけを与えると、芸術家は何をすべきか（葉をコピーするのか、動かすのか、それとも単に曲げるのか？）が分かりません。テキストの指示だけを与えると、芸術家はどこに対して行うべきかを知りません。この論文、SI-Editは、スケッチとテキストの両方に同時に耳を傾けるよう芸術家に教えることで、最後の1ピクセルに至るまで画像を形作る超精密なデジタル彫刻家のように振る舞わせ、この問題を解決しようとしています。

問題点： 「翻訳ミス」を起こす芸術家

あなたが、描いたものを友人に説明して、その通りに描いてもらうゲームをしていると想像してください。もしあなたが「木の枝を曲げて」と言ったら、友人は間違った枝を曲げてしまったり、あるいは全く新しい木を描いてしまったりするかもしれません。これは、テキスト指示のみに従う現在のAIツールで起きていることです。彼らは「空を青くする」といった大きな変化には優れていますが、微細で精密な変化には極めて劣っています。彼らには「空間的なアンカー（錨）」、つまりどのピクセルを動かすべきかを知るための手段が欠けているのです。

一方で、スケッチ（画面上に描かれた線）だけを与えた場合、AIは「どこに」描くかは分かりますが、「何を」すべきかは分かりません。その線は、葉を動かすためのものなのか？ コピーするためのものなのか？ それとも単に曲げるためのものなのか？ 明確な指示がなければ、AIは間違った推測をし、葉が突然自分自身のコピーに変わったり、茎が消えてしまったりするといった奇妙な結果を招くことがあります。

この論文の著者たちは、完璧なピクセルレベルの制御を得るためには、マップ（スケッチ）と目的地（テキスト）の両方が必要であることに気づきました。しかし、大きな障害がありました。これら2つを完璧に組み合わせたAI用のトレーニングマニュアルをこれまでに誰も作成したことがなかったのです。

解決策： 新しいトレーニングマニュアルと新しい芸術家

これを解決するために、チームはまず、SI-Dataと呼ばれる大規模で高品質なトレーニングデータセットを構築する必要がありました。これは、AIのための巨大な料理本のようなものです。単に「前」と「後」の画像とテキストの説明を見せるのではなく、彼らはクアドラプレット（4つ組）、つまり以下の4つの要素がセットになったものを作成しました：

1. 元の画像（出発点）。
2. ターゲット画像（編集後の姿）。
3. スケッチ（形状の変化を示す単純な線）。
4. 指示（AIに何をすべきかを伝えるテキスト）。

これらをすべて手作業で描いたわけではありません。そうすれば膨大な時間がかかってしまうからです。代わりに、彼らは巧妙な自動化パイプラインを使用しました。美しい写真を取り込み、スマートなAI（Qwen3-VL）に特定の編集指示（例：「テントを伸ばして」）を考案させ、次に別のAI（Nano Banana Pro）を使用して実際にその変更を行いました。そして、数学的なトリックであるオプティカルフローを使用して、元の画像から新しい画像へのピクセルの動きを捉えることで、自動的に「スケッチ」を描き出しました。これにより、スケッチとテキスト指示を組み合わせて精密な編集を行うための、完璧な例を6,500件作成することに成功しました。

SI-Editの仕組み：「同じ位置」のトリック

この新しいデータセットを用いて、彼らは新しい編集ツールであるSI-Editを構築しました。このツールは「協調的」な芸術家として設計されています。テキストやスケッチを単独で見ているのではなく、それらを同時に見ています。

論文では、これを実現するための2つの主要なテクニックを紹介しています：

1. 「タスク・トリガー」トークン： すべての指示の冒頭に、<sk> と書かれた特別な秘密のコードワードを追加しました。これは、芸術家が描き始める前に鳴るベルのようなものです。AIが「ベル（<sk>）」を聞くと、「おっと、これから見るスケッチの線に細心の注意を払わなければならない」と理解します。これにより、AIはスケッチが単なる装飾ではなく、厳格なルールであることを理解できます。
2. 同一位置エンコーディング（Same Position Encoding: SPE）： これが最も重要な部分です。ガラス板の上に絵をトレースしているところを想像してください。下に元の絵があり、その上にスケッチがあります。もしこれらが完璧に重なっていないと、あなたの描画はズレてしまいます。通常のAIは、スケッチと元の画像を別々のものとして扱うため、それらが「ドリフト（漂流）」してしまいます。SI-Editは、スケッチと元の画像を、その脳内において全く同じ場所にあるものとして扱うようAIに強制します。スケッチを画像に重ね合わせ、「これら2つのものは同じ座標にある」とAIに伝えるのです。これにより、AIがどこで曲がるべきかについて混乱することを防ぎます。

彼らが発見したこと： ピクセルレベルの精度

チームは、SI-EditをSketchEdit、MagicQuill、FramePainterといった他の人気のあるツールと比較検証しました。結果は明白でした。SI-Editはルールに従う能力がはるかに高かったのです。

• 幾何学的精度： AIがどれだけスケッチの線に従っているかを測定した際、SI-Editのスコアは4.292（低いほど良い）であり、次に優れたMagicQuillのスコアは7.434でした。これは、SI-Editによる曲がりやカーブが、ユーザーが実際に描いたものに非常に近いことを意味します。
• 意味的理解： AIが実際にテキストの指示（例えば「伸ばす」と「コピーする」の違いなど）を実行できているかをチェックした際、SI-Editは$\Delta$CSと呼ばれる指標において0.0174を記録し、他のすべての手法を上回りました。
• ユーザーの好み： 実際の人間が結果を見たところ、視覚的一貫性、正確性、または画像の品質のどれを求めているかに応じて、SI-Editが他のツールよりも**81.3%から94.8%**高い割合で好まれました。

また、このツールは単に物を曲げるだけでなく、武道家が構えを変えるように、顔や服を全く同じに見せたまま、人物のポーズを変更することさえできることも論文では示されています。

結論

著者たちは、明確なマップ（スケッチ）と明確な目的地（テキスト）を組み合わせ、スケッチとテキストを一つの統一されたガイドとして扱うようAIに教えることで、画像の残りの部分を台無しにすることなく、微細で複雑な変更を正確に扱うことができる画像編集ツールがついに実現できると示唆しています。彼らは単に優れたツールを作っただけでなく、AIにこれを教えるための最初の公開データセットを構築し、将来の研究者がよりスマートなデジタルアーティストを生み出すための扉を開きました。論文は、「空間的な曖昧さ（どこを編集すべきか分からない）」と「意味的な盲目（何を編集すべきか分からない）」という問題が大きな障壁であったものの、この協調的なアプローチが、ピクセルパーフェクトな編集への道を切り開くことに成功したと結論付けています。