💻 computer science

UniSER: A Foundation Model for Unified Soft Effects Removal

本論文は、レンズフレアや霞、影、反射といった「ソフト効果」による画像劣化を、個別の専門モデルや汎用生成モデルの限界を克服し、単一の基盤モデル「UniSER」によって高忠実度かつ頑健に除去する手法を提案しています。

原著者： Jingdong Zhang, Lingzhi Zhang, Qing Liu, Mang Tik Chiu, Connelly Barnes, Yizhou Wang, Haoran You, Xiaoyang Liu, Yuqian Zhou, Zhe Lin, Eli Shechtman, Sohrab Amirghodsi, Xin Li, Wenping Wang, Xiaohang Z

公開日 2026-03-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jingdong Zhang, Lingzhi Zhang, Qing Liu, Mang Tik Chiu, Connelly Barnes, Yizhou Wang, Haoran You, Xiaoyang Liu, Yuqian Zhou, Zhe Lin, Eli Shechtman, Sohrab Amirghodsi, Xin Li, Wenping Wang, Xiaohang Zhan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

UniSER：写真の「ごみ」をきれいに消す魔法のツール

こんにちは！今日は、Adobe 研究所とテキサス A&M 大学が共同で開発した新しい AI 技術**「UniSER」**について、難しい専門用語を使わずに、わかりやすくお話しします。

想像してみてください。美しい風景写真や大切な記念写真があるのに、レンズフレア（光の筋）、影、反射、あるいは霧や霞がかかっていて、見栄えが損なわれているとします。昔は、これを直すには「レンズフレア用」「影用」「霧用」といった、それぞれ専用の道具（アプリやソフト）が必要でした。でも、UniSER は**「万能な魔法の消しゴム」**のようなものです。

🌟 UniSER が何をするのか？

UniSER は、写真に付いてしまった「ソフトな効果（ソフトエフェクト）」を、1 つのモデルで何でも消せるように作られた AI です。

レンズフレア（カメラの光の筋）
影（人や物が作った黒い部分）
反射（ガラスや鏡に映り込んだ不要な映像）
霞や霧（景色をぼんやりさせる空気）

これらを、まるで「写真の汚れを拭き取る」かのように、きれいに消し去ります。しかも、消した後の背景や人物の顔が崩れたり、変な絵になってしまったりすることはありません。

🧠 どうやってそんなに上手にできるの？

この AI がすごいのは、2 つの大きな秘密があるからです。

1. 380 万枚の「練習用写真」で勉強した

この AI は、人間が勉強するのと同じように、大量のデータを見て学習しました。研究者たちは、380 万枚もの「汚れた写真」と「きれいな写真」のペアを集めて、AI に「ここを消したらどうなるか」を徹底的に教えました。

例え話: 普通の料理人が「卵料理」しか作れないのに対し、UniSER は「380 万種類」の料理のレシピをすべて頭に入れて、どんな食材（汚れ）が出ても、最高の料理（きれいな写真）を作れる大料理長のようなものです。

2. 「消す強さ」と「消す場所」を自分で決められる

これが一番の便利ポイントです。

消す場所の指定: 「この影だけ消して、他の影は残したい」という場合、マウスでその場所をなぞるだけで、その部分だけをきれいにします。
消す強さの調整: 「影を完全に消す」のではなく、「影を少し薄くする」くらいにしたい場合も、スライダーを動かすだけで調整できます。
例え話: 普通の消しゴムは「ゴシゴシ擦って全部消す」だけですが、UniSER は「消したい場所だけピンポイントで、消す量も自分で調整できる、魔法の消しゴム」のようなものです。

🎨 逆もできる？「効果を加える」ことも！

面白いことに、UniSER は「消す」ことだけでなく、「加える」こともできます。
きれいな写真に「あえて霧を加えたり」「反射を作ったり」することも可能です。まるで、写真に「雰囲気」を付け足す画家のようですね。

🆚 既存の AI と何が違うの？

最近、GPT-4o や Gemini などの「何でもできる巨大 AI」も写真編集ができます。でも、それらは「詳しく指示しないと」うまく動かなかったり、写真の人物の顔が変わってしまったりすることがありました。

既存の巨大 AI: 「この写真の影を消して」と言っても、指示が曖昧だと「影を消したけど、背景の木まで消しちゃった！」なんて失敗することがあります。
UniSER: 「ここだけ、この強さで消して」と指示すれば、ピタリと狙った場所だけを、元の写真の雰囲気を壊さずにきれいにします。

🏆 まとめ

UniSER は、写真の「ごみ」をきれいに掃除してくれる、**写真編集の「万能戦士」**です。

380 万枚のデータで鍛え上げられたプロフェッショナル。
消す場所と強さを自由自在に操れる。
消すだけでなく、雰囲気を作ることもできる。

これからの写真編集は、難しい設定をいじり回す必要なく、UniSER にお任せすれば、誰でもプロのようなきれいな写真が作れるようになるかもしれませんね！

UniSER: 統合されたソフトエフェクト除去のための基盤モデル

技術サマリー

本論文は、デジタル画像に付着する「ソフトエフェクト（半透明な遮蔽）」を統合的に除去・制御する新しい基盤モデルUniSERを提案したものです。レンズフレア、霞（ヘイズ）、影、反射など、多様な劣化を単一のフレームワークで処理し、背景のアイデンティティを保持しながら高忠実度の復元を実現します。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義 (Problem)

既存の画像復元手法には以下の課題がありました：

個別対応の限界: 従来の研究は、霞除去、影除去、反射除去などを個別のタスクとして扱っており、専用モデル（スペシャリスト）が多数存在します。これらは特定のタスクでは高性能ですが、スケーラビリティに欠け、未知の環境や複雑な混合劣化への汎化能力が低いです。
一般化モデルの課題: 最近の大規模な一般化モデル（GPT-4o, Flux Kontext など）はテキストプロンプトによる編集が可能ですが、ソフトエフェクト除去のような微細なタスクでは不安定であり、プロンプトの微調整に依存します。また、画像の局所構造や物体のアイデンティティ（ID）を保持できず、背景が歪んだり、不要な部分が変わったりする「コンテンツドリフト」が発生しやすいです。
ソフトエフェクトの本質: レンズフレア、霞、影、反射は、一見異なる現象ですが、本質的には**「半透明な遮蔽（semi-transparent occlusions）」**であり、背景の情報を完全に破壊するのではなく、部分的に隠しているという共通点があります。この共通性を活用した統合的なアプローチが求められていました。

2. 手法 (Methodology)

UniSER は、データ中心のアプローチと拡散トランスフォーマー（DiT）を基盤としたアーキテクチャを採用しています。

A. 大規模データセットの構築 (Data Curation)

380 万ペアのデータセット: 4 つの主要タスク（レンズフレア、影、霞、反射）からなる既存のオープンソースデータセットを統合し、さらに物理的に妥当な合成データを追加して、合計約 380 万ペアの画像ペアを構築しました。
データ拡張:
- レンズフレア: Blender を使用した 3D レンダリングにより、幾何学的に整合性の取れた「HALO データセット（7 万ペア）」を新規作成。
- 影: 実世界のオブジェクトと背景を合成し、影のないグランドトゥルースを生成する「LR-SRD データセット（2.6 万ペア）」を構築。
- 霞: 物理的な大気レンダリングパイプライン（放射輸送方程式に基づく）を用いて、均一でない霞やスモーク、霧をシミュレートし、既存の合成データセットを拡張。

B. 統合フレームワーク (Unified Framework)

アーキテクチャ: 潜在拡散モデル（Latent Diffusion Model）に基づき、Variational Autoencoder (VAE) と Diffusion Transformer (DiT) を使用。
条件付け: 入力画像の潜在表現、タスク固有のプロンプト（例：「霞を除去」）、およびユーザー制御パラメータを条件として与えます。
トレーニング戦略:
- ランダムマスキング: 訓練時にランダムな形状のマスクを生成し、その領域内でのみエフェクトを除去するよう学習させます。これにより、任意のユーザー指定領域への対応が可能になります。
- 除去強度制御: マスク値を連続値（0.0〜1.0）として扱い、エフェクトの除去強度を制御できるようにします。目標画像は、クリーンな画像と劣化画像を強度 $\alpha$ で線形補間して生成されます（ $I_{target} = \alpha M \cdot I_{gt} + (1-\alpha M) \cdot I_{input}$ ）。
- 未定義エフェクトへの対応: 「エフェクトを除去」という汎用的なプロンプトを使用するタスクや、クリーン画像に人工的な劣化を加えるタスクを混合して学習させることで、訓練時に存在しないエフェクト（雨、シミなど）へのゼロショット汎化を可能にしています。

3. 主要な貢献 (Key Contributions)

汎化のための大規模データセット: 380 万ペアのバランスの取れた高品質データセットを構築し、野外（in-the-wild）データに対する強力な汎化性能の基盤を提供しました。
多機能な SER モデル (UniSER): 単一のモデルで複数のソフトエフェクトを除去可能であり、専門特化モデルだけでなく、Nano Banana などの大規模一般化モデルよりも優れた性能を達成しました。
制御可能な編集機能:
- ピクセル単位のマスク制御: ユーザーが特定の領域のみを指定して除去できます。
- 強度制御: 完全除去から部分的な軽減まで、連続的な強度調整が可能です。
- エフェクトの追加・強化: 除去の逆プロセスとして、クリーンな画像にリアルなエフェクトを追加・強化する機能も備えています。

4. 結果 (Results)

定量的評価:
- 野外データ: 参照なしメトリクス（LIQE, コントラストゲイン）および VLM（Qwen2.5-VL）を用いた評価において、専門モデルや一般化モデルを大きく上回るスコアを記録しました（例：霞除去で QwenQA スコア 60.0%、専門モデルは 0-22% 程度）。
- ベンチマーク: 標準的な 8 つのベンチマーク（Flare7K, SOTS, WSRD+, SIR2 など）において、PSNR/SSIM 指標で State-of-the-Art (SOTA) を達成、または専門モデルと同等以上の性能を示しました。
定性的評価:
- 背景のアイデンティティを保持しつつ、エフェクトを完全に除去し、自然な復元を実現しています。
- 一般化モデルに見られるような、背景の歪みや不要な変更が発生していません。
- ユーザースタディにおいても、除去の完全性とアイデンティティ保持の観点で、他のモデルを圧倒的に上回る支持率（89.2%〜97.5%）を得ました。
ゼロショット汎化: 訓練データに含まれていない「雨」や「シミ」などの未定義のエフェクトに対しても、高い除去能力を示しました。

5. 意義 (Significance)

UniSER は、画像復元分野において以下の重要な進展をもたらしました：

統合アプローチの確立: 従来は個別に扱われていた「半透明な遮蔽」を統合的に処理する基盤モデルの存在を示し、スケーラビリティとロバスト性を両立させました。
実用性の向上: 専門家の手作業や複雑なプロンプト調整なしに、プロフェッショナルな写真編集や重要なコンピュータビジョンパイプラインで利用可能な、高精度かつ制御性の高いツールを提供します。
データ駆動型基盤モデルの示唆: 大規模で多様なデータセットの構築と、物理的に妥当な合成データの活用が、低レベルの画像処理タスクにおける基盤モデルの成功に不可欠であることを実証しました。

総じて、UniSER は、複雑な野外環境における画像劣化に対する、統一された、制御可能で、高忠実度な解決策として、画像復元および編集技術の新たな基準を提示するものです。