あなたは、写真だけを使って完璧な3D都市モデルを構築しようとしていると想像してください。コンピュータグラフィックスの世界には、「3D Gaussian Splatting」と呼ばれる、超高速で超鮮明なテクニックがあります。これは、デジタルアーティストが仮想空間に、何百万もの小さくてふわふわした色付きの雲（ガウス分布と呼ばれます）を投げ込んでいるようなものです。コンピュータは、それぞれの雲がどこに浮くべきか、どのくらいの大きさであるべきか、そして何色であるべきかを正確に計算します。そうすることで、どの角度から見ても、まるで本物の写真のように見えるモデルを作り上げます。

通常、この魔法のような手法は、入力されるすべての写真が極めてクリアで完璧である場合に最もよく機能します。しかし、現実の世界では、写真は決して完璧ではありません。容量を節約するために、あなたのスマートフォンやハードドライブに保存される際、「JPEG」として押しつぶされることがあります。この「押しつぶし」のプロセス（圧縮）は、巨大でふわふわした枕を小さなスーツケースに詰め込む作業に似ています。スーツケース（JPEGファイル）に収めるために、枕は押しつぶされなければならず、その結果、奇妙なブロック状のパターンや、エッジの周りのぼやけた輪が現れます。これらは「アーティファクト」と呼ばれます。もし、あなたがこの完璧な写真と、押しつぶされたブロック状のJPEGが混ざったものを使って3D都市を構築しようとしたら、コンピュータは混乱してしまいます。コンピュータはブロック状の部分を修正しようとしますが、その過程で完璧な部分まで台無しにしてしまい、結果として、3Dモデルはグリッチ（不具合）だらけで奇妙なものになってしまいます。

このパズルこそが、ある研究チームが「JSGS」という新しい論文で取り組んだ課題です。彼らは次のようなシンプルな問いを投げかけました。「もし、コンピュータが単に質の悪い写真を無視するのではなく、それらがどのように押しつぶされたのかを正確に理解できたらどうなるだろうか？」と。JSGSは、低品質なJPEGを単なる「質の悪い」画像として扱うのではなく、特定のルールを持ったパズルとして扱います。この論文は、すべてのJPEGファイルの中に保存されている隠れた「指示書」（量子化テーブルと呼ばれます）を使用することで、コンピュータはその特定の写真がどのように歪められたのかを学習できることを示唆しています。その特定の歪みを自身の3Dモデルにシミュレートして適用してから写真と比較することで、コンピュータはアーティファクトと戦うのをやめ、それらから学ぶことができるようになるのです。その結果、高品質な写真と低品質な写真が混在していても、驚くほどシャープでリアルな3Dモデルが完成します。

問題点： 「質の悪い写真」による混乱

あなたが学生の絵を採点しようとしている教師だと想像してください。あなたには自転車の完璧な参照写真があります。しかし、学生は、安価で粒子感のあるプリンターで印刷された、その写真のコピーしか持っていません。そのコピーには、車輪の周りに奇妙なブロック状の四角形があり、ハンドルバーの周りにはぼやけた輪があります。

もしあなたが学生に、「このコピー通りの自転車を描いてください」と言ったら、学生はブロックやぼやけを描いてしまうでしょう。そして、もしあなたが別の、クリスタルクリアな自転車の写真を見せて、「これを修正してください」と言ったら、学生は混乱するかもしれません。「最初の写真にブロックがあったから、それも描くべきなのか？」「二枚目の写真にはなかったから、それを取り除くべきなのか？」

これは標準的な3D Gaussian Splattingで起きていることです。コンピュータは多くの写真を使って一つの3D世界を構築しようとします。もし、ある写真が高品質なJPEGで、別の写真がブロック状の低品質なJPEGだった場合、コンピュータは頭痛を起こします。コンピュータは、ブロック状の写真に合わせて3Dの「雲」を更新しようとしますが、それが他の写真が作り上げようとしていた滑らかな部分を台無しにしてしまうのです。この論文は、標準的なアプローチは、プリンターがコピーを作成するために使用した具体的な指示を見ずに採点しているようなものだと主張しています。

解決策： 「魔法の翻訳機」 (JSGS)

著者であるJinhua Cui氏とそのチームは、「JSGS」（JPEG State-Guided Supervision）と呼ぶ巧妙な解決策を考案しました。JSGSは、写真で行われた「押しつぶし」を無視するのではなく、JPEGファイルの中に隠されている秘密の指示を使用して、コンピュータを導きます。

その仕組みを、3つの楽しいステップに分けて説明します。

1. 「やってのけるまで演じる」翻訳機 (JPEG Observation Operator)
すべてのJPEGファイルには、「量子化テーブル」と呼ばれる隠されたメモが入っています。このテーブルは、「この写真については、明るい色はこれくらい、暗い色はこれくらい押しつぶしました」と記されたレシピカードのようなものです。
JSGSは、コンピュータの3Dモデルを取り込み、そこから一枚の画像をレンダリングした後、元の写真で見つかったのと「全く同じレシピカード」を使用して、その画像を「偽の」JPEGプロセスに通します。これは、コンピュータが「よし、私は自転車を描くけれど、その後にあなたの低品質な写真と全く同じに見えるように、意図的に自分の絵を押しつぶしてみせるよ」と言っているようなものです。こうすることで、押しつぶされた自分の絵と、あなたの押しつぶされた写真が完璧に一致するのです。コンピュータはブロックと戦っているのではなく、ブロックの言語を学んでいるのです。

2. 「周波数探偵」 (Domain-Matched DCT Supervision)
写真は異なる種類のディテールで構成されています。大きなぼやけた形（低周波）もあれば、小さく鋭いエッジ（高周波）もあります。「押しつぶし」のプロセスは、通常、中間のサイズのディテールを最も激しく乱します。
JSGSは、写真のどの部分が最も激しく押しつぶされたかを知っている探偵のように振る舞います。レシピカードを使用して、エラーの重み付けを行います。もし写真がある領域で激しく押しつぶされていたら、コンピュータはその場所では優しく扱うべきだと判断します。もし写真がクリアであれば、コンピュータは注意深く観察すべきだと判断します。これは、「この生徒の字はページの真ん中あたりが震えているので、クリアな上下の部分に集中して採点しよう」と考える教師のようなものです。これにより、コンピュータはノイズに惑わされることなく、正しいディテールを学ぶことができます。

3. 「雲の管理者」 (Gaussian Controller)
それでもなお、コンピュータが写真とモデルの間で意見の相違を見つけることがあります。例えば、写真には奇妙なブロック状の四角があるのに、モデルにはそれがないといった場合です。
JSGSには、これらの相違を監視する特別なマネージャーが備わっています。もしコンピュータが、ブロック状のエリアで混乱を引き起こしている小さな、ふわふわした雲（ガウス分布）を見つけたら、マネージャーはそれを縮小させるか、滑らかにするよう指示します。これは、交通整理の警官が、トラブルが発生している場所に小さな雲が衝突しないよう誘導するようなものです。これにより、3Dモデルは清潔に保たれ、「質の悪い写真」がシーン全体を台無しにすることを防ぎます。

研究結果

チームは、自転車から恐竜まで、7つの異なる3Dシーンを用いて、高品質な写真と低品質な写真を混ぜ合わせる3つの異なる方法で、この新しい手法をテストしました。

• 結果: JSGSは大成功を収めました。従来のメソッドよりもはるかにリアルな見た目の3Dモデルを生成しました。具体的には、すべてのテストにおいて、最も低いエラー率（LPIPSと呼ばれます）を記録しました。これは、モデルが最も実物に近く見えることを意味します。また、最も高い構造的類似性（SSIM）も示しており、形状やディテールが最もよく保持されました。
• 速度: 驚くべきことに、JSGSは処理を遅らせることもありませんでした。3Dシーンを約150 FPS（フレーム・パー・セカンド）でレンダリングできました。これは、複雑な数学を用いて写真を修正している間でも、3Dの世界を本物のビデオゲームのように感じさせるのに十分な速さです。
• トレードオフ: JSGSは、画像のリアリティや構造的な正しさを向上させる点では最高でしたが、FDS-GSと呼ばれる別の手法の方が、生のピクセル輝度（PSNR）を測定する点ではわずかに優れていました。しかし、著者らは、人間の目には単にピクセルの数値を完璧に一致させることよりも、「リアルに見えること」（低いLPIPS）の方が重要である場合が多いと示唆しています。

まとめ

この論文は、写真がどのように圧縮されたかを理解することで、単に「質の悪い画像」として扱うよりも、はるかに優れた3D世界を構築できると結論付けています。JSGSは、コンピュータがさまざまなJPEG写真の「アクセント」を理解するのを助ける翻訳者のようです。

しかし、著者らはその限界についても正直に述べています。彼らの手法は、写真が一度だけ圧縮された場合には非常によく機能します。しかし、写真が圧縮され、保存され、さらに「二度圧縮」された場合には、二度目の圧縮が元の指示を上書きしてしまうため、完全には対応できません。また、彼らは自分たちがラボで作った写真でテストを行っているため、現実世界のあらゆるカメラで撮影された写真に対して、100%確実に機能するかどうかはまだ確証が持てていません。

それでも、現時点では、JSGSは、乱雑な写真の束を、驚くほど高速で素晴らしい3D体験へと変える、遊び心に満ちた強力な新しい方法を提示しています。それは、時として、完璧なものを構築するためには、不完全さを理解しなければならないということを証明しています。