Lossy Compression, Realism, and Coordination

あなたは、バッテリーが残りわずかなトランシーバーを使って、友人に秘密のメッセージを送ろうとしている場面を想像してみてください。すべてを話すことはできないので、重要ではない詳細は省かなければなりません。これが**非可逆圧縮（ロスリー圧縮）**の本質です。つまり、残りの情報を素早く送るために、重要ではないと判断した情報を捨てる技術です。何十年もの間、科学者たちは「レート歪み理論」と呼ばれるルールブックを使って、完璧なバランスを見つけ出そうとしてきました。そのルールは単純でした。メッセージをできる限りオリジナルに近づけること。もし写真であれば、ピクセルがオリジナルと完全に一致することを求めていました。

しかし、ここに落とし穴があります。スペースを節約するためにルールを厳格に守りすぎると、写真が変に見えてしまうことがあります。ぼやけていたり、色が平坦に見えたり、質感がプラスチックのようだったりすることがあります。それは技術的にはオリジナルに「近い」のですが、実感が伴いません。ここで、「リアリズム（現実感）」という新しい概念が登場します。「前のピクセルと全く同じか？」と問う代わりに、「これは本物の写真のように見えるか？」と問うのです。これは、猫の絵を描くことに似ています。頭の部分を完璧な円として描けば、それは数学的には本物の猫の頭に近いですが、風船のように見えてしまいます。一方で、少し不完全でふわふわした形を描けば、それは元の猫の正確な線とは一致しないかもしれませんが、猫らしく見えます。

これからあなたが読む論文は、数学的な正確さと自然に見えることの間のこの葛藤を探求しています。そして、驚くべき秘密を発見しました。写真をリアルに見せるための数学は、2つのロボットがほとんど会話せずに協力し合うための数学と、ほぼ同一であるということです。コンピュータに「リアルな画像」を偽造させることを教えることと、2機のドローンに「飛行経路を調整」させることを教えることは、実は表裏一体なのです。

---

大いなるリアリズムの強奪：コピーするよりも、偽装する方が優れた時

長い間、圧縮の目標は完璧なコピー機であることでした。もし夕日の写真があれば、コンピュータの仕事はファイルサイズを縮小し、すべてのピクセルがオリジナルと一致するように写真を再構築することでした。問題は何でしょうか？スペースを節約するために、コンピュータはしばしば粗いエッジを滑らかにしてしまうことがありました。その結果、夕日はるかに色彩は合っているものの、ぼやけて生命力のない、雨に濡れた水彩画のようなものになってしまいました。

この論文の著者である Yassine Hamdi と Deniz Gündüz は、新しい目標が必要だと主張しています。正確なピクセルをコピーしようとするのではなく、その「雰囲気（バイブス）」をコピーすべきなのです。彼らはこれを**リアリズム（現実感）**と呼んでいます。リアルな再構成は、ピクセルごとに一致している必要はありません。ただ、それが本物の写真であり得るように見えればよいのです。もし人間がそのリアルな再構成を見せられたとしたら、本物の写真との違いを判別できないはずです。

これを行うために、論文では**レート・歪み・知覚（RDP）**と呼ばれる三つ巴の綱引きを紹介しています。

1. レート（伝送率）: あなたが送ることが許されているビット（言葉）の量。
2. 歪み（ディストーション）: 新しい画像が古いものとどれだけ異なっているか。
3. 知覚（パーセプション）: 新しい画像がどれほど「リアル」に見えるか。

大きな驚きは、すべてを手に入れることはできないということです。もし、非常にリアルな写真（高い知覚）を要求すれば、元の画像とは少し異なってしまう（高い歪み）ことを受け入れなければなりません。これは、有名なレストランの料理と全く同じ味を作ろうとするシェフのようなものです。もし同じ材料を使えば（低い歪み）、お金が足りなくなるかもしれません（高いレート）。もし安価な材料を使えば（低いレート）、味は損なわれるかもしれません。しかし、もし「味」を本物と全く同じにしたいなら（高い知覚）、レシピを少し変える秘密のスパイスを使う必要があるかもしれません。それは技術的には元のレシピとは異なりますが、美味しくリアルなのです。

ロボットのダンス：驚くべき双子

ここから物語は本当に面白くなります。著者たちは、この「リアルな画像を偽造する」という問題が、**分散協調（ディストリビューテッド・コーディネーション）**と呼ばれる問題と数学的に同じであることを発見しました。

2機のドローンが森の中を飛んでいるところを想像してください。彼らはエリア全体をカバーするために協力する必要がありますが、お互いに非常に短いテキストメッセージしか送れません。地図全体を送ることはできません。そのため、ドローンAはドローンBに対して極めて小さなコードを送り、ドローンBは次にどこを飛ぶべきかを決定しなければなりません。目標は、衝突せずに最も広い範囲をカバーできるように、完璧に調整（コーディネート）することです。

論文は、ドローンの調整のための数学が、リアルな画像を作るための数学とほぼ同一であることを示しています。

• 画像の計算において: あなたは出力（偽の画像）の分布をソース（元画像）に一致させようとしています。
• ドローンの計算において: あなたは出力（ドローンBの飛行経路）が、入力（ドローンAの経路）と一致するように計画されていることを目指しています。

著者たちは、画像の数式内の言葉を入れ替えれば、これら2つの問題は双子になることを発見しました。画像の計算では、出力の分布をソースに合わせようとしています。ドローンの計算では、入力と出力の結合分布をターゲットとなる計画に合わせようとしています。これは、完璧なケーキを焼くためのレシピは、完璧な橋を建設するためのレシピと同じであり、単に使う材料が異なるだけであると気づくようなものです。

秘密の材料：共通のランダム性

もう一つの展開があります。これらのリアルな画像や調整されたドローンを完璧に機能させるには、**共通のランダム性（Common Randomness: CR）**と呼ばれるものが必要です。

CRを、送信者と受信者が話し始める前にあらかじめ持っている「秘密のコードブック」と考えてください。それは、2人のスパイが会う前に、共通の乱数生成器について合意しておくようなものです。送信者がメッセージを送りたいとき、彼らはこの共有されたランダム性を使用して、特定の「リアルに見える」画像や飛行経路を選択します。

論文は、この共通のランダム性がなければ、最高レベルのリアリズムや協調性を達成することは不可能であることを証明しています。これには、膨大な量の共有されたランダムなデータが必要です。実際、数学的な示唆によれば、共有されるランダム性の量は、実際に送られているメッセージそのものよりもはるかに大きくなる可能性があります。それは、たった一言「左へ行け」というテキストメッセージを送るためだけに、乱数のライブラリを必要とするようなものです。

これが、現実世界のパズルを説明しています。なぜ今日私たちが使っているAI画像生成器は、巨大な秘密のコードを必要としていないように見えるのでしょうか？ 論文は、おそらく現在の「リアリズム」の測定方法が厳格すぎるのではないかと示唆しています。一度に少数の画像だけをチェックする場合、秘密のコードは必要ありません。しかし、もし大量の画像を一度にチェックして、それらがリアルに見えるかどうかを確認しようとするならば、秘密のコードは絶対的に必要になります。

未来にとっての意味

この論文は単に数学のパズルを解くだけではありません。新しいアイデアへの扉を開きます。画像を作る（リアリティを偽造する）ことと、行動を調整すること（コーディネーション）がこれほど似ているため、科学者は一方のために作った道具を使って、もう一方の問題を解決することができます。

例えば、論文は**バッチ・クリティック（集団的批評家）**と呼ばれる新しいリアリズムのテスト方法の使用を提案しています。一つの画像を見て「これはリアルか？」と問うのではなく、画像の一群（バッチ）を一度に見て、その中のパターンを見つけ出すのです。著者は、これをドローンにも応用できると示唆しています。単に2機のドローンが一度だけ調整されているかを確認するのではなく、彼らの動きの履歴全体が調整されているように見えるかどうかを確認するのです。

論文は、この繋がりが「宝の山」であると結論づけています。「現実を偽造すること」と「行動を調整すること」が同じゲームであることを理解することで、スマートフォンのためのより優れた圧縮システムや、ロボットがより効率的に協力するためのより賢い方法を生み出すことができるのです。これは、科学においては、全く異なると思っていた2つのことが、実は親友であると気づくことで、最も有用な発見が得られることがあるということを思い出させてくれます。