Loggia dei Lanzi: AI Thermography Enhancement Comparisons through 3D Photogrammetry

あなたは、古い厚い石壁の中に隠された謎を解こうとしている探偵だと想像してください。中の様子を見るために壁を壊すことはできません。それでは歴史を破壊してしまうからです。代わりに、あなたは「熱カメラ」を使って、壁のどの部分が温かく、どの部分が冷たいかを調べます。これは、温度を捉えるナイトビジョン・ゴーグルのようなものです。もし、漆喰の下に隠し扉や異なる種類のレンガがあれば、それは周囲とは異なる熱を持ち、画面上に幽霊のような形として浮かび上がってきます。これを**サーモグラフィ（熱画像法）**と呼びます。

しかし、ここには厄意があります。これらの熱カメラが撮る写真は、通常、90年代の低解像度ビデオゲームのように、少しぼやけています。この画像をより鮮明にするために、科学者には主に2つの手法があります。1つ目は、マイクロスキャニングと呼ばれるハードウェアによる手法です。これは、カメラをわずかに震わせることで（手の震えのように）、多くの素早いスナップショットを撮影し、それらを繋ぎ合わせてよりシャープな画像を作るものです。2つ目は、より新しい手法である**人工知能（AI）**です。これは、ぼやけた写真を見て、欠けている詳細がどのようなものかを推測する、非常に賢いコンピュータプログラムのようなものです。AIは、鮮明で高精細に見えるように新しいピクセルを「幻覚（ハルシネーション）」として作り出します。

歴史家や建築家にとっての大きな疑問は、「画像をより鮮明にすることが、本当に隠された秘密を見つける助けになるのか？」という点です。あるいは、AIが単にかっこよく見えるだけの偽のディテールを作り出しているだけなのでしょうか？もしコンピュータが偽のレンガの模様を作り出してしまったら、作成しようとしている3Dマップを混乱させ、建物の歴史について誤った結論を導いてしまうかもしれません。本論文はこのまさにその問い、つまり、これらのハイテクなアップグレードが「魔法の杖」なのか、それとも単なる「派手なフィルター」なのかを検証するものです。

---

ロッジアの物語と熱カメラ

物語の舞台は、イタリアのフィレンツェにある有名なオープンエア・ギャラリー、ロッジア・デイ・ランツィです。ここは数世紀前に建てられた巨大な構造物で、巨大な石のアーチとヴォールト天井を備え、毎年何百万人もの人々が訪れます。非常に古いため、何度も改修が行われてきました。漆喰の層の下には、隠された扉や塞がれた窓、異なる種類の石が埋まっている可能性があります。研究者たちは、壁に触れることなく、これらの秘密を見つけ出すために熱カメラを使用したいと考えました。

2025年12月、科学者チームがロッジアに機材を設置しました。彼らは高性能な熱カメラ（FLIR T1020 HD）を使用して、背面の壁の写真を161枚撮影しました。天候はこれに最適でした。外気は寒かった（約11℃）のですが、建物の中はより温かかったのです。この温度差によって、隠された特徴が、冬の日に熱いココアから立ち上がる湯気のように、熱カメラの上でくっきりと浮かび上がりました。

解像度の壮絶なレース

チームはただ写真を撮って終わりではありませんでした。彼らは3つの異なる方法で画像を改善できるかどうかを確認し、どの方法が壁の最高の3Dマップを作成するのに役立つかを調べようとしました。彼らは、6人の異なるランナーによるレースとして画像を扱いました。

1. ネイティブ・ランナー（元の画像）: カメラから直接出力された、編集されていないオリジナルの写真（1024 × 768 ピクセル）。これが「コントロール・グループ（対照群）」であり、私たちの出発点です。
2. ハードウェア・ランナー（UltraMax）: カメラに内蔵されたトリックで、16フレームを組み合わせてより鮮明な1枚の画像にするために、微細な振動を利用します（2048 × 1536 ピクセル）。
3. 数学・ランナー（Bicubic）: 単純で古典的なコンピュータの手法で、新しい詳細を追加することなく、単に画像を拡大（ストレッチ）するだけです。これは「成功するまでふりをする（Fake it till you make it）」の基準値です。
4. AIランナー #1 (SwinIR): 通常の写真を学習したスマートなAIモデルですが、熱画像用ではないため、詳細をどれくらい推測できるかを試すためのものです。
5. AIランナー #2 (DifIISR): 熱画像用に特別に設計された「拡散（ディフュージョン）」プロセス（ノイズから徐々に画像を明らかにしていくプロセス）を用いる、非常に高度なAIです。
6. AIランナー #3 (TongJi/DRCT): 熱画像の鮮明化に関する最近の世界的なコンテストの勝者であり、画像を膨大な倍率（8倍！）で拡大します。

大きなテスト： 「鮮明であること」は「優れていること」を意味するか？

ここでプロットが急展開します。通常、ぼやけた写真が鮮明になると、私たちはそれが「より良いものになった」と仮定します。しかし、研究者たちは単に写真を見ているのではなく、それらを使って壁の3Dモデルを構築していました。彼らは、写真間のポイントを一致させることで壁の形状を特定しようとするコンピュータプログラムに、これら6つのバージョンの画像を投入しました。

これはパズルのようなものです。パズルのピースに明確で本物のエッジがあれば、完璧なお城を建てることができます。もしパズルのピースにコンピュータが描いた偽のエッジがあれば、正面からはかっこよく見えても、横から見ると崩れたり、奇妙に見えたりするでしょう。

結果:

• ネイティブ画像（オリジナル）: 驚くべきことに、編集されていないオリジナルの写真が、最も正確で信頼できる3Dマップを作成しました。エラーが最も少なく、ポイントの一貫性も最も高かったです。
• ハードウェア・ランナー (UltraMax): これはまずまずの結果でした。単純な数学的拡大よりは少し良かったものの、劇的な飛躍ではありませんでした。これが、オリジナルの品質に最も近い「強化された」バージョンでした。
• AIランナー（「魔法」のランナーたち）: これが最大の驚きです。画像を最も「鮮明」にし、詳細を際立たせたAIモデルは、実は3Dマップを悪化させてしまいました。
  • AIモデルは大量の「ノイズ」を生み出しました。単一の写真では素晴らしく見えるディテールやテクスチャを捏造しましたが、それらは異なる角度から見たときに一致しませんでした。
  • コンピュータがこれらのAI画像を使って3Dの壁を構築しようとすると、混乱が生じました。「偽の」ディテールが一致しないため、3Dモデルがガタガタになり、不正確になったのです。
  • 最も強力なAI（画像を8倍に拡大するもの）は、3Dマップに数百万のポイントを詰め込みましたが、それらはすべて変な場所に集まっており、壁の滑らかな部分は完全に空白のままになってしまいました。それはまるで、パズルの角の部分だけに数百万のピースが集まり、真ん中が空っぽになっているような状態でした。

これが歴史にとって何を意味するか

本論文は、歴史的建造物の隠された秘密を見つけるという特定の目的において、**「ピクセルが多いことは、真実が多いことを意味しない」**と結論付けています。

AIモデルは、博物館のポスターやビデオゲームのために写真を綺麗に見せるのには適しています。AIは、テクスチャが「どう見える可能性があるか」を推測できます。しかし、壁を正確に測定して隠された扉を見つけなければならないとき、その推測は危険です。AIは「幻覚」、つまり存在しないディテールを導入してしまうのです。

研究者たちは、歴史的建造物の隠された特徴を見つけたいのであれば、カメラで安定した良い写真を撮るのがベストであり、どうしても必要であればカメラ内蔵のハードウェア・トリック（UltraMax）を使うのがよいと示唆しています。しかし、画像を「修正」するためにAIを使用することについては、非常に慎重になるべきです。なぜなら、AIは壁に実際に何があるのかについて、あなたに嘘をつく可能性があるからです。

要するに、**「コンピュータに歴史を推測させてはいけない」**ということです。たとえ少しぼやけていたとしても、オリジナルの未編集の熱マップこそが、ロッジア・デイ・ランツリの真実の物語を伝えているのです。AIは高精細な映画のように見せることはできますが、謎を解こうとしている科学者にとって、低解像度のオリジナル写真こそが、偽のプロット・ツイストを含まない唯一の信頼できる情報なのです。