Using street view images and visual LLMs to predict heritage values for governance support: Risks, ethics, and policy implications
本論文は、国家的な建築改修計画を支援するために、スウェーデンの建築ストックにおける遺産価値を特定する目的で、街路景観画像（ストリートビュー画像）を分析するマルチモーダル大規模言語モデルの使用を評価するとともに、透明性、誤り検出、およびガバナンスにおける追従性に関する関連するリスク、倫理的懸念、および政策的含意を批判的に検討するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、街全体の住宅をエネルギー効率の高いものに改修しようとしていると想像してください。しかし、あなたには大きな盲点があります。どの家が特別な「遺産（ヘリテージ）」建築であり、特別な配慮が必要なのかを知らないのです。スウェーデンには、こうした特別な建物の完全なリストが存在しません。それは、旅行のためにスーツケースをパッキングする際、どのアイテムが壊れやすいアンティークで、どれがただの古いTシャツなのかを知らずに作業しているようなものです。
この論文は、スウェーデンの当局が、マルチモーダル大規模言語モデル（LLM）と呼ばれる新しい種類の「デジタルな目」を用いて、この問題を解決しようと試みたプロジェクトについて記述しています。ここでは、彼らがどのように取り組み、何を発見し、その過程でどのような警告を見出したのかを説明します。
デジタル探偵
専門家を派遣してスウェーデンのすべての通りを歩かせる代わりに（それは膨大な時間がかかり、莫大な費用を要します）、研究者たちは「見て」「読む」ように訓練されたAIを使用しました。彼らは、Google ストリートビューから撮影された15万枚以上の建物のファサード（正面）の写真にAIを学習させました。
AIを、非常に速く、非常に博識な美術学生だと考えてください。研究者たちは、人間が建物を判断する際の手法に基づいた特定のチェックリストをAIに与え、こう問いかけました。「この写真を見てください。この建物は歴史的または文化的な価値があるように見えますか？1から100の間で評価してください。」
彼らはAIに新しいルールを教えたわけではありません。単に、既存の知識を使って「ゼロショット（事前学習なし）」の推測を行うよう求めたのです。これは、絵画を判断するために教科書を見せる前に、知識のある友人に意見を求めるようなものです。
結果：良いスタートだが、完璧ではない
AIは広大な範囲の建物（床面積約500万平方メートル）をスキャンし、約1〜2%の建物を「潜在的な遺産」としてフラグ立てすることに成功しました。
- 良いニュース: AIは、明らかに「古くて豪華な」建物を特定することにおいて、驚くほど優秀でした。古典的な装飾があったり、非常に古く見えたりする場合、AIは高いスコアを与えました。
- 悪いニュース: AIは少し「保守的」でした。地域コミュニティにとって依然として文化的に重要である可能性のある、控えめで日常的な建物を見落とす傾向がありました。また、バイアスも見られました。AIは、貧しい地域や小さな町よりも、裕福なエリアや首都ストックホルムにある建物を好む傾向がありました。
「サイコファント（追従者）」問題
この論文で最も興味深い発見の一つは、AIの「性格」についてです。研究者たちはこれを**「サイコファント（sycophancy：追従性）」**と呼んでいます。
あなたに常に同意し、たとえ間違っていても非常に自信満々に話す「イエスマン」を想像してください。LLMは、礼儀正しく、話し上手になるように訓練されています。質問をすれば、たとえ内容が「ハルシネーション（幻覚／作り話）」であっても、非常に自信に満ちた詳細な回答を返してきます。
論文は、当局がAIの自信たっぷりのテキストだけを鵜呑みにすると、騙される可能性があると警告しています。これを防ぐため、研究者たちはAIに長い文章ではなく、数値（例えば50や80といったスコア）を出力させるように強制しました。これにより、人間がAIの流暢な話しぶりに感銘を受けるのではなく、計算内容をチェックし、エラーを見つけやすくなったのです。
人間のセーフティネット
この論文は、このAIツールは人間の専門家に取って代わるものではないことを強調しています。それはむしろ、高速な仕分け機のようです。
- プロセス: AIが数百万枚の写真をスキャンし、特別な可能性があるものをフラグ立てします。
- 人間の役割: その後、人間の遺産専門家が、フラグ立てされた建物を見て最終的な決定を下します。
研究者たちは、AIが選んだトップの候補の中からランダムにサンプルを選び、専門家に確認してもらうことでこのテストを行いました。専門家たちは、AIが実際に遺産としての特徴を持つ建物をうまく見つけ出していることに同意しました。しかし同時に、人間なら価値があると判断したであろう他の多くの建物を見逃していることも指摘しました。
大きな警告
論文は、この技術を使用するすべての人に向けて、いくつかの重要な「注意サイン」で締めくくられています。
- バイアスは実在する: AIは人間が作成したデータから学習しており、人間にはバイアスがあります。AIは、貧しい地域の建物よりも、裕福な近隣地域の建物の方が「遺産としての価値がある」と判断する傾向がありました。もし盲目的に使用すれば、不公平な政策につながる可能性があります。
- 文脈（コンテキスト）が重要: 建物の価値は、単に通りからどう見えるかだけではありません。その歴史、そこに誰が住んでいるか、そしてコミュニティにとってそれが何を意味するかという点にあります。AIが見ることができるのは建物の「皮膚（ファサード）」だけであり、「魂（歴史）」は見ることができません。
- 「イエスマン」を信じ込まない: AIは非常に自信満々であるため、人間はそれが最終決定を下すようにさせてしまうことがないよう、細心の注意を払う必要があります。これは判断するための道具ではなく、助けるための道具なのです。
結論
このプロジェクトは、AIが政府にとって強力な「アシスタント」になり得ることを示しました。国全体を迅速にスキャンし、保護が必要かもしれない建物を見つける手助けをしてくれます。しかし、AIは魔法の杖ではありません。膨大なリストを絞り込むための第一ステップとして使い、その後のニュアンスを含む最終決定は、地元の歴史や文化を理解している人間の専門家に委ねるのがベストです。
要するに、AIを使って「干し草の山から針を見つける」ことはできますが、その針が本当に貴重なものであるかどうかを決めるのは、人間の専門家であるべきです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。