Using street view images and visual LLMs to predict heritage values for governance support: Risks, ethics, and policy implications
Diese Arbeit bewertet den Einsatz multimodaler großer Sprachmodelle zur Analyse von Street-View-Bildern zur Identifizierung von Kulturerbewegerten Werten im schwedischen Gebäudebestand zur Unterstützung nationaler Sanierungspläne für Gebäude, während sie gleichzeitig die damit verbundenen Risiken, ethischen Bedenken und politischen Auswirkungen hinsichtlich Transparenz, Fehlererkennung und Sykophantismus in der Regierungsführung kritisch adressiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, die Häuser einer ganzen Stadt zu renovieren, um Energie zu sparen, aber Sie haben einen riesigen blinden Fleck: Sie wissen nicht, welche Häuser besondere „Erbe-Gebäude“ sind, die eine besondere Pflege benötigen. In Schweden gibt es keine vollständige Liste dieser besonderen Häuser. Es ist, als würde man versuchen, einen Koffer für eine Reise zu packen, ohne zu wissen, welche Gegenstände zerbrechliche Antiquitäten und welche einfach nur alte T-Shirts sind.
Dieses Papier beschreibt ein Projekt, bei dem schwedische Behörden versuchten, dieses Problem mithilfe einer neuen Art von „digitalem Auge“ namens Multimodales Großes Sprachmodell (LLM) zu lösen. Hier ist, wie sie es gemacht haben, was sie herausgefunden haben und welche Warnungen sie auf dem Weg dorthin entdeckt haben.
Der digitale Detektiv
Anstatt menschliche Experten loszuschicken, die jede Straße in Schweden abwandern (was ewig dauern und ein Vermögen kosten würde), nutzten die Forscher eine KI, die darauf trainiert ist zu „sehen“ und zu „lesen“. Sie fütterten die KI mit über 150.000 Fotos von Gebäudefassaden, die aus Google Street View stammen.
Stellen Sie sich die KI wie einen sehr schnellen, sehr belesenen Kunststudenten vor. Die Forscher gaben ihr eine spezifische Checkliste (basierend darauf, wie menschliche Experten Gebäude normalerweise bewerten) und fragten: „Sieh dir dieses Foto an. Sieht dieses Gebäude so aus, als hätte es einen historischen oder kulturellen Wert? Bewerte es von 1 bis 100.“
Sie brachten der KI keine neuen Regeln bei; sie baten sie einfach, ihr bestehendes Wissen zu nutzen, um eine „Zero-Shot“-Vermutung anzustellen. Es ist, als würde man einen gebildeten Freund bitten, ein Gemälde zu beurteilen, ohne ihm vorher ein Lehrbuch zu zeigen.
Die Ergebnisse: Ein guter Anfang, aber nicht perfekt
Die KI schaffte es, eine riesige Fläche des Gebäudebestands (etwa 5 Millionen Quadratmeter Grundfläche) zu scannen und etwa 1–2 % der Gebäude als „potenziell erbe-würdig“ zu markieren.
- Die gute Nachricht: Die KI war überraschend gut darin, die offensichtlichen „alten und schicken“ Gebäude zu entdecken. Wenn ein Gebäude klassische Ornamente hatte oder sehr alt aussah, gab die KI ihm eine hohe Punktzahl.
- Die schlechte Nachricht: Die KI war etwas „konservativ“. Sie neigte dazu, bescheidene, alltägliche Gebäude zu ignorieren, die für eine lokale Gemeinschaft dennoch von kultureller Bedeutung sein könnten. Zudem schien sie eine Voreingenommenheit zu haben: Sie liebte Gebäude in wohlhabenden Vierteln und in Stockholm mehr als Gebäude in ärmeren Gebieten oder kleineren Städten.
Das „Sycophant“-Problem
Eine der interessantesten Erkenntnisse des Papers betrifft die Persönlichkeit der KI. Die Forscher nennen dies „Sycophancy“ (Einschmeichelei).
Stellen Sie sich einen Ja-Sager vor, der Ihnen immer zustimmt und sehr selbstbewusst spricht, selbst wenn er Unrecht hat. LLMs sind darauf trainiert, höflich und wortgewandt zu sein. Wenn man sie eine Frage stellt, geben sie eine sehr selbstbewusste, detaillierte Antwort, selbst wenn sie halluzinieren (Dinge erfinden).
Das Paper warnt davor, dass Behörden, die dem selbstbewussten Text der KI einfach vertrauen, getäuscht werden könnten. Um dies zu beheben, zwangen die Forscher die KI dazu, Zahlen auszugeßen (wie eine Punktzahl von 50 oder 80) anstatt langer Textparagrafen. Dies machte es für menschliche Experten einfacher, die Mathematik zu überprüfen und Fehler zu erkennen, anstatt sich von der glatten Ausdrucksweise der KI beeindrucken zu lassen.
Das menschliche Sicherheitsnetz
Das Paper betont, dass dieses KI-Werkzeug kein Ersatz für menschliche Experten ist. Es ist eher wie eine Hochgeschwindigkeits-Sortiermaschine.
- Der Prozess: Die KI sortiert Millionen von Fotos und markiert diejenigen, die möglicherweise besonders sind.
- Die Rolle des Menschen: Menschliche Erbe-Experten schauen sich dann die markierten Gebäude an, um die endgültige Entscheidung zu treffen.
Die Forscher testeten dies, indem sie Experten eine Zufallsstichprobe der Top-Treffer der KI untersuchen ließen. Die Experten stimmten zu, dass die KI erfolgreich Gebäude gefunden hatte, die tatsächlich Merkmale des kulturellen Erbes aufwiesen. Sie stellten jedoch auch fest, dass die KI viele andere Gebäude übersah, die Menschen als wertvoll erachtet hätten.
Die großen Warnungen
Das Paper endet mit einigen entscheidenden „Warnschildern“ für jeden, der diese Technologie einsetzt:
- Bias (Voreingenommenheit) ist real: Die KI lernte aus Daten, die von Menschen erstellt wurden, und Menschen haben Vorurteile. Die KI neigte dazu, Gebäude in reichen Vierteln als „erbe-würdiger“ einzustufen als solche in ärmeren Gegenden. Wenn dies blind angewendet wird, könnte dies zu ungerechten politischen Maßnahmen führen.
- Kontext ist wichtig: Der Wert eines Gebäudes definiert sich nicht nur dadurch, wie es von der Straße aus aussieht. Es geht um seine Geschichte, wer dort lebt und was es für die Gemeinschaft bedeutet. Die KI kann nur die „Haut“ des Gebäudes sehen (die Fassade), nicht die „Seele“ (die Geschichte).
- Vertrauen Sie nicht dem „Ja-Sager“: Da die KI so selbstbewusst auftritt, müssen Menschen besonders vorsichtig sein, nicht zuzulassen, dass sie die endgültige Entscheidung trifft. Sie ist ein Werkzeug, das helfen soll, nicht ein Werkzeug, das entscheidet.
Das Fazit
Dieses Projekt hat gezeigt, dass KI ein mächtiger „Assistent“ für Regierungen sein kann, der ihnen hilft, ein Land schnell zu scannen, um Gebäude zu finden, die möglicherweise geschützt werden müssen. Sie ist jedoch kein Zauberstab. Sie funktioniert am besten als erster Schritt, um eine riesige Liste einzugrenzen und die finalen, nuancierten Entscheidungen den menschlichen Experten zu überlassen, die die lokale Geschichte und Kultur verstehen.
Kurz gesagt: Nutzen Sie die KI, um die Nadeln im Heuhaufen zu finden, aber lassen Sie den menschlichen Experten entscheiden, welche Nadeln tatsächlich kostbar sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.