AI vs Human Expert Reasoning: Assessing Agreements in Building Typology Predictions based on Street View Imagery
Diese Studie zeigt, dass Vision-Language-Modelle, insbesondere wenn sie durch Chain-of-Thought-Prompting verbessert werden, durch die Nutzung visueller Mustererkennung eine Genauigkeit von etwa 70 % bei der Vorhersage von Gebäudetypologien aus Street-View-Bildern erreichen können, obwohl sie sich von menschlichen Experten dadurch unterscheiden, dass sie weniger auf breiteren Kontextreizen und Fachwissen beruhen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen eine Stadt zu verstehen, aber anstatt durch ihre Straßen zu laufen, betrachten Sie sie durch eine riesige, hochtechnologische Kamera, die alles vom Boden aus sieht. Dies ist die Welt der urbanen Analyse, ein Bereich, in dem Wissenschaftler und Planer versuchen, die Funktionsweise von Städten zu kartieren – von den Materialien, aus denen Gebäude bestehen, bis hin zur Anzahl ihrer Stockwerke. Lange Zeit mussten Experten, um diese Informationen zu erhalten, jedes einzelne Gebäude besuchen, Notizen machen und erraten, wofür es genutzt wurde – eine langsame, teure und erschöpfende Arbeit. Doch vor kurzem ist ein neues „Gehirn“ in das Spiel eingestiegen: das Vision-Language Model (VLM). Betrachten Sie ein VLM als einen superintelligenten Roboter, der fast jedes Buch im Internet gelesen hat und zudem gelernt hat, Bilder zu „sehen“. Er kann ein Foto eines Hauses betrachten und Ihnen nicht nur sagen, wie es aussieht, sondern auch, woraus es gebaut ist, wie viele Stockwerke es hat und was die Menschen darin tun, indem er das, was er sieht, mit dem kombiniert, was er weiß. Die große Frage, die sich alle stellen: Kann dieser Roboter den Job so gut wie ein menschlicher Experte, etwa ein Architekt oder ein Ingenieur, besonders an Orten, an denen Daten schwer zu finden sind?
Dieses Paper nimmt diese Frage mit in die geschäftigen, chaotischen und lebendigen Straßen von Nord-Jakarta, Indonesien – ein Ort, an dem Gebäude oft von Hand gebaut werden, im Laufe der Zeit erweitert werden und nicht immer den offiziellen Regeln folgen. Die Forscher wollten sehen, ob diese KI-Roboter Straßensichtfotos betrachten und korrekt die „Typologie“ (das schicke Wort für die Art und Nutzung) von Tausenden von Gebäuden erraten können. Sie ließen einen freundschaftlichen Wettbewerb zwischen drei der berühmtesten KI-Modellen – GPT-4o, Claude 3.5 Sonnet und Gemini 2.0 Flash – und einem Team von menschlichen Experten veranstalten. Die Menschen, bei denen es sich um Bauingenieure und Architekten handelt, fungierten als „Goldstandard“ und lieferten die richtigen Antworten basierend auf ihrer jahrelangen Ausbildung. Den KI-Modellen wurde ein spezieller Satz von Anweisungen oder „Prompts“ gegeben, um zu prüfen, ob es ihnen helfen würde, bessere Noten zu bekommen, wenn man sie dazu bringt, „Schritt für Schritt zu denken“ (eine Technik namens Chain-of-Thought).
Die Ergebnisse waren eine Mischung aus beeindruckenden Höhen und einigen lustigen, menschenähnlichen Fehlern. Die KI-Modelle erwiesen sich als ziemlich gut darin, die Grundlagen zu erraten. Wenn es darum ging, die Anzahl der Stockwerke eines Gebäudes zu zählen, stimmten die Roboter und die Menschen in 70 % bis 80 % der Fälle überein. Es ist, als ob die KI sehr gut darin wäre, die Fenster zu zählen, um die Höhe zu erraten. Wenn es jedoch darum ging, zu erraten, wofür das Gebäude genutzt wurde (wie ein Geschäft, ein Haus oder eine Fabrik), sank die Übereinstimmung auf etwa 60–70 %. Die KI geriet manchmal in Verwirrung, weil ein Haus und ein kleiner Laden aus der Straße gesehen sehr ähnlich aussehen können. Die Studie ergab, dass die „Chain-of-Thought“-Methode, bei der die KI gezwungen wird, ihre Argumentation zu erklären, bevor sie eine Antwort gibt, die Modelle stabiler und zuverlässiger machte, ganz ähnlich wie ein Schüler, der bei einer Prüfung besser abschneidet, wenn er seinen Rechenweg zeigt.
Eine der interessantesten Entdeckungen war, wie die KI und die Menschen unterschiedlich dachten. Die KI war wie ein Detektiv, der nur dem vertraut, was er mit seinen Augen sieht: Sie konzentrierte sich stark auf physische Dinge wie „Wände“, „Fenster“, „Materialien“ und „Höhe“. Die menschlichen Experten hingegen waren wie erfahrene Einheimische, die die Nachbarschaft kannten. Sie betrachteten dieselben Bilder, berücksichtigten aber auch den „Vibe“ des Viertels, den Zustand des Gebäudes und den Kontext der Umgebung. Wenn zum Beispiel ein Gebäude etwas heruntergekommen aussah, aber in einem belebten Marktviertel lag, könnte ein Mensch vermuten, dass es ein Geschäft ist, während die KI vielleicht nur „alte Ziegel“ sieht und vermutet, dass es ein Lagerhaus ist. Das Paper legt nahe, dass die KI zwar noch nicht perfekt ist, aber etwa 70 % der Arbeit der Menschen leisten kann und dies in einem massiven Maßstab tun kann, indem sie 30.000 Gebäude in einem Bruchteil der Zeit analysiert.
Die Forscher kommen zu dem Schluss, dass diese KI-Werkzeuge noch nicht bereit sind, menschliche Experten vollständig zu ersetzen, insbesondere bei schwierigen Aufgaben wie der Bestimmung der Gebädenutzung in unordentlichen, informellen Vierteln. Sie sind jedoch mächtige Partner. Sie können als „erste Instanz“ fungieren, die schnell durch Tausende von Bildern sortiert, um Planern eine Vorstellung davon zu geben, wie eine Stadt aussieht, was in Gebieten, in denen Daten knapp oder veraltet sind, eine enorme Hilfe ist. Die Studie zeigt, dass wir durch die Kombination der Fähigkeit der KI, visuelle Muster zu erkennen, mit der menschlichen Expertise im Verständnis von Kontexten, ein viel klareres Bild unserer Städte zeichnen können. Es geht nicht darum, dass der Roboter gewinnt; es geht darum, dass der Roboter und der Mensch zusammenarbeiten, um das Rätsel der urbanen Welt zu lösen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.