What Does CLIP Learn for Regional Geolocalization? Probing Visual Cues and Scene Configuration After Adaptation

Stellen Sie sich vor, Sie stehen an einer Straßenecke in einer weitläufigen Stadt und blicken auf eine vertraute Reihe von Häusern, eine bestimmte Art von Baum und die Art und Weise, wie das Licht auf den Asphalt fällt. Für einen Menschen mögen diese Details generisch erscheinen, doch sie bergen das Geheimnis darüber, wo genau man sich befindet. Für Computer ist es jedoch eine tiefgreifende Herausforderung, zwischen zwei fast identischen Stadtvierteln zu unterscheiden. Dies ist das Herzstück der visuellen Geolokalisierung, einem Feld der künstlichen Intelligenz, das versucht herauszufinden, wo ein Foto aufgenommen wurde, indem es lediglich dessen Pixel betrachtet. Während moderne Systeme bereits sehr gut darin geworden sind, grobe Standorte zu identifizieren – etwa den Unterschied zwischen einer tropischen Insel und einem verschneiten Berg zu erkennen –, stoßen sie oft an ihre Grenzen, wenn sie gefragt werden, spezifische Bezirke innerhalb derselben Metropolregion zu bestimmen. Die Frage, die Forscher seit langem beschäftigt, lautet, ob diese Computersysteme lernen können, die subtilen Unterschiede zwischen benachbarten Orten wahrzunehmen, und wenn ja, was genau sie zu sehen lernen.

Ein Team von Forschern der University of Southern California setzte sich zum Ziel, dies zu untersuchen, indem sie die Straßen von Los Angeles analysierten. Sie sammelten fast neuntausend Street-View-Bilder aus acht verschiedenen Regionen, die vom dichten urbanen Kern in Downtown über die Küstenatmosphäre von Santa Monica bis hin zu den grünen Vororten von Pasadena reichten. Diese Gebiete teilen dasselbe Klima, die gleiche allgemeine Architektur und oft auch die gleichen Arten von Autos und Bäumen, was sie zu einem perfekten Testfeld für feingliedrige Unterscheidung macht. Die Forscher verwendeten ein leistungsstarkes, vortrainiertes Computermodell namens CLIP, das bereits gelernt hatte, Bilder mit Textbeschreibungen aus einer riesigen Menge an Internetdaten zu verknüpüpfen. Sie wollten wissen, ob dieses Modell in seinem ursprünglichen Zustand bereits in der Lage war, diese Stadtteile voneinander zu unterscheiden, oder ob es neu trainiert werden musste, um die feineren Details zu erkennen. Viel wichtiger war ihnen die Frage, falls das Modell nach dem Training besser bei der Aufgabe wurde: Auf welche neuen visuellen Hinweise stützte es sich? War es lediglich ein Auswendiglernen der Formen von Gebäuden oder lernte es etwas Komplexeres darüber, wie eine Szene arrangiert ist?

Die Forscher testeten das Modell auf verschiedene Weise und begannen mit einem „Zero-Shot“-Ansatz, bei dem sie den Computer baten, den Standort zu erraten, ohne dass er ein spezifisches Training mit Los Angeles-Daten erhalten hatte. In diesem ungeschulten Zustand lag das Modell nur zu etwa 3-Prozent der Zeit richtig, was kaum besser war als eine bloße Zufallswahl unter den acht Optionen. Als sie versuchten, das Modell zu verbessern, indem sie es lediglich dazu brachten, die Ausgabe seines bestehenden visuellen Systems zu lesen – ohne die Art und Weise zu ändern, wie es die Welt sah –, bewegte sich die Leistung kaum. Doch als sie dem Modell erlaubten, tatsächlich seine interne visuelle Verarbeitung anzupassen, änderten sich die Ergebnisse dramatisch. Indem sie das Modell durch das Lernen aus den Los Angeles-Bildern trainierten, sprang seine Genauigkeit auf über 82 Prozent. Diese massive Verbesserung deutete darauf hin, dass das Geheimnis, diese Stadtteile voneinander zu unterscheiden, nicht nur in den Rohdaten lag, die das Modell bereits besaß, sondern darin, wie es durch Anpassung lernte, diese Daten neu anzuordnen und zu priorisieren.

Um zu verstehen, was das Modell eigentlich tat, als es so viel besser wurde, spielten die Forscher eine Serie von visuellen Tricks mit den Bildern. Sie entfernten spezifische Elemente wie Text auf Schildern, Fahrzeuge, Bäume und den Himmel, um zu sehen, ob das Modell den Standort immer noch kennen würde. Sie verwackelten die Bilder auch, um feine Details zu verbergen, während die allgemeinen Formen erhalten blieben, und sie zerschnitten die Bilder, indem sie sie in kleine Quadrate zerlegten und diese neu anordneten, wodurch das Layout zerstört wurde, während der lokale Inhalt intakt blieb. Die Ergebnisse offenbarten eine faszinierende Nuance. Die verbesserten, angepassten Modelle reagierten wesentlich sensibler auf die Gesamtanordnung der Szene. Wenn die Forscher das Layout veränderten, änderten die angepassten Modelle ihre Meinung über den Standort in etwa 43 Prozent der Fälle, während die ungeschulten Modelle ihre Meinung nur in 11 Prozent der Fälle änderten. Dies deutete darauf hin, dass die trainierten Modelle stark darauf angewiesen waren, die intakte Struktur der Straßenszene zu nutzen – die Art und Weise, wie Straße, Gebäude und Himmel zusammenpassen – anstatt nur ein einzelnes markantes Objekt zu entdecken.

Die Studie zeigte jedoch auch, dass diese Sensibilität für Strukturen nicht bedeutete, dass die Modelle visuelle Details völlig ignorieren konnten. Als die Forscher die Bilder verwackelten, um feine Texturen und Farben zu entfernen, behielten die angepassten Modelle keinen höheren Prozentsatz ihrer ursprünglichen Genauigkeit im Vergleich zu den ungeschulten Modellen bei. Mit anderen Worten: Während die Modelle besser darin wurden, die Anordnung der Szene zu nutzen, wurden sie nicht in der Lage, den Standort allein basierend auf dem Layout zu erraten; sie benötigten weiterhin das visuelle Erscheinungsbild der Umgebung. Das Entfernen von Umweltreizen wie Vegetation und Himmel verwirrte die Modelle weiterhin, was darauf hindeutete, dass diese breiten atmosphärischen Merkmale entscheidend blieben. Die Forscher testeten den Effekt des Verändernung der Anordnung auch an einem völlig anderen Satz von Bildern, die alltägliche Objekte wie Katzen und Stühle zeigten, und stellten fest, dass das Umstellen dieser Bilder die Modelle ebenfalls verwirrte. Dies bewies, dass die Sensibilität gegenüber dem Layout eine allgemeine Eigenschaft der Art und Weise war, wie das Modell Bilder verarbeitete, und keine spezielle Superkraft, die nur für das Finden von Standorten entwickelt wurde.

Die Studie kommt zu dem Schluss, dass ein Computer, um zwischen visuell ähnlichen Stadtvierteln zu unterscheiden, die Möglichkeit zur Anpassung seiner visuellen Verarbeitung an die spezifische Umgebung benötigt. Diese Anpassung führt dazu, dass das System mehr Aufmerksamkeit auf die Gesamtkonfiguration der Szene legt, also darauf, wie die verschiedenen Elemente relativ zueinander angeordnet sind. Dies ersetzt jedoch nicht die Notwendigkeit visueller Details. Das System lernt nicht, die Welt rein durch abstrakte Formen zu sehen; stattdessen lernt es eine Kombination aus der Struktur der Szene und ihrem spezifischen Erscheinungsbild. Die Ergebnisse beziehen sich spezifisch auf diesen kontrollierten Rahmen benachbarter Standorte mit überlappenden Ansichten, was bedeutet, dass das Modell lernt, mit unterschiedlichen Blickwinkeln desselben Ortes umzugehen, anstatt völlig neue, ferne Städte zu erkennen. Letztlich zeigt die Forschung, dass künstliche Intelligenz zwar lernen kann, die subtilen Unterschiede einer Stadt zu navigieren, dies aber geschieht, indem sie die Anordnung der Straße mit der Textur der Welt verwebt, anstatt nach einem einzigen magischen Hinweis zu suchen.