What Does CLIP Learn for Regional Geolocalization? Probing Visual Cues and Scene Configuration After Adaptation

Imagina que estás de pie en una esquina de una calle en una ciudad de gran extensión, mirando una fila familiar de casas, un tipo específico de árbol y la forma en que la luz incide sobre el pavimento. Para un humano, estos detalles podrían parecer genéricos, pero contienen el secreto de dónde te encuentras exactamente. Para las computadoras, sin embargo, distinguir entre dos vecindarios que se ven casi idénticos es un desafío profundo. Este es el corazón de la geolocalización visual, un campo de la inteligencia artificial que intenta averiguar dónde se tomó una fotografía simplemente mirando sus píxeles. Si bien los sistemas modernos se han vuelto bastante buenos para identificar ubicaciones generales, como distinguir entre una isla tropical y una montaña nevada, a menudo tropiezan cuando se les pide localizar distritos específicos dentro de la misma área metropolitana. La pregunta que los investigadores se han planteado durante mucho tiempo es si estos sistemas informáticos pueden aprender a ver las sutiles diferencias entre lugares cercanos y, de ser así, qué es exactamente lo que están aprendiendo a ver.

Un equipo de investigadores de la Universidad del Sur de California se propuso responder a esto estudiando las calles de Los Ángeles. Reunieron casi nueve mil imágenes de vistas de calle de ocho regiones distintas, que van desde el denso núcleo urbano del Downtown hasta las vibras costeras de Santa Mónica y los suburbios frondosos de Pasadena. Estas áreas comparten el mismo clima, la misma arquitectura general y, a menudo, los mismos tipos de autos y árboles, lo que las convierte en una prueba perfecta para la discriminación de grano fino. Los investigadores utilizaron un potente modelo computacional preentrenado conocido como CLIP, que ya había aprendido a asociar imágenes con descripciones textuales a partir de una vasta cantidad de datos de internet. Querían saber si este modelo, en su estado original, ya podía distinguir estos vecindarios, o si necesitaba ser reentrenado para ver los detalles más finos. Más importante aún, si el modelo mejoraba en la tarea después del entrenamiento, querían comprender en qué nuevos indicios visuales se estaba apoyando. ¿Estaba simplemente memorizando las formas de los edificios, o estaba aprendiendo algo más complejo sobre cómo se organiza la escena?

Los investigadores probaron el modelo de varias maneras, comenzando con un enfoque de "zero-shot" (disparo cero) donde le pidieron a la computadora que adivinara la ubicación sin ningún entrenamiento específico con datos de Los Ángeles. En este estado no entrenado, el modelo acertaba solo aproximadamente el 39 por ciento de las veces, apenas mejor que el azar entre las ocho opciones. Cuando intentaron mejorar el modelo simplemente enseñándole a leer la salida de su sistema visual existente —sin cambiar cómo veía el mundo— el rendimiento apenas se movió. Sin embargo, cuando permitieron que el modelo realmente ajustara su procesamiento visual interno, los resultados cambiaron drásticamente. Al permitir que el modelo aprendiera de las imágenes de Los Ángeles, su precisión saltó a más del 82 por ciento. Esta mejora masiva sugirió que el secreto para distinguir estos vecindarios no estaba solo en los datos brutos que el modelo ya poseía, sino en cómo aprendía a reorganizar y priorizar esos datos mediante la adaptación.

Para entender qué estaba haciendo realmente el modelo cuando se volvió tan mucho mejor, los investigadores aplicaron una serie de trucos visuales a las imágenes. Eliminaron elementos específicos como texto en carteles, vehículos, árboles y el cielo para ver si el modelo aún sabía dónde estaba. También desenfocaron las imágenes para ocultar los detalles finos mientras mantenían las formas generales, y también desordenaron las imágenes cortándolas en pequeños cuadrados y mezclándolas, destruyendo el diseño pero manteniendo el contenido local intacto. Los resultados revelaron un matiz fascinante. Los modelos mejorados y adaptados se volvieron mucho más sensibles a la disposición general de la escena. Cuando los investigadores desordenaron el diseño, los modelos adaptados cambiaron de opinión sobre la ubicación casi el 43 por ciento de las veces, mientras que los modelos no entrenados solo cambiaron de opinión el 11 por ciento de las veces. Esto indicó que los modelos entrenados habían aprendido a depender fuertemente de la estructura intacta de la escena callejera —la forma en que la carretera, los edificios y el cielo encajan entre sí— en lugar de solo detectar un objeto distintivo.

Sin embargo, el estudio también mostró que esta sensibilidad a la estructura no significaba que los modelos pudieran ignorar los detalles visuales por completo. Cuando los investigadores desenfocaron las imágenes para eliminar texturas y colores finos, los modelos adaptados no mantuvieron un mayor porcentaje de su precisión original en comparación con los no entrenados. En otras palabras, aunque los modelos se volvieron mejores al usar el diseño de la escena, no fueron capaces de adivinar la ubicación basándose únicamente en el diseño; todavía necesitaban la apariencia visual del entorno. La eliminación de pistas ambientales como la vegetación y el cielo continuó confundiendo a los modelos, lo que sugiere que estas características atmosféricas amplias seguían siendo cruciales. Los investigadores también probaron el efecto del desorden en un conjunto de imágenes completamente diferente, que presentaba objetos comunes como gatos y sillas, y encontraron que desordenar esas imágenes también confundía a los modelos. Esto demostró que la sensibilidad al diseño era un rasgo general de cómo el modelo procesaba las imágenes, no un superpoder especial desarrollado solo para encontrar ubicaciones.

El estudio concluye que, para que una computadora pueda distinguir entre vecindarios visualmente similares, debe permitirle adaptar su procesamiento visual al entorno específico. Esta adaptación lleva al sistema a prestar más atención a la configuración general de la escena, cómo se disponen los diversos elementos los unos con respecto a los otros. Sin embargo, esto no reemplaza la necesidad del detalle visual. El sistema no aprende a ver el mundo puramente a través de formas abstractas; en cambio, aprende una combinación de la estructura de la escena y su apariencia específica. Los hallazgos son específicos para este entorno controlado de ubicaciones cercanas con vistas superpuestas, lo que significa que el modelo está aprendiendo a manejar diferentes ángulos de esos mismos lugares en lugar de reconocer ciudades enteras y distantes. En última instancia, la investigación muestra que, si bien la inteligencia artificial puede aprender a navegar las sutiles diferencias de una ciudad, lo hace tejiendo la disposición de la calle con la textura del mundo, en lugar de encontrar un único indicio mágico.