CityLens: Evaluating Large Vision-Language Models for Urban Socioeconomic Sensing

Este trabajo presenta CityLens, el benchmark más extenso hasta la fecha para evaluar la capacidad de los Grandes Modelos Visuales-Lingüísticos (LVLM) en la predicción de indicadores socioeconómicos urbanos a partir de imágenes satelitales y de calle, abarcando 17 ciudades globales y 6 dominios clave para identificar tanto sus promesas como sus limitaciones actuales.

Lo esencial

Imagina que las ciudades son como gigantescos organismos vivos con un historial médico, una economía y una personalidad única. Tradicionalmente, para entender cómo "se siente" un barrio (si es rico, si hay mucha gente estudiando, si es seguro), los urbanistas tenían que esperar años a que el gobierno hiciera encuestas, contara personas y publicara datos. Era como intentar diagnosticar a un paciente esperando a que él mismo escribiera su historia clínica.

Ahora, los científicos han creado una nueva herramienta llamada CityLens. Aquí te explico de qué se trata usando analogías sencillas:

1. ¿Qué es CityLens? (El "Ojo Médico" de la Ciudad)

CityLens es como un examen de vista gigante para las Inteligencias Artificiales más avanzadas del mundo (llamadas Modelos de Visión-Lenguaje Grandes).

• La Misión: Queremos saber si estas IAs pueden mirar una foto de un barrio (desde un satélite o desde la calle) y decirnos: "Oye, aquí la gente gana mucho dinero", "Aquí hay muchos estudiantes" o "Aquí el crimen es bajo".
• El Problema: Antes, las IAs eran como niños pequeños que podían decir "veo un árbol" o "veo un coche", pero no podían entender que "muchos árboles y casas grandes" significan "un barrio de clase alta". CityLens es el examen para ver si han aprendido a leer entre líneas.

2. ¿Cómo funciona el examen? (Las 3 Pruebas)

Los investigadores tomaron fotos de 17 ciudades alrededor del mundo (desde Nueva York hasta Nairobi) y crearon 11 tipos de pruebas. Imagina que le pones a la IA tres formas diferentes de adivinar:

• Prueba 1: El Adivino Directo.
  • La pregunta: "Mira estas fotos. ¿Cuánto dinero gana la gente aquí?"
  • El resultado: La IA intenta dar un número exacto. A menudo falla, como si alguien intentara adivinar el precio de una casa solo por su fachada sin conocer el mercado.
• Prueba 2: El Adivino de Rangos (Normalizado).
  • La pregunta: "En una escala del 0 al 10, ¿qué tan rico es este barrio?"
  • El resultado: Es más fácil para la IA. En lugar de dar un número exacto, solo tiene que decir "es un 8" o "es un 2". Funciona un poco mejor, pero sigue siendo difícil.
• Prueba 3: El Detective de Pistas (Regresión Basada en Características).
  • La pregunta: "No me des el precio. Dime: ¿Cuántos árboles hay? ¿Qué calidad tienen las aceras? ¿Hay muchos coches de lujo? ¿Hay mucha basura?"
  • El resultado: Aquí la IA actúa como un detective. Recopila pistas visuales (pistas de baja nivel) y luego un algoritmo matemático (un "jefe" humano) las combina para hacer la predicción final. Esta fue la prueba donde las IAs tuvieron mejor rendimiento, porque es más fácil para ellas describir lo que ven que adivinar números mágicos.

3. ¿Qué descubrieron? (La Verdad Incómoda)

Aunque las IAs son muy inteligentes y pueden "ver" cosas increíbles, CityLens reveló que todavía no son doctores expertos en ciudades.

• Lo bueno: Pueden detectar cosas obvias. Si ven rascacielos altos, saben que es un área de negocios. Si ven muchos autobuses, saben que hay transporte público.
• Lo malo: Se pierden en lo sutil.
  • Ejemplo: Preguntar sobre la "salud mental" de un barrio es muy difícil. Una IA puede ver parques bonitos (lo cual es bueno), pero no puede ver si la gente está estresada, si hay ruido invisible o si la comunidad está unida.
  • El sesgo: Las IAs funcionan mucho mejor en ciudades occidentales (como Londres o Nueva York) que en ciudades del "Sur Global" (como Mumbai o Nairobi). Es como si la IA hubiera estudiado solo en escuelas de un país y se perdiera en otro.

4. ¿Por qué es importante esto?

Imagina que quieres arreglar una ciudad, pero no tienes datos actualizados. CityLens nos dice: "¡Oye, las IAs pueden ayudarnos a ver patrones, pero no confíes ciegamente en sus respuestas!".

• Nos ayuda a saber dónde fallan las máquinas.
• Nos dice que necesitamos entrenarlas mejor, especialmente para entender culturas y barrios que no son los típicos de Hollywood.
• Nos ofrece una nueva forma de medir la desigualdad y la salud de las ciudades sin tener que esperar años a que lleguen los datos oficiales.

En resumen: CityLens es el "entrenador personal" que le dice a las Inteligencias Artificiales: "Estás muy bien en ver coches y árboles, pero necesitas estudiar más para entender la vida de las personas en los barrios. Aquí tienes un mapa de tus errores para que aprendas".

El objetivo final no es que la IA reemplace a los urbanistas, sino que sea una herramienta superpoderosa que nos ayude a tomar decisiones más justas y rápidas para mejorar nuestras ciudades.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "CityLens: Evaluating Large Vision-Language Models for Urban Socioeconomic Sensing", publicado en ICLR 2026.

1. El Problema

La comprensión de las condiciones socioeconómicas urbanas a través de datos visuales es fundamental para la planificación urbana sostenible y la formulación de políticas. Sin embargo, los métodos clásicos de aprendizaje profundo enfrentan limitaciones significativas:

• Dificultad para manejar datos no estructurados o multimodales.
• Incapacidad para generalizar a través de múltiples países y contextos culturales.
• Falta de capacidad para interpretar aspectos subjetivos y culturalmente significativos de los entornos urbanos.

Aunque los Modelos de Lenguaje Grandes (LLMs) y los Modelos de Lenguaje y Visión Grandes (LVLMs) han mostrado potencial para abordar estos desafíos, no existía un marco unificado y sistemático para evaluar su capacidad real en la predicción de indicadores socioeconómicos urbanos utilizando imágenes satelitales y de calle.

2. Metodología: CityLens

Los autores presentan CityLens, un benchmark integral diseñado para evaluar LVLMs en la predicción de indicadores socioeconómicos.

A. Construcción del Dataset

• Cobertura Geográfica: 17 ciudades distribuidas globalmente en 6 continentes (incluyendo EE. UU., Reino Unido, China, y ciudades de África, Asia, Europa y Sudamérica).
• Dominios e Indicadores: Se cubren 6 dominios clave (Economía, Educación, Delincuencia, Transporte, Salud y Medio Ambiente) con un total de 11 indicadores seleccionados.
  • Ejemplos: PIB, precio de la vivienda, ratio de licenciados universitarios, tasa de delitos violentos, esperanza de vida, accesibilidad a la salud, altura de edificios, etc.
• Datos Visuales: Cada región de predicción se representa mediante 1 imagen satelital (resolución ~4.7m) y 10 imágenes de calle (Street View).
• Selección de Indicadores: Se seleccionaron 11 indicadores de un conjunto inicial de 28 basándose en:
  1. Relevancia perceptual: ¿Puede un humano inferir el indicador visualmente?
  2. Redundancia: Se eliminaron indicadores altamente correlacionados (ej. obesidad y salud mental) para evitar tareas redundantes.

B. Paradigmas de Evaluación

Se definieron tres enfoques distintos para evaluar las capacidades de los modelos:

1. Predicción Directa de Métricas (Direct Metric Prediction): Se le pide al LVLM que estime el valor numérico exacto del indicador (ej. "¿Cuál es el porcentaje de población que usa transporte público?").
2. Estimación de Métricas Normalizadas (Normalized Metric Estimation): Los valores se transforman a una escala normalizada de 0.0 a 9.9 para evaluar si el modelo puede capturar relaciones espaciales gruesas y ordenamientos relativos sin la presión de la precisión numérica exacta.
3. Regresión Basada en Características (Feature-Based Regression): El LVLM actúa como un extractor de características. Se le pide que puntúe 13 atributos visuales predefinidos (ej. vegetación, vehículos, fachadas) en las imágenes. Estos puntajes se promedian y se utilizan como entrada para un modelo de regresión LASSO entrenado para predecir el indicador real.

C. Modelos Evaluados

Se probaron 17 LVLMs de última generación (incluyendo series Gemma, Qwen, Llama, Mistral, Gemini, GPT-4, etc.) con tamaños de parámetros que van desde 3B hasta 32B+.

3. Resultados Clave

Rendimiento General

• Desafío Significativo: El benchmark demuestra que los LVLMs actuales enfrentan grandes dificultades. En tareas complejas como "Salud Mental" o "Ratio de Licenciados", los modelos a menudo obtienen puntuaciones $R^2$ cercanas a cero o incluso negativas.
• Comparación de Modelos:
  • No existe una correlación directa entre el tamaño del modelo y el rendimiento. Por ejemplo, Gemma3-12B superó a su variante de 27B en ciertas tareas.
  • Los modelos específicos de dominio (como UrbanVLP) a veces superan a los LVLMs generales en tareas de extracción de características.
  • Los modelos basados en el codificador visual CLIP mostraron un mejor rendimiento en la extracción de características semánticas alineadas con el contexto urbano.

Análisis por Paradigma

• Regresión Basada en Características: Fue el enfoque más exitoso. Utilizar al LVLM como extractor de características visuales estructuradas y luego aplicar un regresor tradicional (LASSO) superó consistentemente a los enfoques donde el modelo intenta predecir el número directamente.
• Predicción Directa vs. Normalizada:
  • Indicadores con correlaciones visuales fuertes (ej. Altura de edificios, Precio de vivienda) funcionaron mejor con la Predicción Directa.
  • Indicadores abstractos o con señales visuales débiles (ej. Delitos violentos, PIB) se beneficiaron más de la Estimación Normalizada, ya que el modelo puede capturar relaciones de orden relativo mejor que valores absolutos.

Factores de Variación

• Geografía: El rendimiento varía drásticamente entre ciudades. Ciudades con diseño urbano estructurado (ej. Shanghái, San Francisco) obtienen mejores resultados que ciudades con desarrollo espacial mixto o cobertura de imágenes deficiente (ej. Mumbai, Moscú).
• Modalidades de Entrada: Contrario a hallazgos previos, las imágenes de calle por sí solas rindieron tan bien o mejor que la combinación de imágenes de calle y satélite. Esto sugiere que las características semánticas a nivel de calle (fachadas, señalización, infraestructura) son más críticas para los indicadores socioeconómicos que la morfología urbana general vista desde el satélite.
• Cantidad de Imágenes: Aumentar el número de imágenes de calle (de 1 a 20) mejora progresivamente el rendimiento, indicando que un contexto visual más rico es esencial.

Análisis de Errores y Límites

• Alucinaciones Visuales: Los modelos a menudo fallan en detectar elementos pequeños pero significativos (letreros, tipos específicos de vehículos) o alucinan elementos inexistentes.
• Razonamiento: El uso de Chain-of-Thought (CoT) mejoró el rendimiento en tareas complejas como el precio de la vivienda, pero degradó el rendimiento en tareas que dependen de características visuales directas.
• Sesgo Geográfico: Se observó un sesgo significativo donde los modelos del "Norte Global" rindieron mucho mejor que en el "Sur Global", en parte debido a la falta de datos de entrenamiento y a la diferencia en la representación visual de las ciudades.

4. Contribuciones Principales

1. CityLens: El benchmark más extenso hasta la fecha en sensores socioeconómicos urbanos, cubriendo 17 ciudades, 11 indicadores y 6 dominios, utilizando tanto imágenes satelitales como de calle.
2. Evaluación Sistemática: La primera comparación exhaustiva de 17 LVLMs de vanguardia bajo tres paradigmas de evaluación distintos, revelando las fortalezas y debilidades específicas de cada enfoque.
3. Análisis de Límites: Proporciona una diagnosis detallada de por qué fallan los modelos actuales (problemas de anclaje visual, sesgos geográficos, dificultad en conceptos abstractos) y establece un límite superior (upper bound) mediante el ajuste fino (fine-tuning), demostrando que los modelos tienen potencial si se adaptan al dominio.

5. Significado e Impacto

El trabajo de CityLens es crucial porque:

• Diagnóstico: Expone que, aunque los LVLMs tienen capacidades perceptuales prometedoras, aún carecen de la "anclaje numérico" y la comprensión contextual profunda necesarias para la planificación urbana real.
• Dirección Futura: Sugiere que el camino hacia modelos útiles no es solo escalar el tamaño, sino mejorar la alineación semántica, el entrenamiento específico de dominio (fine-tuning) y el diseño de prompts que reflejen el razonamiento humano.
• Ética y Privacidad: El artículo aborda cuidadosamente los riesgos éticos, advirtiendo contra el uso de estos modelos para vigilancia o asignación de recursos sin supervisión humana y validación ética, destacando la necesidad de mitigar sesgos geográficos.

En resumen, CityLens establece un nuevo estándar para evaluar la inteligencia artificial en la comprensión de ciudades, demostrando que el potencial de los LVLMs es alto pero que su aplicación práctica requiere superar desafíos significativos de generalización y razonamiento contextual.