How Many Visual Levers Drive Urban Perception? Interventional Counterfactuals via Multiple Localised Edits

1. El Problema (Problemática)

Los modelos actuales de percepción de imágenes de calle (street-view) pueden predecir atributos subjetivos como la seguridad, la riqueza o la vitalidad a gran escala. Sin embargo, estos modelos son puramente correlacionales: identifican qué características están asociadas con una puntuación, pero no explican de manera causal qué cambios visuales específicos en una escena desplazarían el juicio humano.

Los métodos tradicionales de explicabilidad (como SHAP o mapas de saliencia) muestran qué píxeles son importantes, pero no ofrecen una intervención semántica. El reto es determinar qué "palancas" (cambios visuales localizados y semánticamente coherentes) podrían alterar la percepción de seguridad de una escena específica de forma plausible.

2. Metodología (Methodology)

Los autores proponen un marco de contrafactuales intervencionistas basado en "palancas" estructuradas. El proceso se divide en tres fases:

• Fase 1: Construcción de candidatos de palancas: Se define una palanca como un conjunto $l = (c, s, d, \tau)$, donde $c$ es el concepto semántico (ej. vegetación), $s$ es el soporte espacial en la imagen, $d$ es la dirección de la intervención (añadir, eliminar, reparar) y $\tau$ es una plantilla de edición. Un planificador basado en modelos de lenguaje-visión (VLM) identifica qué conceptos son aplicables a una escena dada.
• Fase 2: Intervención estocástica y auditoría de validez: Se utilizan modelos de difusión (generadores de imagen basados en prompts) para realizar las ediciones. Para evitar que el modelo introduzca cambios no deseados (deriva visual), cada edición pasa por una auditoría de validez realizada por un VLM. Esta auditoría verifica cuatro criterios: preservación del lugar, localidad del cambio, realismo y plausibilidad. Solo las ediciones que pasan este filtro entran en el conjunto de estudio.
• Fase 3: Evaluación basada en modelos (Proxy): Para cada edición válida, se calcula el cambio en la puntuación de seguridad ($\Delta$) utilizando un modelo de visión preentrenado (ViT-B/16) en el dataset Place Pulse 2.0. Esto sirve como una señal de prioridad para identificar qué palancas son más prometedoras antes de realizar pruebas con humanos.

3. Contribuciones Clave (Key Contributions)

1. Formulación de contrafactuales intervencionistas: Un nuevo marco que utiliza palancas estructuradas como unidad de explicación para la percepción urbana.
2. Pipeline de generación y auditoría: Un sistema automatizado que no solo genera ediciones, sino que las valida mediante un "crítico" de visión-lenguaje para asegurar la integridad semántica y espacial.
3. Benchmark piloto: Un estudio inicial en 50 escenas de cinco ciudades globales que establece una línea base para la viabilidad de estas ediciones.

4. Resultados Principales (Results)

El estudio analizó 177 ediciones válidas y reportó los siguientes hallazgos:

• Desplazamientos de seguridad (Proxy): Las intervenciones generaron un cambio medio de puntuación de $+0.366$.
• Familias de palancas más efectivas:
  • Infraestructura de Movilidad (Mobility Infrastructure): Mostró el mayor aumento positivo ($+0.579$), impulsado principalmente por el repintado de pasos de cebra y marcas viales.
  • Mantenimiento Físico (Physical Maintenance): Fue la familia más consistente ($+0.344$), incluyendo la eliminación de graffiti, limpieza de superficies y reparación de fachadas.
  • Amenidad Ambiental (Environmental Amenity): Resultados mixtos; la adición de vegetación fue muy positiva ($+0.650$), pero la gestión de copas de árboles fue negativa.
• Diagnóstico de viabilidad: Se observó que la capacidad de realizar ediciones válidas no depende de la seguridad inicial de la escena, sino más bien de su geometría. La reparación de iluminación fue el componente más difícil de editar con éxito (baja tasa de validez).

5. Significado e Implicaciones (Significance)

Este trabajo marca un cambio de paradigma en la IA Explicable (XAI) aplicada al urbanismo: pasa de la atribución de píxeles (post-hoc) a la intervención semántica.

Aunque el estudio es un piloto y utiliza un "proxy" (modelo) en lugar de humanos para la evaluación final, establece un protocolo robusto para priorizar qué cambios visuales deberían ser estudiados por urbanistas y ciudadanos. El objetivo final es crear sistemas que no solo digan "esta calle es insegura", sino "si reparas la iluminación y limpias las fachadas, la percepción de seguridad aumentará significativamente".