How Many Visual Levers Drive Urban Perception? Interventional Counterfactuals via Multiple Localised Edits

Resumo Técnico: Quantos Alavancas Visuais Dirigem a Percepção Urbana?

Título Original: How Many Visual Levers Drive Urban Perception? Interventional Counterfactuals via Multiple Localised Edits
Autores: Jason Tang e Stephen Law (University College London)

1. O Problema (Problem)

Modelos de visão computacional atuais conseguem prever atributos subjetivos de cenas urbanas (como segurança, riqueza e vivacidade) em larga escala. No entanto, esses modelos são puramente correlacionais: eles indicam o que está associado a uma pontuação, mas não explicam quais mudanças visuais locais específicas causariam uma mudança na percepção humana.

Métodos tradicionais de explicabilidade (como saliência ou SHAP) falham em fornecer explicações causais e semânticas. O desafio reside em identificar, de forma controlada, quais intervenções visuais localizadas (ex: remover grafite, adicionar vegetação) alterariam plausivelmente o julgamento de segurança de uma cena específica.

2. Metodologia (Methodology)

Os autores propõem um framework de contrafatuais intervencionais baseados em "alavancas" (levers). Em vez de analisar pixels isolados, o método busca mudanças semânticas estruturadas. A metodologia é dividida em três fases:

• Fase 1: Construção de Candidatos de Alavancas: Define-se um vocabulário de intervenções baseado em teoria de design urbano. Cada "alavanca" $l$ é definida por uma tupla $(c, s, d, \tau)$: um conceito semântico ($c$), suporte espacial na cena ($s$), direção da intervenção ($d$, como adicionar ou remover) e um template de edição ($\tau$). Um planejador VLM (Vision-Language Model) identifica onde essas mudanças podem ser aplicadas em cada imagem.
• Fase 2: Intervenção Estocástica e Auditoria de Validade: Utiliza-se um editor de imagem baseado em difusão (prompt-conditioned diffusion) para gerar as edições. Para garantir que a edição seja útil para a explicação, cada imagem editada passa por um "audit de validade" realizado por um VLM, que verifica quatro critérios: (1) preservação do local original, (2) localidade da edição, (3) realismo e (4) plausibilidade da alavanca.
• Fase 3: Avaliação Baseada em Modelo (Proxy): As edições aprovadas são testadas contra um modelo de percepção pré-treinado (ViT-B/16) para medir o deslocamento ($\Delta$) na pontuação de segurança. Isso serve como um sinal de priorização para futuras validações humanas.

3. Principais Contribuições (Key Contributions)

1. Formulação de Contrafatuais Intervencionais: Introdução de uma unidade de explicação estruturada (a "alavanca") para a percepção de ruas.
2. Pipeline de Geração e Auditoria: Um sistema automatizado que não apenas gera edições, mas as valida rigorosamente para evitar "deriva não pretendida" (quando o editor muda coisas que não deveria).
3. Benchmark de Piloto: Um estudo em 50 cenas de cinco cidades globais que estabelece uma base para diagnosticar a viabilidade de edições baseadas apenas em prompts.

4. Resultados (Results)

O estudo piloto revelou padrões preliminares importantes:

• Eficácia das Alavancas: Entre 250 candidatos, 177 passaram no teste de validade.
• Famílias de Alavancas de Maior Impacto:
  • Infraestrutura de Mobilidade (Mobility Infrastructure): Apresentou o maior aumento médio na percepção de segurança (+0.579), impulsionado pela repintura de faixas de pedestres e sinalização de pista.
  • Manutenção Física (Physical Maintenance): Foi a família mais consistente (+0.344), incluindo remoção de grafite, limpeza de superfícies e reparo de fachadas.
  • Amenidade Ambiental (Environmental Amenity): Resultados mistos; a adição de vegetação local foi muito positiva (+0.650), mas a gestão de copas de árvores teve impacto negativo (provavelmente por reduzir a visibilidade, embora o modelo de proxy tenha interpretado de forma simplista).
• Diagnóstico de Viabilidade: Não foi encontrada relação entre a segurança original da cena e o número de alavancas válidas que ela admite, sugerindo que a "riqueza de intervenções" depende mais da geometria da cena do que do seu estado inicial.

5. Significância (Significance)

Este trabalho representa uma mudança de paradigma na IA Explicável (XAI) para o urbanismo. Em vez de apenas dizer "esta área parece insegura por causa destes pixels", o framework permite dizer: "se você reparar esta fachada ou adicionar esta faixa de pedestre, a percepção de segurança aumentará".

Embora o estudo seja um piloto (usando modelos como proxy para o julgamento humano), ele estabelece um protocolo rigoroso para transformar a edição de imagens generativas em uma ferramenta de análise causal e planejamento urbano, pavimentando o caminho para sistemas que podem simular o impacto de intervenções urbanísticas antes de serem executadas.