Streetscape Analysis with Generative AI (SAGAI): Vision-Language Assessment and Mapping of Urban Scenes

Este artigo apresenta o SAGAI, um fluxo de trabalho modular que utiliza modelos de visão-linguagem e dados abertos para automatizar a avaliação e mapeamento de paisagens urbanas, permitindo a análise escalável de características como caminhabilidade e segurança sem necessidade de treinamento específico.

O essencial

Imagine que você quer saber como é a vida nas ruas de uma cidade: se é segura para caminhar, se tem muitas lojas, se as calçadas são largas ou se o bairro parece mais um parque ou um centro urbano. Antigamente, para descobrir isso, era necessário que uma equipe de pessoas andasse a pé por quilômetros, tirando fotos e anotando tudo num caderno. Era lento, caro e difícil de fazer em cidades grandes.

Este artigo apresenta uma nova ferramenta chamada SAGAI (Análise de Paisagem Urbana com Inteligência Artificial Generativa). Pense no SAGAI como um "detetive digital super-rápido" que usa os olhos de uma IA para olhar as ruas do mundo inteiro, sem precisar sair de casa.

Aqui está como funciona, explicado de forma simples:

1. O Que é o SAGAI?

O SAGAI é um "receituário" (um conjunto de instruções) que ensina um computador a olhar para fotos de ruas (como as do Google Street View) e responder perguntas específicas. Em vez de apenas ver a foto, ele "entende" o que está nela.

• A Analogia: Imagine que você tem um amigo muito inteligente que nunca saiu da sua casa, mas que viu milhões de fotos de ruas. Se você perguntar: "Tem loja aqui?", ele responde "Sim". Se perguntar: "A calçada é larga?", ele estima o tamanho. O SAGAI é esse amigo, mas ele faz isso para milhares de ruas ao mesmo tempo.

2. Como o "Detetive" Trabalha? (Os 4 Passos)

O processo é dividido em quatro etapas, como se fosse uma linha de montagem de um carro:

1. O Mapa (Gerador de Pontos): Primeiro, o sistema olha para um mapa digital gratuito (OpenStreetMap) e coloca "pontos de controle" ao longo de todas as ruas da cidade que você escolheu. É como se ele espalhasse sementes ao longo das estradas para saber onde olhar.
2. As Fotos (Baixador de Imagens): Para cada semente, o sistema vai ao Google Street View e baixa 4 fotos (uma para cada lado: frente, trás, esquerda e direita). É como se ele girasse em 360 graus em cada ponto.
3. O Cérebro (A IA LLaVA): Aqui entra a mágica. O sistema usa uma Inteligência Artificial chamada LLaVA (que é como um cérebro que vê e fala). Você dá a ele uma pergunta em linguagem natural (ex: "Quantas lojas você vê?"). A IA olha a foto e responde com um número ou uma classificação.
   • Diferença importante: Antigamente, precisava-se ensinar a IA com milhares de exemplos de "lojas" antes de ela funcionar. O SAGAI não precisa disso! Ele usa Zero-Shot, o que significa que ele já nasce sabendo entender o mundo. É como pedir para uma criança inteligente olhar uma foto e dizer o que é, sem precisar de um curso prévio sobre o que é uma loja.
4. O Mapa Final (Agregação): Por fim, o sistema pega todas as respostas e desenha um mapa colorido da cidade. Se uma rua tem muitas lojas, ela fica vermelha. Se é uma área rural, fica verde. Isso permite ver padrões que o olho humano não conseguiria ver em uma cidade inteira.

3. O Que Eles Testaram?

Os pesquisadores testaram essa ferramenta em duas cidades muito diferentes:

• Nice, França: Uma área com muitas casas e ruas retas.
• Viena, Áustria: Uma área com colinas, jardins e ruas mais sinuosas.

Eles pediram para a IA fazer três tarefas:

1. Classificar: É uma rua de cidade ou de campo? (A IA acertou quase 92% das vezes!).
2. Contar: Quantas lojas de fachada existem? (A IA foi razoável, acertando bem quando não havia lojas ou muitas, mas às vezes confundia placas de propaganda com lojas).
3. Medir: Qual a largura da calçada? (Aqui foi mais difícil. A IA às vezes confundia uma faixa de grama com uma calçada, ou subestimava o tamanho, mas ainda dava uma ideia útil).

4. Por Que Isso é Importante?

• É Gratuito e Acessível: Você não precisa de supercomputadores. O sistema roda em computadores comuns (até na versão gratuita do Google Colab).
• É Flexível: Se você quiser estudar segurança, acessibilidade para cadeirantes ou áreas verdes, você só precisa mudar a "pergunta" (o prompt) que dá para a IA. Não precisa reprogramar o software inteiro.
• Escala: O que levaria meses para uma equipe humana fazer, a IA faz em algumas horas.

5. Onde a IA Ainda "Trava"?

A IA não é perfeita. Às vezes, ela se confunde:

• Pode achar que uma placa de propaganda é uma loja.
• Pode confundir uma faixa de grama com uma calçada.
• Em lugares muito complexos ou com pouca luz, ela pode errar.

Mas, mesmo com esses erros, o sistema é muito melhor do que nada. Ele oferece uma visão geral rápida e barata, permitindo que planejadores urbanos e pesquisadores tomem decisões melhores sobre onde melhorar as cidades.

Resumo Final

O SAGAI é como dar óculos de visão de raio-X para o urbanismo. Ele transforma fotos de ruas em dados numéricos que podem ser mapeados, permitindo que qualquer pessoa, de qualquer lugar, entenda a "pele" da cidade (calçadas, lojas, árvores) de forma rápida e barata, usando a inteligência de uma máquina que aprendeu a "ler" imagens através da linguagem.

Resumo técnico

1. Problema e Contexto

A avaliação da qualidade e função das paisagens urbanas (streetscapes) é fundamental para compreender a caminhabilidade, segurança e vitalidade comercial das cidades. No entanto, os métodos tradicionais enfrentam limitações significativas:

• Métodos Manuais: Levantamentos de campo e auditorias visuais são intensivos em mão de obra, demorados e difíceis de escalar para grandes áreas urbanas.
• Abordagens Computacionais Anteriores: Modelos discriminativos (como CNNs e detectores de objetos) exigem conjuntos de dados extensivamente rotulados e treinamento específico para cada tarefa, o que torna o custo de implantação alto e limita a generalização a características muito específicas.
• Falta de Dados "Peles" Urbanas: Enquanto a geometria dos edifícios (o "esqueleto") é frequentemente analisada via GIS, os elementos visuais finos (fachadas, mobiliário urbano, largura de calçadas, limpeza, vegetação), conhecidos como a "pele" da paisagem urbana, raramente são avaliados de forma automatizada e escalável.

2. Metodologia: O Fluxo de Trabalho SAGAI

O artigo propõe o SAGAI (Streetscape Analysis with Generative Artificial Intelligence), um fluxo de trabalho modular de quatro etapas, totalmente desenvolvido em Python e projetado para rodar em ambientes gratuitos do Google Colab. O sistema utiliza dados de acesso aberto e modelos de Visão-Linguagem (VLMs) para gerar indicadores espaciais estruturados sem necessidade de treinamento específico para a tarefa (zero-shot).

O pipeline consiste nos seguintes módulos:

• Módulo 1: Gerador de Pontos OSM

  • Gera automaticamente pontos de amostragem ao longo da rede viária definida pelo usuário (baseado em bounding boxes), utilizando geometrias do OpenStreetMap (OSM).
  • Os pontos são distribuídos com base em parâmetros de espaçamento e deslocamento (offset) para evitar interseções, criando uma camada espacial para análise.

• Módulo 2: Baixador em Lote de Street View

  • Automatiza a recuperação de imagens do Google Street View (GSV) para cada ponto gerado.
  • Baixa imagens em quatro direções pré-definidas (geralmente 0°, 90°, 180°, 270°).
  • Inclui filtros para descartar imagens inválidas ou placeholders de "sem imagem".

• Módulo 3: Avaliação de Cena com LLaVA

  • O núcleo do sistema utiliza o modelo LLaVA v1.6 (com backbone Mistral-7B) em formato quantizado de 4 bits para inferência eficiente.
  • Utiliza prompts de linguagem natural personalizados para extrair informações visuais específicas das imagens.
  • O sistema suporta três tarefas principais (configuráveis via prompts):
    1. Classificação Binária: Urbano vs. Rural.
    2. Contagem: Detecção de número de fachadas comerciais visíveis.
    3. Medição: Estimativa da largura visível da calçada.
  • A inferência é realizada com amostragem de baixa temperatura para garantir saídas numéricas determinísticas.

• Módulo 4: Agregação Espacial e Mapeamento

  • Agrega as pontuações numéricas geradas no Módulo 3 para os níveis de ponto e segmento de rua.
  • Calcula estatísticas de resumo (média, soma) e gera mapas temáticos para visualização cartográfica direta.
  • Permite a interpretação espacial de indicadores como "escoramento de caminhabilidade" ou "vitalidade comercial".

3. Contribuições Principais

• Workflow Reprodutível e de Acesso Aberto: O SAGAI é totalmente open-source, não depende de software proprietário (exceto a API do Google Street View, que é acessível) e pode ser executado em hardware de consumo (Google Colab gratuito).
• Uso de Zero-Shot Inference: Diferente de modelos tradicionais que exigem re-treinamento, o SAGAI utiliza a capacidade de generalização dos VLMs. Novas tarefas de análise podem ser implementadas apenas alterando o prompt de linguagem natural, sem reconfiguração do modelo.
• Integração de Dados Geoespaciais e Multimodais: Conecta dados vetoriais (OSM) com dados de imagem (GSV) e inteligência artificial generativa para criar indicadores espaciais quantitativos sobre a "pele" urbana.
• Escalabilidade: Permite a análise de grandes áreas urbanas com intervenção mínima do usuário após a configuração inicial.

4. Resultados Experimentais

O sistema foi testado em dois estudos de caso contrastantes: Paillon Valley (Nice, França) e Penzing-Wolfersberg (Viena, Áustria).

• Desempenho por Tarefa:

  • Classificação (Urbano/Rural): Alta precisão. O modelo alcançou ~91,7% de precisão geral, distinguindo eficazmente núcleos urbanos densos de áreas periféricas ou naturais.
  • Contagem (Fachadas Comerciais): Precisão moderada (~64,2%). O desempenho foi bom para ausência ou presença de lojas, mas diminuiu para contagens intermediárias (ex: distinguir 1 de 2 lojas) e houve confusão com elementos não comerciais (placas, veículos).
  • Medição (Largura da Calçada): Precisão mais baixa (~54,1%). O modelo teve dificuldade em estimar medidas contínuas precisas, frequentemente subestimando larguras ou confundindo faixas de grama com calçadas. No entanto, os resultados ainda fornecem sinais espaciais informativos.

• Análise de Erros:

  • As falhas muitas vezes decorreram de ambiguidades visuais (ex: paisagens híbridas) ou prompts insuficientemente específicos, e não necessariamente de erros brutos do modelo.
  • O modelo mostrou dificuldade em contextos onde a orientação da calçada não era clara ou em áreas com cobertura de imagem incompleta (comum em áreas de baixa densidade ou florestais).

• Eficiência: O processamento de cerca de 7.000-8.000 imagens levou aproximadamente 2,5 horas em uma sessão gratuita do Colab, com uma taxa de transferência de ~1.200-1.300 imagens/hora.

5. Significado e Implicações

O SAGAI representa um avanço significativo na análise urbana ao democratizar a avaliação automatizada de paisagens urbanas.

• Acessibilidade: Remove a barreira de entrada de alto custo computacional e necessidade de grandes conjuntos de dados rotulados, permitindo que pesquisadores e planejadores urbanos realizem auditorias em larga escala.
• Flexibilidade: A capacidade de adaptar o sistema a diferentes temas (segurança, conforto térmico, vitalidade social) apenas modificando prompts torna-o uma ferramenta versátil para pesquisa futura.
• Futuro: Os autores apontam que a precisão pode ser melhorada através de prompt engineering mais sofisticado, validação baseada em regras, ou a implementação de módulos de few-shot learning (aprendizado com poucos exemplos) para calibração local. Além disso, a integração com dados históricos (ex: Mapillary) permitiria análises diacrônicas das transformações urbanas.

Em suma, o SAGAI preenche uma lacuna crítica entre a análise de dados vetoriais estáticos e a compreensão qualitativa dinâmica das cidades, oferecendo uma base metodológica transparente para a próxima geração de pesquisas em Inteligência Artificial Geoespacial.