Using street view images and visual LLMs to predict heritage values for governance support: Risks, ethics, and policy implications

Resumo Técnico: Uso de Imagens de Street View e LLMs Visuais para Prever Valores de Patrimônio para Apoio à Governança

Definição do Problema
A implementação da Diretiva de Desempenho Energético dos Edifícios (EPBD) da União Europeia exige que os Estados-membros desenvolvam Planos Nacionais de Renovação de Edifícios até 2026. Estes planos necessitam de uma visão abrangente do parque habitacional nacional, incluindo edifícios com valores de patrimônio, para orientar isenções ou requisitos energéticos adaptados. Na Suécia, existe uma barreira significativa: não há um registo nacional abrangente de edifícios com valores de patrimônio. Os registos existentes são fragmentados, baseando-se em listagens oficiais sob a Lei do Patrimônio Histórico (cobrindo ~0,15% do parque) e listas municipais incompletas sob a Lei de Planejamento e Construção. Além disso, os dados existentes carecem frequentemente de fiabilidade ou granularidade. O Conselho Nacional de Patrimônio da Suécia procurou utilizar ferramentas inovadoras para preencher estas lacunas de dados de forma eficiente, explorando especificamente o uso de Modelos de Linguagem de Grande Escala (LLMs) visuais para avaliar indicadores de patrimônio a partir de imagens ao nível da rua em escala nacional.

Metodologia
O estudo empregou uma abordagem de zero-shot prompting utilizando o modelo multimodal da OpenAI (gpt-4o-2024-08-06) para analisar imagens de street view do parque de edifícios sueco.

• Aquisição e Processamento de Dados: A análise começou com 272.174 Certificados de Desempenho Energético (EPCs) ligados ao registo nacional de propriedades. Através de processamento geoespacial (correspondência de pegadas de edifícios com linhas centrais de estradas e cálculo de linhas de visão), os autores recuperaram 281.018 imagens utilizáveis do Google Street View, representando 138.038 edifícios únicos. Após a filtragem por visibilidade e qualidade, 154.710 EPCs únicos foram avaliados com sucesso.
• Engenharia de Prompt: Em vez de realizar o ajuste fino (fine-tuning) do modelo, os investigadores utilizaram zero-shot prompting. O prompt foi desenhado com base nas listas de verificação oficiais para vistorias oculares de edifícios do Conselho Nacional de Patrimônio e da Boverket. Ao modelo foi atribuída uma persona e instruído a gerar dados estruturados em formato JSON, identificando características específicas da fachada (ex: ano de construção, número de pisos, vidraças, materiais) e atribuindo uma pontuação de "indicador de patrimônio previsto" (1–100).
• Validação e Integração na Governança: Para mitigar os riscos de alucinações e enviesamentos de LLM, o estudo incorporou um processo de validação com intervenção humana (human-in-the-loop). Foram realizadas oficinas de especialistas com especialistas em patrimônio do Conselho Nacional de Patrimônio da Suécia e da Universidade de Uppsala. Uma ferramenta de mapeamento baseada na web foi desenvolvida para visualizar as pontuações previstas juntamente com as imagens das fachadas para revisão especializada. A decisão final foi utilizar a saída do LLM não para a certificação de edifícios individuais, mas como um indicador estatístico para o nível do parque de edifícios para informar a implementação da EPBD.

Principais Resultados

• Desempenho Preditivo: O LLM demonstrou graus variáveis de precisão. Identificou com sucesso marcos bem documentados (ex: o Turning Torso) e mostrou um alinhamento razoável com os dados dos Certificados de Desempenho Energético relativamente ao número de pisos. No entanto, teve dificuldades com as previsões do ano de construção, mostrando uma tendência para sobrestimar idades extremas (ex: prever edifícios com 1000 anos) e sub-representar décadas específicas (ex: 1910 ou 1940).
• Enviesamento e Representatividade: O estudo identificou enviesamentos significativos nas saídas do modelo.
  • Enviesamento Geográfico e Socioeconómico: Edifícios em Estocolmo e em áreas prósperas (maior rendimento disponível médio) receberam pontuações de indicador de patrimônio significativamente mais altas do que edifícios semelhantes noutras regiões ou em áreas de menor rendimento.
  • Enviesamento de Material: O modelo atribuiu pontuações de patrimônio mais baixas a edifícios de madeira, que são comuns em ambientes modestos e quotidianos, favorecendo estruturas de pedra e tijolo.
  • Abordagem Conservadora: O modelo exibiu um enviesamento conservador, raramente atribuindo pontuações extremamente altas (90+). Consequentemente, os investigadores definiram um limiar de 50 para identificar o "valor de patrimônio previsto", o que capturou apenas um adicional de 1–2% do parque de edifícios além das categorias oficialmente protegidas.
• Aplicação na EPBD: Com base na validação dos especialistas e na distribuição estatística das pontuações, o Conselho Nacional de Patrimônio da Suécia adotou os indicadores derivados do LLM para o processo da EPBD. O método permitiu a inclusão de um adicional de 5,0 milhões de metros quadrados de área de piso aquecida na categoria de consideração de patrimônio, preenchendo uma lacuna crítica de dados para o planeamento nacional.

Principais Contribuições

1. Estrutura de Governança para IA: O artigo fornece um estudo de caso concreto de como as autoridades públicas podem integrar previsões de zero-shot LLM na formulação de políticas. Demonstra um fluxo de trabalho onde a IA lida com a tarefa "mecânica" de extração de dados de vastos conjuntos de imagens, enquanto os especialistas humanos mantêm a supervisão para validação e tomada de decisão estratégica.
2. Transparência Metodológica: Ao utilizar prompts estruturados baseados em listas de verificação oficiais existentes e exigir saídas em JSON, os autores mitigaram os riscos de "sicofancia" (o modelo concordar com o utilizador) e tornaram os resultados mais interpretáveis e auditáveis do que a geração de texto não estruturado.
3. Identificação de Enviesamento: O estudo documenta explicitamente os enviesamentos socioeconómicos e geográficos inerentes aos atuais LLMs multimodais quando aplicados à avaliação de patrimônio, destacando que estes modelos tendem a reproduzir valorizações sociais existentes em vez de reavaliá-las criticamente.
4. Escalabilidade: A investigação prova que o zero-shot prompting pode ser escalado para analisar centenas de milhares de edifícios sem a necessidade de dados de treino caros e específicos de cada região, oferecendo uma solução rápida, embora imperfeita, para ambientes com escassez de dados.

Significado e Alegações
O artigo alega que, embora as previsões de zero-shot LLM não possam substituir a avaliação de especialistas em patrimônio ou servir como um registo legal definitivo para edifícios individuais, elas oferecem uma ferramenta valiosa e eficiente para a análise ao nível do parque de edifícios. O significado primário reside em permitir que as autoridades gerem uma "primeira passagem" de indicadores de patrimônio em todo o parque de edifícios nacional, o que era anteriormente impossível devido à fragmentação de dados e restrições de recursos.

Os autores enfatizam que o valor desta abordagem não reside na precisão absoluta de cada previsão individual, mas na sua capacidade de apoiar o desenvolvimento de Planos Nacionais de Renovação de Edifícios, identificando potenciais ativos de patrimônio que, de outra forma, permaneceriam invisíveis nos registos oficiais. No entanto, o artigo conclui com uma forte cautela: estas ferramentas devem ser utilizadas com supervisão crítica, pois reproduzem inerentemente enviesamentos relativos à riqueza, localização e estilo arquitetónico. O método é apresentado como um mecanismo suplementar de apoio à decisão que reduz a carga sobre os especialistas em patrimônio, permitindo que se foquem em tarefas estratégicas e avaliações complexas caso a caso, em vez de ser um substituto para o julgamento humano na governança do patrimônio.