AI vs Human Expert Reasoning: Assessing Agreements in Building Typology Predictions based on Street View Imagery
Este estudo demonstra que os Modelos de Visão-Linguagem, particularmente quando aprimorados com o prompting de Cadeia de Pensamento (Chain-of-Thought), podem alcançar aproximadamente 70% de precisão na previsão de tipologias de edifícios a partir de imagens de visão de rua ao aproveitar o reconhecimento de padrões visuais, embora difiram de especialistas humanos por dependerem menos de pistas contextuais mais amplas e conhecimento de domínio.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está tentando entender uma cidade, mas em vez de caminhar por suas ruas, você a observa através de uma câmera gigante e de alta tecnologia que vê tudo de baixo para cima. Este é o mundo da análise urbana, um campo onde cientistas e planejadores tentam mapear como as cidades funcionam, desde os materiais de que os edifícios são feitos até quantos andares eles possuem. Por muito tempo, para obter essa informação, os especialistas tinham que visitar cada edifício, fazer anotações e adivinhar para que ele servia — um trabalho lento, caro e exaustivo. Mas recentemente, um novo tipo de "cérebro" entrou no jogo: o Modelo de Visão-Linguagem (VLM). Pense no VLM como um robô superinteligente que leu quase todos os livros da internet e também aprendeu a "ver" imagens. Ele pode olhar para a foto de uma casa e dizer não apenas como ela se parece, mas também de que é feita, quantos andares possui e o que as pessoas fazem dentro dela, tudo ao combinar o que vê com o que sabe sobre linguagem. A grande questão que todos estão fazendo é: esse robô consegue fazer o trabalho tão bem quanto um especialista humano, como um arquiteto ou um engenheiro, especialmente em lugares onde os dados são difíceis de encontrar?
Este artigo leva essa questão para as ruas movimentadas, caóticas e vibrantes de Jacarta do Norte, Indonésia, um lugar onde os edifícios são frequentemente construídos à mão, acrescidos ao longo do tempo e nem sempre seguem regras oficiais. Os pesquisadores queriam ver se esses robôs de IA poderiam olhar para fotos de visão de rua e adivinhar corretamente a "tipologia" (a palavra elegante para o tipo e uso) de milhares de edifícios. Eles organizaram uma competição amigável entre três dos modelos de IA mais famosos — GPT-4o, Claude 3.5 Sonnet e Gemini 2.0 Flash — e uma equipe de especialistas humanos. Os humanos, que são engenheiros civis e arquitetos, atuaram como o "padrão ouro", fornecendo as respostas corretas baseadas em seus anos de treinamento. Os modelos de IA receberam um conjunto especial de instruções, ou "prompts", para ver se pedir que eles "pensem passo a passo" (uma técnica chamada Cadeia de Pensamento ou Chain-of-Thought) os ajudaria a tirar notas melhores.
Os resultados foram uma mistura de altos impressionantes e alguns erros engraçados, típicos de humanos. Os modelos de IA revelaram-se bastante bons em adivinhar o básico. Quando se tratava de contar quantos andares um edifício tinha, os robôs e os humanos concordavam cerca de 70% a 80% das vezes. É como se a IA fosse muito boa em contar as janelas para adivinhar a altura. No entanto, quando se tratava de adivinhar para que o edifício era usado (como uma loja, uma casa ou uma fábrica), o acordo caiu para cerca de 60-70%. A IA às vezes ficava confusa porque uma casa e uma pequena loja podem parecer muito semelhantes vistas da rua. O estudo descobriu que o método de "Cadeia de Pensamento", onde a IA é forçada a explicar seu raciocínio antes de dar uma resposta, tornou os modelos mais estáveis e confiáveis, muito parecido com como um aluno tem um desempenho melhor em uma prova quando mostra o desenvolvimento do cálculo.
Uma das descobertas mais interessantes foi como a IA e os humanos pensam de forma diferente. A IA era como um detetive que só confia no que pode ver com os olhos: ela focava pesadamente em coisas físicas como "paredes", "janelas", "materiais" e "altura". Os especialistas humanos, por outro lado, eram como moradores locais experientes que conheciam o bairro. Eles olhavam para as mesmas fotos, mas também consideravam a "vibe" da área, a condição do edifício e o contexto do bairro. Por exemplo, se um edifício parecia um pouco desgastado, mas estava em uma área de mercado movimentada, um humano poderia adivinhar que é uma loja, enquanto a IA poderia apenas ver "tijolos velhos" e adivinhar que é um armazém. O artigo sugere que, embora a IA ainda não seja perfeita, ela pode fazer cerca de 70% do trabalho que os humanos fazem, e pode fazê-lo em uma escala massiva, analisando 30.000 edifícios em uma fração do tempo.
Os pesquisadores concluem que essas ferramentas de IA não estão prontas para substituir inteiramente os especialistas humanos, especialmente para tarefas complexas como adivinhar o uso de edifícios em bairros informais e desordenados. No entanto, elas são parceiras poderosas. Elas podem atuar como uma "primeira passagem", filtrando rapidamente milhares de imagens para dar aos planejadores uma ideia do que uma cidade parece, o que é uma grande ajuda em lugares onde os dados são escassos ou desatualizados. O estudo mostra que, ao combinar a capacidade da IA de detectar padrões visuais com a expertise humana em compreender o contexto, podemos construir uma imagem muito mais clara de nossas cidades. Não se trata do robô vencendo; trata-se do robô e do humano trabalhando juntos para resolver o quebra-cabeça do mundo urbano.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.