Resumo Técnico: Podem os Grandes Modelos de Linguagem Substituir Avaliadores Humanos? Confiabilidade e Validade da Avaliação da Qualidade do Desenho Urbano

1. Definição do Problema

A avaliação da qualidade do desenho urbano tradicionalmente depende de observadores humanos treinados para avaliar atributos ambientais detalhados (ex: confinamento, transparência, condições de fachada) utilizando listas de verificação padronizadas. Embora a proliferação de imagens de nível de rua com georreferenciamento tenha criado vastos conjuntos de dados visuais, a natureza intensiva em mão de obra dos sistemas de classificação baseados em humanos restringe severamente sua escalabilidade. A emergência de Grandes Modelos de Linguagem (LLMs) multimodais, capazes de interpretar entradas visuais e aplicar rubricas de pontuação estruturadas, levanta uma questão metodológica fundamental: Podem os LLMs substituir confiavelmente avaliadores humanos treinados na avaliação do desenho urbano?

As lacunas de pesquisa atuais incluem a falta de uma avaliação sistemática sobre a confiabilidade interavaliador de avaliações baseadas em IA e a extensão em que os resultados da IA se alinham aos julgamentos humanos. As abordagens de IA existentes focam frequentemente na extração de características via visão computacional, em vez de aplicar os critérios de avaliação contextuais complexos utilizados por especialistas humanos. Este estudo aborda se os LLMs podem servir como substitutos válidos e confiáveis para avaliadores humanos ou se sua utilidade é limitada a papéis de suporte.

2. Metodologia

Área de Estudo e Amostragem

O estudo foi conduzido em Hwagok-dong, Seul, um bairro denso de casas de baixa estatura caracterizado por condições de edifícios heterogêneas, ruas estreitas e variação significativa na qualidade do cenário urbano.

• Amostragem: 40 pontos de observação foram selecionados utilizando uma abordagem de amostragem espacial sistemática (intervalos de 100 metros), seguida de amostragem aleatória para garantir cobertura representativa e minimizar o viés de seleção.
• Dados: Imagens de alta resolução ao nível da rua foram capturadas em cada ponto.

Protocolo de Avaliação

Três grupos distintos avaliaram os 40 pontos de observação utilizando uma rubrica padronizada idêntica, derivada de estruturas estabelecidas (ex: Ewing & Clemente, 2013):

1. Avaliadores Humanos: Três observadores treinados realizaram levantamentos de campo.
2. Avaliadores LLM: Três modelos multimodais (GPT-5.3 Thinking, Gemini 3.5 Flash e Claude Sonnet 4.6) foram instruídos com as mesmas instruções padronizadas e entradas visuais.

Variáveis

A qualidade do desenho urbano foi operacionalizada em dois tipos de variáveis:

• Variáveis Contínuas: Contagens (ex: letreiros comerciais, postes de iluminação) e medidas proporcionais (ex: razão janela-parede, cobertura arbórea, fator de visão do céu).
• Variáveis Categóricas: Presença/ausência ou tipos de características (ex: marcações de faixa, materiais de construção, cercas, câmeras de CFTV).

Análise Estatística

O estudo empregou uma estrutura de três frentes para confiabilidade e validade:

1. Confiabilidade Intra-Grupo:
   • Variáveis Contínuas: Coeficiente de Correlação Intraclasse (ICC) utilizando um modelo de efeitos aleatórios de dois caminhos para concordância absoluta [ICC(2,1)].
   • Variáveis Categóricas: Kappa de Fleiss ($\kappa$) para quantificar a concordância entre múltiplos avaliadores.
2. Concordância Entre Grupos (Humano vs. LLM):
   • Variáveis Contínuas: Análise de Bland–Altman para quantificar o viés sistemático e os limites de concordância de 95% (LOA).
   • Variáveis Categóricas: Kappa de Fleiss calculado entre o grupo humano e o grupo LLM.
3. Validade de Construto:
   • Modelos de regressão de Mínimos Quadrados Ordinários (OLS) foram estimados para prever o nível de conforto percebido (variável dependente) utilizando variáveis de desenho avaliadas separadamente por humanos e LLMs. Isso testou se as variáveis avaliadas pela IA mantinham associações significativas com os resultados humanos.

3. Principais Resultados

3.1 Confiabilidade Interavaliador

• Avaliadores Humanos: Demonstraram, em geral, forte confiabilidade para características visualmente explícitas e contáveis (ex: letreiros comerciais, instalações de varejo, grades de segurança de janelas; ICC > 0,6). A confiabilidade caiu para variáveis que exigiam estimativa proporcional ou detecção de detalhes pequenos (ex: estacionamento irregular, bancos).
• Avaliadores LLM: Mostraram um padrão de desempenho seletivo.
  • Alta Confiabilidade: Os LLMs apresentaram desempenho comparável aos humanos para atributos estruturalmente estáveis e visualmente delimitados (ex: materiais de construção, presença de varejo, grades de segurança de janelas).
  • Baixa Confiabilidade: A confiabilidade caiu significativamente para variáveis que exigiam estimativa proporcional (ex: cobertura arbórea, fator de visão do céu) ou detecção de elementos de pequena escala e parcialmente ocluídos (ex: postes de iluminação, instalações de segurança).
• Comparação: Os avaliadores humanos foram mais consistentes que os LLMs na maioria das variáveis, particularmente aquelas que exigem interpretação contextual.

3.2 Concordância Humano-LLM

• Viés Sistemático: A análise de Bland–Altman revelou que os LLMs atribuíram sistematicamente valores menores do que os humanos para a maioria das variáveis contínuas.
• Limites de Concordância: Observaram-se limites de concordância amplos para variáveis envolvendo julgamento proporcional (ex: razão janela-parede, fator de visão do céu, cobertura arbórea), indicando que as classificações humana e de IA não são intercambiáveis para essas métricas.
• Desacordo Categórico: O Kappa de Fleiss entre grupos foi geralmente modesto. Embora a concordância tenha sido substancial para "sinalização excessiva" ($\kappa = 0,670$), ela foi fraca ou negativa para elementos de pequena escala como latas de lixo, câmeras de CFTV e fios/postes. Em alguns casos (ex: latas de lixo), as classificações humana e de LLM foram sistematicamente diferentes, em vez de apenas inconsistentes.

3.3 Validade de Construto

• Ajuste do Modelo: Tanto os modelos avaliados por humanos quanto os avaliados por LLM explicaram uma proporção semelhante de variância no conforto percebido (43,0% vs. 42,6%), sugerindo que os LLMs capturam informações ambientais agregadas.
• Divergência de Variáveis:
  • Associações Consistentes: A cobertura arbórea, a razão janela-parede e a presença de cercas mostraram associações direcionais consistentes com o conforto em ambos os modelos.
  • Associações Divergentes: Variáveis como estacionamento em pilotis, marcações de faixa e materiais de construção mostraram diferenças significativas de direção ou significância entre os dois modelos. Por exemplo, o estacionamento em pilotis foi associado positivamente ao conforto no modelo humano, mas não no modelo LLM.

4. Principais Contribuições

1. Diferenciação de Confiabilidade, Concordância e Validade: O estudo distingue entre consistência interna (confiabilidade) e equivalência entre grupos (concordância). Demonstra que um sistema de IA pode ser internamente consistente (confiável) enquanto ainda falha em reproduzir os julgamentos humanos (baixa concordância), desafiando a suposição de que alta confiabilidade implica substituibilidade.
2. Desempenho Específico de Elementos: A pesquisa identifica que o desempenho do LLM é específico para cada elemento, e não universal. Os LLMs são eficazes para atributos arquitetonicamente legíveis e visualmente explícitos, mas têm dificuldade com qualidades que exigem estimativa proporcional, inferência contextual ou detecção de detalhes finos.
3. Estrutura Metodológica: O estudo fornece um rigoroso arcabouço estatístico (combinando ICC, Kappa de Fleiss e análise de Bland–Altman) para avaliar a IA como um instrumento de medição no planejamento urbano, indo além da simples precisão preditiva para avaliar a intercambialidade da medição.

5. Significância e Alegações

O artigo conclui que os LLMs multimodais ainda não são substitutos gerais para avaliadores humanos treinados na avaliação da qualidade do desenho urbano.

• Adequação Seletiva: Os LLMs são mais adequados como ferramentas de medição seletivas para classes específicas de variáveis visualmente explícitas e estruturalmente estáveis. Eles ainda não são capazes de replicar totalmente os julgamentos contextuais e matizados necessários para avaliar qualidades como abertura, vegetação e condições de manutenção em ambientes complexos de baixa altura.
• Fluxo de Trabalho Híbrido: Os autores propõem um fluxo de trabalho híbrido onde a IA lida com variáveis visualmente explícitas para escalar a avaliação, enquanto os avaliadores humanos permanecem essenciais para características sensíveis ao contexto, proporcionais ou de baixa frequência.
• Alegações Modestas sobre Validade: Embora os LLMs preservem algumas associações significativas com o bem-estar humano (especificamente para variáveis como cobertura arbórea e confinamento), eles não reproduzem o padrão completo de relações observadas nas medidas avaliadas por humanos. O estudo afirma que a IA deve ser vista como uma ferramenta complementar e de triagem, e não como um avaliador totalmente autônomo, particularmente em ambientes residenciais densos onde pistas ambientais sutis são críticas.

O estudo enfatiza que o papel futuro dos LLMs no desenho urbano será provavelmente complementar, seletivo e híbrido, em vez de uma substituição completa da expertise humana.