Resumo Técnico: Avaliação de Modelos de Linguagem de Grande Escala Frente ao Julgamento Profissional em Planejamento Urbano

1. Declaração do Problema

A rápida implementação de Modelos de Linguagem de Grande Escala (LLMs) na prática do planejamento urbano precipitou uma questão epistemológica urgente: até que ponto a inteligência artificial pode replicar a sensibilidade contextual, a consciência de valores e a literacia institucional que constituem o julgamento profissional do planejador? Enquanto a literatura existente oferece críticas éticas amplas ou aplicações técnicas estreitas (ex: avaliação automatizada de planos ou análise de sentimento), há uma carência crítica de frameworks sistemáticos e específicos do domínio para avaliar se os sistemas de IA conseguem raciocinar com a phronesis (sabedoria prática) exigida para o mundo real. Diferente da medicina ou do direito, que possuem benchmarks estabelecidos (Med-PaLM, LegalBench) para separar as capacidades da IA da expertise humana, o planejamento carece de um instrumento empírico para medir o que os planejadores realmente sabem e quais dimensões desse conhecimento permanecem irredutivelmente humanas. Essa lacuna deixa a profissão vulnerável tanto à dependência excessiva de IA para tarefas de alto risco quanto à rejeição desnecessária de IA para trabalhos rotineiros, sem orientação baseada em evidências sobre os limites da competência da IA.

2. Metodologia: Urban Planning Bench (UPBench)

Para abordar essa lacuna, os autores introduzem o Urban Planning Bench (UPBench), um framework de avaliação específico do domínio, fundamentado na própria estrutura de conhecimento da disciplina, em vez de benchmarks genéricos de ciência da computação.

2.1. Arquitetura de Avaliação

O UPBench utiliza um framework de Design Centrado em Evidências (ECD) organizado ao longo de uma matriz 4×5:

• Quatro Pilares de Conhecimento: Derivados de exames de licenciamento internacionais (AICP, RTPI, PIA) e currículos:
  1. Princípios de Planejamento Urbano: Teorias fundamentais e conceitos analíticos (Episteme).
  2. Integração Transdisciplinar: Síntese de campos adjacentes como engenharia, ecologia e economia (Techne).
  3. Governança do Planejamento: Condições legais, regulatórias e institucionais (Interpretativo).
  4. Prática do Planejamento: Julgamento profissional integrativo em contextos de projeto (Phronesis).
• Cinco Níveis Cognitivos: Adaptados da taxonomia revisada de Bloom (Anderson & Krathwohl, 2001):
  1. Lembrar: Recuperação factual de conceitos e teorias.
  2. Compreender: Explicar relações e lógica teórica.
  3. Aplicar: Implementar conhecimento para resolver problemas específicos.
  4. Analisar: Avaliar criticamente proposições e afirmações.
  5. Avaliar: Julgar a validade de cenários e fornecer terminologia precisa.
     (Nota: O nível "Criar" foi excluído para focar no julgamento profissional em vez da produção aberta.)

2.2. Construção e Validação de Dados

• Geração de Cenários: O benchmark compreende 405 cenários de avaliação derivados de um pipeline transnacional. As fontes incluem materiais de preparação para o AICP, o Exame Nacional de Planejador Urbano Registrado da China (2.150 itens) e currículos de pós-graduação do MIT, UC Berkeley, Tongji e Universidade de Pequim.
• Equivalência Cross-Contextual: Para garantir que o benchmark teste o raciocínio e não a nomenclatura regulatória, conceitos institucionais chineses (ex: "um documento, três certificados") foram mapeados funcionalmente para seus equivalentes americanos (ex: sequências de direitos/entitlements), preservando as demandas cognitivas.
• Protocolo de Avaliação de Duas Vias:
  • Via 1 (Automatizada): LLMs de alta capacidade atuam como juízes para tarefas estruturadas (Lembrar, Compreender, Aplicar), pontuando respostas contra rubricas elaboradas por especialistas e analisando Cadeias de Pensamento (CoT).
  • Via 2 (Painel de Especialistas): Um painel de cinco membros, composto por acadêmicos e profissionais do planejamento, avalia o raciocínio aberto (Analisar, Avaliar) quanto à profundidade, sensibilidade contextual e adequação profissional.
  • Calibração: As duas vias foram alinhadas via otimização de prompts, atingindo um $\rho$ de Spearman de 0,67, considerado aceitável dada a diferença epistemológica inerente entre avaliação estruturada e avaliação intensiva de julgamento.

2.3. Modelos Avaliados

O estudo avaliou 25 LLMs, incluindo 22 modelos de pesos abertos (dominados pelo ecossistema Qwen da Alibaba, Llama da Meta e Gemma do Google) e 3 modelos de API proprietários (GPT-4o-mini, Gemini 2.5 Flash, Claude Haiku). O foco em modelos de pesos abertos prioriza a reprodutibilidade e a transparência.

3. Principais Resultados

3.1. A Curva Cognitiva Não-Monotônica

Ao contrário da suposição de que os LLMs se destacam em tarefas de ordem inferior e falham em tarefas de ordem superior, o UPBench revelou uma curva de desempenho não-monotônica:

• Lembrar (89,6%) e Analisar (81,8%) mostraram alto desempenho.
• Compreender (55,3%) exibiu um "colapso catastrófico", caindo quase 34 pontos percentuais em relação ao nível de Recordação.
• Aplicar (76,2%) recuperou-se, mas permaneceu abaixo de Analisar.
• Avaliar (37,9%) apresentou o desempenho esperado (o mais baixo).
  Isso indica que o conhecimento de "ordem inferior" do planejamento (compreensão conceitual) é profundamente embutido no contexto institucional e jurisdicional, tornando-o mais difícil para estratégias de generalização de padrões do que tarefas de síntese analítica aparentemente "superiores".

3.2. Assimetrias de Domínio de Conhecimento

O desempenho variou entre os quatro pilares, mapeando-se na tipologia de conhecimento aristotélica:

• Integração Transdisciplinar (69,3%): Maior desempenho; os modelos são excelentes em sintetizar diversas literaturas.
• Governança do Planejamento (68,8%): Desempenho moderado; alta precisão na recuperação factual, mas propensos a "alucinação regulatória" na aplicação.
• Princípios de Planejamento Urbano (67,6%): Fortes em estruturas canônicas, mas fracos na aplicação contextual.
• Prática do Planejamento (65,6%): Menor desempenho; os modelos têm dificuldade com o raciocínio situado, estratégico e politicamente consciente.

3.3. Quatro Diagnósticos Epistêmicos (Modos de Falha)

A análise qualitativa identificou quatro modos de falha sistemáticos que iluminam dimensões da expertise do planejamento resistentes à replicação computacional:

1. Alucinação Regulatória: A fabricação de requisitos regulatórios específicos ou citações legais inexistentes, misturando elementos de diferentes jurisdições em respostas plausíveis, mas factualmente incorretas.
2. Conflação Conceitual: A erosão da precisão teórica, onde os modelos tratam paradigmas de planejamento distintos (ex: crescimento orgânico medieval vs. funcionalismo modernista) como intercambiáveis.
3. Paralisia de Complexidade (Wickedness Paralysis): O recuo do compromisso normativo. Diante de valores conflitantes (ex: equidade vs. direitos de propriedade), os modelos enumeram fatores exaustivamente, mas recusam-se a fazer os julgamentos baseados em valores exigidos para a tomada de decisão profissional.
4. Déficit de Phronesis: A ausência de sabedoria prática situada. Os modelos carecem do conhecimento tácito baseado na experiência sobre dinâmicas comunitárias, viabilidade política e o hiato entre a retórica do plano e a realidade no terreno.

3.4. Assimetria Institucional Transnacional

As lacunas de desempenho entre cenários dos EUA e da China foram mediadas majoritariamente pela origem do modelo, e não pela dificuldade da tarefa. Modelos de origem americana mostraram uma vantagem significativa (+13,6%) em cenários dos EUA, enquanto modelos de origem chinesa mostraram lacunas quase nulas (-1,7%). Isso sugere que a composição dos dados de treinamento é o principal motor da competência, desafiando a noção de um modelo "global" único capaz de um desempenho culturalmente equitativo.

4. Principais Contribuições

1. Metodológica: Introdução do UPBench, o primeiro framework abrangente e fundamentado na teoria para avaliar a competência de IA em planejamento, construído a partir das próprias tradições avaliativas do planejamento (avaliação de qualidade de planos, padrões de licenciamento) em vez de importar da ciência da computação.
2. Teórica: O uso de padrões de falha da IA como um "espelho epistêmico" para demonstrar empiricamente a estrutura do conhecimento do planejamento. O estudo confirma que a expertise do planejamento é irredutivelmente institucional, normativa, temporal e relacional, caracterizada por phronesis em vez de mero procedimento técnico.
3. Prática: Um framework para delegação diferencial, fornecendo um guia baseado em evidências para profissionais e educadores de planejamento determinarem quais tarefas podem ser responsavelmente aumentadas pela IA (ex: revisão de literatura, síntese preliminar) e quais exigem o julgamento humano irredutível (ex: interpretação regulatória, resolução de conflitos normativos).

5. Significância e Alegações

O artigo alega que o gradiente cognitivo invertido — onde a IA tem mais dificuldade com o conhecimento institucional "simples" do que com tarefas analíticas "complexas" — revela que a expertise do planejamento é estruturada de forma diferente de outras profissões. Os autores argumentam que a proposta de valor distinta da profissão não reside na sofisticação analítica (que a IA fornece cada vez mais), mas no julgamento institucional integrativo e na sabedoria fronética.

O estudo conclui que, embora os LLMs possam servir como ferramentas produtivas para síntese transdisciplinar e raciocínio analítico amplo, eles exibem incapacidade persistente em interpretação regulatória específica de jurisdição, resolução de conflitos normativos e aplicação procedimental sensível ao contexto. Consequentemente, os autores defendem uma reorientação da educação em planejamento, do foco na transmissão de conhecimento para o cultivo da literacia institucional, precisão paradigmática, coragem normativa e literacia crítica de IA. Os achados sugerem que o "humano no loop" não é apenas uma verificação de segurança, mas um requisito fundamental para a legitimidade do julgamento do planejamento, uma vez que o núcleo da profissão é constituído através do enraizamento em contextos de governança e comunidades específicas, e não apenas através da computação.