Leveraging Multimodal LLMs for Built Environment and Housing Attribute Assessment from Street-View Imagery

Resumo Técnico: Avaliação de Condições de Habitação e Ambiente Construído via LLMs Multimodais

1. Problema e Motivação

O artigo aborda a escassez de dados abrangentes e atualizados sobre as condições físicas das habitações nos Estados Unidos, um problema crítico que afeta a eficiência energética, a saúde pública e a equidade habitacional.

• Desafio Atual: As auditorias tradicionais de condições de edifícios são intensivas em recursos, exigindo inspeções manuais e coleta de dados, o que as torna inviáveis em escala nacional.
• Limitações de Métodos Anteriores: Abordagens de visão computacional tradicional (ex: CNNs como ResNet) e modelos de linguagem-vídeo (ex: BLIP) conseguem identificar componentes específicos (como materiais ou janelas), mas falham em fornecer avaliações interpretáveis e holísticas que integrem múltiplos fatores visuais (pintura, estrutura, manutenção) para gerar uma pontuação de condição global.
• Oportunidade: O uso de Grandes Modelos de Linguagem (LLMs) multimodais, capazes de raciocínio visual e textual integrado, oferece uma nova fronteira para avaliações automatizadas, escaláveis e interpretáveis.

2. Metodologia

Os autores propõem um pipeline inovador que utiliza imagens do Google Street View (GSV) e LLMs multimodais para avaliar a condição de edifícios residenciais.

• Pré-processamento: As imagens de rua são processadas usando o GroundingDINO para isolar e recortar edifícios individuais, removendo o contexto desnecessário.
• Modelo Base e Prompting:
  • O modelo escolhido como base é o Gemma 3 27B (um LLM multimodal de código aberto).
  • O modelo recebe a imagem recortada e um prompt estruturado que inclui critérios formais de avaliação em uma escala de 1 a 5 (de "Inabitável" a "Excelente"), definindo detalhes sobre estrutura, integridade da parede, pintura, telhado e janelas.
• Estratégias de Otimização:
  1. Ajuste Fino (Fine-tuning): Utiliza-se QLoRA (Low-Rank Adaptation quantizada) para ajustar o Gemma 3 27B em um conjunto pequeno de dados rotulados por humanos (800 imagens). Isso alinha as previsões do modelo com as Pontuações Médias de Opinião (MOS) humanas, minimizando o custo computacional e o uso de memória.
  2. Distilação de Conhecimento: Para escalabilidade, as capacidades do modelo "professor" (Gemma 3 27B ajustado) são transferidas para modelos menores ("alunos"):
     • Um modelo LLM menor (Gemma 3 4B).
     • Modelos de visão pura eficientes (EfficientNetV2-M, SwinV2-B, ResNet-50, MobileNetV3).
     • Os modelos alunos são treinados usando "pseudo-rótulos" gerados automaticamente pelo modelo professor em um grande conjunto de dados não rotulados (10.782 imagens), eliminando a necessidade de mais anotação humana.

3. Contribuições Principais

1. Framework de Avaliação Automatizada: Desenvolvimento de um pipeline completo que vai da extração de imagens GSV até a avaliação de condições de habitação usando LLMs multimodais.
2. Alinhamento Humano-AI: Demonstração de que um LLM ajustado (Gemma 3 27B) pode superar ou igualar a consistência de avaliadores humanos individuais em métricas de correlação (SRCC e PLCC).
3. Eficiência via Distilação: Evidência de que a distilação de conhecimento permite atingir desempenho comparável ao modelo grande com ganhos de velocidade significativos (3x para o Gemma 4B e 30x para modelos CNN/Transformer), tornando viável o processamento de milhões de imagens.
4. Estudo de Atributos Estendidos: Investigação da capacidade de LLMs proprietários (GPT-5.4, Gemini-3.1-Pro, Claude-Opus-4.6) de extrair não apenas a condição da casa, mas também 11 atributos contextuais adicionais (segurança, caminhabilidade, eficiência energética, riscos à saúde, etc.).
5. Dashboard de Visualização: Criação de uma interface interativa que integra os resultados da avaliação do LLM para auxiliar proprietários e stakeholders na tomada de decisões sobre reformas e retrofits.

4. Resultados Experimentais

• Desempenho do Modelo Base: O Gemma 3 27B demonstrou o melhor equilíbrio entre desempenho e viabilidade de hardware (rodando em uma única GPU com 18GB VRAM), alcançando um SRCC de 0,77 e PLCC de 0,77 em relação às pontuações humanas, superando modelos maiores que exigiam múltiplas GPUs.
• Ajuste Fino: O ajuste do Gemma 3 27B com apenas 500 imagens rotuladas foi suficiente para superar a consistência de avaliadores humanos individuais (atingindo SRCC de 0,83 e PLCC de 0,82).
• Distilação de Conhecimento:
  • O Gemma 3 4B ajustado com dados do professor alcançou SRCC de 0,81 (superando o modelo base de 27B) com 3x mais velocidade.
  • Modelos de visão pura (EfficientNetV2-M e SwinV2-B) alcançaram SRCC > 0,73, oferecendo um ganho de velocidade de 30x em comparação ao LLM, mantendo alta precisão.
• Atributos Estendidos:
  • Os modelos LLMs mostraram maior consistência interna (confiabilidade inter-rater) do que os humanos (Krippendorff's α > 0,94 para LLMs vs. 0,635 para humanos).
  • O Gemini-3.1-Pro apresentou a melhor alinhamento com as avaliações humanas (Correlação de Pearson de 0,844), embora o Claude-Opus-4.6 tivesse a maior estabilidade interna.
• Dashboard: O sistema foi integrado em um painel visual que permite a visualização de scores, relatórios detalhados e comparações em nível de cidade.

5. Significado e Impacto

Este trabalho representa um avanço significativo na avaliação de infraestrutura urbana em larga escala:

• Escalabilidade: Permite a avaliação de milhões de propriedades com esforço mínimo de anotação humana, superando as barreiras de custo e tempo das auditorias tradicionais.
• Acessibilidade: Oferece uma solução prática para governos, pesquisadores e proprietários de imóveis identificarem necessidades de retrofit, melhorias de eficiência energética e riscos à saúde.
• Flexibilidade: A abordagem de distilação permite que os usuários escolham o modelo ideal baseado no trade-off entre precisão e recursos computacionais disponíveis.
• Futuro: Abre caminho para a criação de sistemas de suporte à decisão baseados em IA para políticas habitacionais, planejamento urbano e gestão de ativos imobiliários, embora desafios como viés nos dados e dependência de prompts ainda precisem ser abordados em trabalhos futuros.

Em suma, o artigo valida que LLMs multimodais, quando devidamente ajustados e otimizados via distilação, são ferramentas viáveis e superiores para a avaliação automatizada e interpretável do ambiente construído.