Leveraging Multimodal LLMs for Built Environment and Housing Attribute Assessment from Street-View Imagery

Título: Aprovechamiento de Modelos de Lenguaje Multimodales (MLLM) para la Evaluación de Atributos del Entorno Construido y Vivienda a partir de Imágenes de Vista de Calle

1. El Problema

Existe una necesidad crítica en Estados Unidos de evaluar el estado físico de las viviendas a gran escala para abordar la escasez de vivienda asequible, la infraestructura envejecida y los costos energéticos crecientes. La inspección manual de edificios (especialmente de la envolvente exterior) es intensiva en recursos, costosa y difícil de escalar a nivel nacional.
Aunque las técnicas tradicionales de visión por computadora (como CNNs) y los modelos de lenguaje-visión (como BLIP) pueden identificar características específicas, tienen limitaciones:

• Suelen depender de indicadores estrechos (ej. grietas en la pintura).
• Tienen dificultades para integrar múltiples factores visuales simultáneamente para una evaluación holística.
• Carecen de capacidad de razonamiento interpretable y generalizable para tareas de puntuación complejas.

2. Metodología

Los autores proponen un marco de trabajo novedoso que utiliza Modelos de Lenguaje Multimodales (MLLM) para automatizar la evaluación del estado de las viviendas a partir de imágenes de Google Street View (GSV).

• Preprocesamiento: Se utilizan imágenes de GSV que se recortan y aíslan mediante GroundingDINO para centrarse en edificios individuales.
• Modelo Base: Se selecciona Gemma 3 27B como columna vertebral multimodal. Se le proporciona una imagen recortada junto con un prompt de texto estructurado que incluye criterios formales de evaluación (escala del 1 al 5: Inhabitable a Excelente).
• Estrategias de Optimización:
  1. Ajuste Fino (Fine-tuning): Se aplica QLoRA (Low-Rank Adaptation cuantizada) para ajustar el modelo Gemma 3 27B con un conjunto pequeño de datos etiquetados por humanos (500 imágenes). Esto permite que el modelo se alinee con las puntuaciones de opinión media (MOS) de expertos humanos sin requerir un ajuste completo costoso.
  2. Destilación de Conocimiento: Para mejorar la eficiencia, se transfiere el conocimiento del modelo "maestro" (Gemma 3 27B ajustado) a modelos más pequeños ("estudiantes"):
     • Un modelo de lenguaje más pequeño: Gemma 3 4B.
     • Modelos de visión puros: EfficientNetV2-M y SwinV2-B (transformers).
     • Los modelos estudiantes se entrenan utilizando "pseudo-etiquetas" generadas por el modelo maestro, eliminando la necesidad de más anotación humana.
• Evaluación de Atributos Extendidos: Además de la puntuación general, se investiga la capacidad de modelos propietarios (GPT-5.4, Gemini-3.1-Pro, Claude-Opus-4.6) para extraer 12 atributos adicionales (seguridad, accesibilidad, eficiencia energética, entorno social, etc.) mediante tareas de preguntas y respuestas de opción múltiple.
• Interfaz: Se desarrolla un dashboard de visualización que integra los resultados del modelo para su uso por parte de propietarios y partes interesadas.

3. Contribuciones Clave

• Marco de Evaluación Automatizado: Un pipeline completo que va desde la imagen de calle hasta la puntuación de estado del edificio, superando las limitaciones de los modelos de visión tradicionales.
• Alta Precisión con Pocos Datos: Demostración de que un modelo grande ajustado con solo 500 imágenes etiquetadas puede igualar o superar la consistencia de evaluadores humanos individuales.
• Eficiencia Escalable: Logro de una aceleración de 30x en la inferencia al destilar el conocimiento a modelos de visión ligeros (como EfficientNetV2) manteniendo un rendimiento comparable al modelo base grande.
• Estudio de Alineación Humano-AI: Un análisis exhaustivo que compara la estabilidad, fiabilidad inter-rater y alineación con expertos de varios MLLMs, revelando compensaciones entre consistencia interna y fidelidad humana.
• Herramienta de Visualización: Desarrollo de un dashboard interactivo que presenta no solo puntuaciones, sino también informes narrativos y contexto vecinal.

4. Resultados

• Rendimiento del Modelo Base: Gemma 3 27B mostró el mejor equilibrio entre rendimiento y recursos, alcanzando un coeficiente de correlación de rango de Spearman (SRCC) de 0.77 y un coeficiente de correlación lineal de Pearson (PLCC) de 0.77 en comparación con las puntuaciones humanas, superando a modelos más grandes como LLaMA 4 Scout en un solo GPU.
• Impacto del Ajuste Fino: Tras el ajuste fino con 500 imágenes, el modelo alcanzó un SRCC de 0.83 y un PLCC de 0.82, superando la consistencia de cualquier evaluador humano individual (cuya media fue 0.78 SRCC).
• Destilación de Conocimiento:
  • Gemma 3 4B ajustado con datos pseudo-etiquetados superó al modelo base de 27B, logrando un SRCC de 0.81 con una velocidad de inferencia 3 veces mayor.
  • Los modelos de visión (EfficientNetV2-M y SwinV2-B) alcanzaron un SRCC superior a 0.73, ofreciendo una velocidad de inferencia 30 veces mayor que el modelo de lenguaje grande.
• Atributos Extendidos: En la evaluación de atributos adicionales, Claude-Opus-4.6 mostró la mayor estabilidad y fiabilidad interna (Krippendorff's α = 0.979), mientras que Gemini-3.1-Pro mostró la mejor alineación con las evaluaciones humanas (Correlación de Pearson = 0.844), demostrando que la estabilidad interna no siempre garantiza una mejor alineación humana.
• Dashboard: La herramienta permite a los usuarios explorar el estado de la propiedad, ver informes detallados con justificaciones textuales y comparar propiedades a nivel municipal.

5. Significado e Impacto

Este trabajo representa un avance significativo en la evaluación de infraestructuras a gran escala. Al demostrar que es posible lograr una precisión cercana a la humana con un esfuerzo mínimo de etiquetado (solo 500 imágenes) y luego escalar la evaluación a millones de imágenes mediante destilación de conocimiento, el marco propuesta hace viable la auditoría masiva de viviendas.

• Aplicaciones Prácticas: Facilita la identificación de viviendas que requieren rehabilitación, apoyando estrategias de renovación pasiva, reducción de costos energéticos y mitigación de riesgos de salud.
• Eficiencia de Costos: Reduce drásticamente la dependencia de inspecciones manuales costosas.
• Futuro: Abre la puerta a la integración de IA en la toma de decisiones urbanas y de vivienda, permitiendo a propietarios, investigadores y agencias locales acceder a datos estructurados sobre el estado del parque inmobiliario de manera rápida y económica.

En resumen, el artículo establece un nuevo estándar para la evaluación automatizada del entorno construido, combinando la capacidad de razonamiento de los LLMs con la eficiencia computacional de la destilación de modelos.