3DCity-LLM: Empowering Multi-modality Large Language Models for 3D City-scale Perception and Understanding

1. El Problema

Aunque los Modelos de Lenguaje Grande (LLM) multimodales han demostrado capacidades excepcionales en escenarios centrados en objetos o entornos interiores, su escalabilidad hacia entornos urbanos a escala de ciudad (3D City-scale) sigue siendo un desafío formidable. Las limitaciones actuales incluyen:

• Complejidad Escalar: Las escenas urbanas contienen miles de entidades heterogéneas con relaciones espaciales intrincadas, superando la capacidad de los modelos actuales diseñados para interiores.
• Falta de Datos 3D de Alta Calidad: Los conjuntos de datos existentes se centran principalmente en imágenes 2D (aéreas o de calle) o en tareas específicas de localización, careciendo de información numérica 3D explícita (coordenadas, distancias, ángulos) y de diversidad en tareas de razonamiento a largo plazo.
• Deficiencias en la Evaluación: Las métricas tradicionales de similitud de texto (BLEU, ROUGE) fallan al evaluar respuestas abiertas y largas generadas por LLMs, penalizando respuestas semánticamente correctas pero con diferente redacción, sin medir adecuadamente la coherencia lógica o la precisión factual basada en la evidencia 3D.

2. Metodología

El paper propone 3DCity-LLM, un marco unificado diseñado para la percepción y comprensión visión-lingüística a escala de ciudad.

A. Estrategia de Codificación de Características (Coarse-to-Fine)

El modelo utiliza una arquitectura de tres ramas paralelas para codificar jerárquicamente la información:

1. Codificación de Objeto (Target Object): Extrae características locales (vista superior RGB), características de forma (puntos 3D procesados por Uni3D) y características de hitos (nombres de lugares codificados por BERT).
2. Codificación de Relaciones (Inter-object Relationship): Identifica objetos vecinos mediante búsqueda de K-vecinos más cercanos (KNN). Codifica la geometría contextual (distancias relativas y orientaciones) y los hitos de los objetos vecinos para entender la topología espacial.
3. Codificación de Escena (Global Scene): Utiliza un mapa global de vista superior (BEV) y un conjunto de hitos globales para capturar la semántica y el diseño general de la ciudad.

Estas representaciones se fusionan en un espacio de incrustación compartido y se alimentan a un LLM base (basado en LLaVA-7B) mediante proyectores de características.

B. Entrenamiento

Se emplea una estrategia de dos etapas:

1. Alineación de Características: Ajuste fino en tareas de descripción (captioning) para alinear las modalidades de texto, imagen 2D y punto 3D.
2. Ajuste Fino de Instrucción: Entrenamiento en tareas de análisis de alto nivel y planificación, permitiendo al modelo cambiar dinámicamente entre tareas de nivel de objeto, relación y escena según la instrucción del usuario.

C. Protocolo de Evaluación Multidimensional

Para superar las limitaciones de BLEU/ROUGE, el paper introduce una evaluación que combina:

• Métricas de Similitud de Texto: BLEU-4, ROUGE-L, METEOR.
• Evaluación Semántica basada en LLM: Dos métricas nuevas evaluadas por LLMs externos (ChatGPT-5, Qwen3-VL, DeepSeek-V3):
  • Lógica (Logicality): Coherencia interna y validez del razonamiento.
  • Fiabilidad (Reliability): Precisión factual y alineación con la evidencia 3D de la escena, evitando alucinaciones.

3. Contribuciones Clave

1. Marco 3DCity-LLM: Un modelo unificado capaz de manejar tareas desde el análisis fino de objetos hasta la planificación de escenarios complejos, integrando geometría, topología de relaciones y semántica global.
2. Dataset 3DCity-LLM-1.2M: Un conjunto de datos masivo y de alta calidad con 1.2 millones de muestras.
   • Características: Incluye información numérica 3D explícita (coordenadas, distancias) y simulaciones contextuales de diversos usuarios (turistas, funcionarios, personal).
   • Taxonomía: Cubre 7 categorías de tareas: Descripción de objetos, Localización, Análisis de objetos, Cálculo de relaciones, Descripción de escenas, Análisis de escenas y Planificación de escenas.
   • Generación: Creado mediante un pipeline automatizado que extrae atributos de escenas (SensatUrban, UrbanBIS, City-BIS) y utiliza VLMs avanzados para generar pares Pregunta-Respuesta diversos y veraces.
3. Protocolo de Evaluación Riguroso: La introducción de métricas de Lógica y Fiabilidad evaluadas por múltiples LLMs para garantizar una evaluación justa y completa de las respuestas abiertas en tareas urbanas.

4. Resultados Experimentales

Los experimentos se realizaron en dos benchmarks: el propio 3DCity-LLM-1.2M y City-3DQA.

• Rendimiento General: 3DCity-LLM superó consistentemente a los métodos del estado del arte (SOTA), tanto a LLMs de entrenamiento gratuito (como ChatGPT-5.1, Qwen3-VL) como a modelos multimodales entrenados (LLaVA, City-VLM).
  • En tareas a nivel de objeto, logró un BLEU-4 de 30.64 y una Fiabilidad de 6.02.
  • En tareas a nivel de escena, obtuvo un BLEU-4 de 20.11 y una Lógica de 7.50.
• Comparación con Baselines: Superó a modelos como City-VLM y Chat Scene en todas las categorías, demostrando que la codificación jerárquica (objeto-relación-escena) es crucial para el razonamiento espacial.
• Análisis de Ablación: Se demostró que la combinación de características de vista local, forma y hitos mejora significativamente el rendimiento. La inclusión de hitos (landmarks) fue particularmente efectiva para mejorar la fiabilidad y la coherencia lógica.
• Generalización: El modelo mostró robustez ante consultas con diferentes estilos lingüísticos y en diversas configuraciones de objetos y escenas, sin depender de plantillas fijas.

5. Significado e Impacto

• Avance en la Inteligencia Urbana: Este trabajo cierra la brecha entre los LLMs multimodales y la comprensión real de entornos urbanos complejos, permitiendo aplicaciones en planificación urbana, gestión de desastres y navegación autónoma a gran escala.
• Nuevo Estándar de Datos: El dataset 3DCity-LLM-1.2M establece un nuevo referente para la investigación en percepción 3D a escala de ciudad, ofreciendo una escala y diversidad sin precedentes con información 3D explícita.
• Evaluación Más Justa: El protocolo de evaluación propuesto (Lógica + Fiabilidad) ofrece una alternativa más robusta a las métricas tradicionales, reconociendo la diversidad en la generación de lenguaje natural siempre que la información factual y el razonamiento sean correctos.
• Dirección Futura: El estudio sienta las bases para el desarrollo de sistemas de IA capaces de realizar razonamiento espacial complejo y toma de decisiones en entornos del mundo real, aunque señala que el uso de modelos base más grandes (13B-34B) podría mejorar aún más los resultados.

En resumen, 3DCity-LLM representa un paso significativo hacia la creación de agentes de IA capaces de "ver", "entender" y "planificar" en ciudades digitales tridimensionales, superando las limitaciones de los enfoques anteriores centrados en objetos aislados o imágenes 2D.