Benchmarks for Vision-Language Models in Urban Perception Should Be Reliability-Aware and Negotiated

Resumen Técnico: Evaluación de Confiabilidad y Negociación para el Benchmarking de VLM en la Percepción Urbana

Planteamiento del Problema
Los modelos de visión y lenguaje (VLM) se despliegan cada vez más para generar descripciones estructuradas de imágenes a nivel de calle para tareas de gobernanza urbana, tales como auditorías de paisajes urbanos y consultas públicas. Estas tareas a menudo requieren combinar atributos físicos observables con categorías de apreciación subjetiva (por ejemplo, comodidad, seguridad, inclusividad). Surge un problema crítico de evaluación porque la "verdad de campo" (ground truth) para estas apreciaciones no es una etiqueta estable, sino una distribución de juicios humanos caracterizada por el desacuerdo, la abstención y la pluralidad.

Las prácticas actuales de benchmarking suelen colapsar estos juicios pluralistas en una sola etiqueta, tratando el desacuerdo como un error de anotación. Este enfoque oscurece la incertidumbre sistemática y hace que la precisión del modelo sea contingente a la población específica de etiquetado y a la semántica de la abstención. El artículo sostiene que, para dominios donde los resultados del modelo informan decisiones institucionales, el benchmarking debe tratar el desacuerdo y la abstención como señales informativas en lugar de ruido, y debe tratar los espacios de etiquetas como artefactos negociables sujetos a revisión por parte de las comunidades afectadas.

Metodología
El artículo fundamenta su argumento en un nuevo benchmark empírico y un protocolo de evaluación determinista zero-shot.

• Conjunto de datos: El benchmark consiste en 100 escenas a nivel de calle de Montreal, organizadas en diez paneles. El conjunto de datos está equilibrado entre 50 renders sintéticos fotorrealistas y 50 fotografías.
• Anotación: Doce participantes de siete organizaciones comunitarias anotaron las imágenes a través de 30 dimensiones. Estas dimensiones abarcan entornos objetivos (por ejemplo, vegetación, forma construida) y apreciaciones subjetivas (por ejemplo, impresión general, seguridad).
  • Protocolo: Las anotaciones se recolectaron en francés. El estudio distingue explícitamente entre "ausencia observada" (por ejemplo, "No hay árboles") y "abstención" (por ejemplo, "No aplicable" o "No puedo juzgar").
  • Consenso: Se aplicó un mapeo determinista de francés a inglés. Para las dimensiones de etiquetas múltiples, se formó un conjunto de consenso sólido reteniendo las opciones seleccionadas por al menos el 50% de los anotadores. Para las dimensiones de elección única, se utilizó el voto por mayoría, marcando los empates exactos como "inseguro" (unsure) y excluyéndolos de los cálculos de precisión.
• Modelos: Se evaluaron siete VLM en un entorno zero-shot sin ajuste fino específico para la tarea: claude-sonnet, openai-o4-mini, gpt-4.1, gemini-2.5-pro, grok-2-vision, qwen2.5-vl y llama-4-maverick.
• Métricas de Evaluación:
  • Alineación del Modelo: Precisión para elementos de elección única e índice de Jaccard para elementos de etiquetas múltiples frente al consenso humano.
  • Confiabilidad Humana: La confiabilidad inter-anotador se calculó por dimensión utilizando el $\alpha$ de Krippendorff (distancia nominal).
  • Análisis: El estudio analizó la correlación entre la confiabilidad humana y la alineación del modelo, comparó el desempeño en dimensiones observables frente a las de apreciación, y examinó los desajustes distributivos en las tasas de abstención.

Resultados Clave

1. Correlación con la Confiabilidad: Existe una covariación positiva entre la confiabilidad inter-anotador humana y la alineación del modelo. Las dimensiones con mayor acuerdo humano tienden a producir un mayor acuerdo del modelo. Las dimensiones con baja confiabilidad humana a menudo muestran una alta varianza en el desempeño del modelo, lo que sugiere que las puntuaciones del modelo en estas dimensiones pueden reflejar sesgos previos (priors) del modelo en lugar de evidencia visual recuperable.
2. Observable vs. Apreciación: Los modelos generalmente logran puntuaciones macro más altas en dimensiones cercanas a atributos observables (por ejemplo, estructuras físicas) en comparación con las dimensiones de apreciación (por ejemplo, "Impresión General").
3. Desajuste Distributivo: Para la dimensión "Impresión General", los modelos y los anotadores exhiben desajustes distributivos significativos. Específicamente, los modelos seleccionan "No aplicable" con mayor frecuencia que los anotadores humanos, mientras que los anotadores usan más frecuentemente "No puedo juzgar". Esto indica una divergencia en cómo los modelos y los humanos interpretan la incertidumbre y la semántica de la abstención.
4. Efectos de la Fuente: Los modelos lograron un mayor acuerdo con el consenso humano en fotografías en comparación con los renders sintéticos, resaltando un cambio de dominio relacionado con artefactos de generación, textura e iluminación.

Contribuciones Clave

• Benchmarking Consciente de la Confiabilidad: El artículo propone un marco donde los reportes de benchmark deben incluir la confiabilidad inter-anotador junto con las puntuaciones del modelo. Esto permite a las partes interesadas distinguir entre la falla del modelo y la inestabilidad inherente al concepto objetivo.
• Benchmarking Negociado: Introduce el concepto de benchmarks como "artefactos negociados". En lugar de tratar los espacios de etiquetas como fijos, el artículo aboga por procedimientos donde las comunidades afectadas puedan disputar y revisar definiciones, reglas de puntuación y políticas de abstención.
• Anclaje Empírico: Proporciona un conjunto de datos y un protocolo de evaluación anotados por la comunidad que hace que el desacuerdo y la abstención sean observables, sirviendo como banco de pruebas para estas afirmaciones metodológicas.
• Estándares de Divulgación: El artículo describe un conjunto de divulgación (Tabla 1) para los creadores de benchmarks, incluyendo especificaciones de etiquetas, detalles de recolección de juicios, reportes de confiabilidad y registros de revisión, para hacer visibles las suposiciones.

Significancia y Reivindicaciones
El artículo sostiene que, para los VLM utilizados en la gobernanza urbana, tratar los objetivos de apreciación como verdades de campo estables es un fallo metodológico que puede conducir a conclusiones erróneas sobre el progreso del modelo y el riesgo de despliegue. Al tratar el desacuerdo y la abstención como resultados en lugar de errores, la propuesta hace visible la incertidumbre.

La significancia radica en cambiar el enfoque de maximizar una única puntuación de precisión hacia la comprensión de las condiciones bajo las cuales ocurre la alineación. Los autores argumentan que el benchmarking consciente de la confiabilidad y la negociación no solo mejora las métricas de evaluación, sino que sirve como un mecanismo de gobernanza. Permite la revisión de categorías en disputa y asegura que los resultados de los modelos utilizados para decisiones institucionales permanezcan abiertos a la contestación y la rendición de cuentas. El artículo concluye que la calidad del benchmark para objetivos de apreciación depende tanto de las suposiciones transparentes y los mecanismos de revisión como del diseño estadístico.