SIGNPOST-Bench: Benchmarking Text-Vision Conflict Resolution in Multimodal Large Language Models

Resumen Técnico: SIGNPOST-Bench

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) dependen cada vez más tanto del contexto visual como del texto de la escena para realizar predicciones fundamentadas en escenarios del mundo real. Mientras que los benchmarks existentes evalúan el OCR, el reconocimiento visual y las capacidades multimodales generales, rara vez aíslan cómo los modelos arbitran entre la evidencia visual y textual cuando estas fuentes entran en conflicto. En escenas naturales, las pistas arquitectónicas o del terreno pueden sugerir una ubicación, mientras que los letreros o direcciones sugieren otra. Los métodos de evaluación actuales suelen reportar solo resultados discretos finales (por ejemplo, correcto/incorrecto) sin revelar qué fuente de evidencia impulsó la decisión o medir la magnitud y dirección de los cambios en la predicción dentro de un espacio de salida compartido. En consecuencia, un alto rendimiento en entradas alineadas no garantiza la capacidad de un modelo para elegir de manera fiable entre pistas visuales y textuales en conflicto.

Metodología

Los autores presentan SIGNPOST-Bench (Scene Image Geo-localization with Noisy Perturbation on Observed Sign Text), un benchmark contrafáctico controlado diseñado para evaluar la resolución de conflictos entre texto y visión mediante la geolocalización visual.

Construcción del Benchmark

La unidad central del benchmark es un quintuplete contrafáctico derivado de una única imagen de origen. Cada quintuplete consiste en cinco variantes generadas mediante intervenciones sintéticas y localizadas en el texto de la escena, diseñadas para preservar el contenido no textual circundante:

1. Original: La imagen de origen sin modificar con el texto de la escena nativo.
2. Blank (En blanco): Se eliminan fragmentos seleccionados del texto de la escena, sirviendo como una línea base de ablación de texto.
3. Similar: El texto se reemplaza con alternativas compatibles con el contexto geográfico o el idioma de la verdad de campo (por ejemplo, "Welkom to Flanders" en lugar de "Welkom to Holland").
4. Random (Aleatorio): El texto se reemplaza con texto legible pero no relacionado, sin un objetivo geográfico designado.
5. Adversarial (Adversario): El texto se reemplaza con una pista geográficamente conflictiva. Si el texto es geocodificable, define un objetivo inyectado ($y_{trap}$) distinto de la verdad de campo.

El benchmark comprende 5,111 grupos contrafácticos y 25,555 variantes de imagen extraídas de cuatro conjuntos de datos: IM2GPS3K, YFCC4K, Google Street View y Baidu Street View. El texto de la escena se categoriza en una taxonomía basada en su identificabilidad geográfica: T1 (Portátil), T2 (Cultural) y T3 (Geo-específico).

Protocolo de Evaluación

El estudio evalúa 20 MLLM de siete proveedores (Google, OpenAI, Anthropic, Alibaba, Moonshot, ByteDance, xAI) a través de todas las cinco condiciones. La evaluación emplea tres métricas diagnósticas primarias:

• Weighted Localization Accuracy (WLA - Precisión de Localización Ponderada): Mide la calidad de la predicción relativa a la verdad de campo utilizando un decaimiento exponencial basado en la distancia geodésica.
• Text Bias Score (TBS - Puntuación de Sesgo de Texto): Mide el cambio emparejado en el error de localización causado por el texto editado respecto a la línea base Blank ($TBS = D_{editado} - D_{blank}$). Un TBS positivo indica que el texto degradó el rendimiento.
• Trap-Fit Rate (TFR - Tasa de Ajuste a la Trampa): Mide la fracción de predicciones Adversarias que caen dentro de un radio de 50 km del objetivo inyectado, indicando si el modelo fue "atrapado" por el texto conflictivo.

Además, se propone una Multimodal Conflict Robustness Score (MCRS - Puntuación de Robustez al Conflicto Multimodal), que descompone el rendimiento en una Puntuación de Capacidad (C) (rendimiento en Original/Blank) y una Puntuación de Robustez al Conflicto (R) (retención de rendimiento bajo texto Random/Adversarial, penalizada por el aumento de error y el seguimiento de la trampa).

Resultados Clave

• Degradación del Rendimiento: El texto de la escena conflictivo degrada sustancialmente la localización. En todos los modelos, el error de localización mediano aumentó 4.8 veces (de 282 km a 1,347 km) al comparar las imágenes Originales con las variantes Adversarias. La WLA media cayó un 36.6%.
• Desplazamientos Dirigidos: El conflicto no solo aumenta el error aleatorio; induce desplazamientos dirigidos. Para las muestras adversarias geocodificables, entre el 6.5% y el 20.1% de las predicciones en todos los modelos cayeron dentro de 50 km del objetivo inyectado. Cada modelo evaluado exhibió una reducción de distancia de trampa (TDR) media positiva, confirmando que las predicciones se desplazaron hacia el objetivo geográfico inyectado en lugar de simplemente volverse menos precisas.
• Efectos Distintos de los Tipos de Texto:
  • Los reemplazos Similar (texto compatible) generalmente redujeron el error en comparación con la línea base Blank, mostrando que los modelos utilizan la alineación semántica.
  • Los reemplazos Random y Adversarial aumentaron el error significativamente.
  • El texto T3 (Geo-específico) proporcionó el mayor rendimiento en entradas alineadas, pero también indujo la mayor degradación (caída proporcional del 42.2%) bajo conflicto, lo que sugiere un compromiso entre utilidad y vulnerabilidad.
• Capacidad vs. Robustez: El rendimiento de localización con entradas limpias (Puntuación de Capacidad) no predice totalmente la robustez ante texto conflictivo. Los modelos con alta WLA en imágenes Originales no necesariamente mantuvieron una alta WLA bajo condiciones Adversarias. Por ejemplo, Qwen3-VL-30B mostró mayor robustez que Seed-2.0-Pro a pesar de tener una menor capacidad original.
• Conciencia del Conflicto: Experimentos de sondeo dirigido con Gemini-2.5-Flash y GPT-4o-mini revelaron que la precisión de detección de conflicto (CDA) no correlaciona de manera fiable con un mejor rendimiento de localización. Incluso cuando los modelos identificaban el conflicto, a menudo seguían siguiendo el texto inyectado.

Significancia y Reivindicaciones

El artículo reivindica tres contribuciones primarias:

1. Formulación: Formula la resolución de conflictos entre texto y visión en un espacio de coordenadas continuas, permitiendo la medición tanto de la degradación de la localización como de los desplazamientos dirigidos hacia los objetivos geográficos inyectados, una capacidad que carecen los benchmarks de tareas discretas.
2. Construcción del Benchmark: Proporciona SIGNPOST-Bench, un marco controlado a gran escala con 25,555 variantes de imagen que permite comparaciones dentro de la misma escena entre el texto nativo, la eliminación de texto y los reemplazos compatibles, no relacionados y conflictivos.
3. Hallazgos Empíricos: Establece que el texto de la escena conflictivo es un modo de fallo sistemático para los MLLM actuales. Los resultados demuestran que los modelos son susceptibles de ser "atrapados" por el texto conflictivo, desplazando sus predicciones hacia los objetivos inyectados. Crucialmente, el artículo argumenta que el rendimiento de localización con entrada limpia no es un proxy suficiente para la robustez al conflicto, resaltando una brecha en el alineamiento actual de los modelos donde los nombres de lugares explícitos en el texto pueden anular la evidencia visual menos directa.

Los autores posicionan a SIGNPOST-Bench como un marco reproducible para diagnosticar cómo los MLLM arbitran entre evidencia multimodal conflictiva, yendo más allá de la precisión agregada para analizar modos de fallo específicos en la interpretación de texto de la escena.