Resumen Técnico: LaViSA – Un Benchmark de Ambigüedad Estructural de Lenguaje y Visión

1. Definición del Problema

La ambigüedad estructural ocurre cuando una sola oración admite múltiples interpretaciones válidas debido a su estructura sintáctica, lo que plantea un desafío fundamental para la comprensión del lenguaje. Mientras que los humanos resuelven frecuentemente tales ambigüedades en interacciones del mundo real aprovechando claves extralingüísticas —particularmente las escenas visuales—, los modelos actuales de Visión y Lenguaje (VLMs) carecen de una evaluación sistemática sobre esta capacidad.

Los benchmarks existentes se centran principalmente en la componibilidad (evaluar cómo los modelos manejan los cambios de significado debido al orden de las palabras) o en la resolución de ambigüedad general. Sin embargo, estos no aíslan específicamente la ambigüedad estructural, donde una sola oración debe ser desambiguada en interpretaciones semánticas únicas basadas en el contexto visual. El problema central abordado es si los VLMs pueden utilizar eficazmente las escenas visuales para resolver la ambigüedad estructural, un paso crítico hacia la colaboración práctica entre humanos e IA.

2. Metodología: El Benchmark LaViSA

Los autores presentan LaViSA (Language and Vision Structural Ambiguity), un benchmark diseñado para evaluar la capacidad de los VLMs para resolver la ambigüedad estructural utilizando escenas visuales.

2.1 Construcción del Dataset

LaViSA consta de 1,503 muestras distribuidas en siete categorías de ambigüedad estructural. El proceso de construcción de datos involucró:

1. Datos Semilla: Partiendo del Text-to-Image Ambiguity Benchmark (TAB), los autores seleccionaron y filtraron oraciones ambiguas.
2. Aumentación: Utilizando GPT-4o, expandieron los datos semilla para generar oraciones ambiguas adicionales emparejadas con 2–3 oraciones desambiguadas por categoría.
3. Generación de Imágenes: Las imágenes correspondientes para cada oración desambiguada fueron generadas utilizando DALL-E 3. Para probar la robustez, las imágenes se produjeron tanto en estilo caricatura como fotorrealista.
4. Validación: Anotadores humanos independientes validaron que las imágenes generadas correspondieran correctamente a sus oraciones desambiguadas pretendidas, logrando una precisión de validación superior al 90% en todas las categorías.

2.2 Categorías de Ambigüedad

El benchmark categoriza la ambigüedad estructural en siete patrones lingüísticos distintos:

• VP (Adjunción de Frase Verbal): Ambigüedad sobre qué parte de la oración modifica una frase verbal.
• PP (Adjunción de Frase Preposicional): Ambigüedad sobre qué núcleo modifica una frase preposicional.
• Anaph (Anáfora): Ambigüedad respecto al antecedente de un pronombre.
• Ellip (Elipsis): Ambigüedad en la interpretación de frases omitidas.
• Adj (Alcance del Adjetivo): Ambigüedad en si un adjetivo modifica a un sustantivo único o a una frase coordinada.
• Vb (Alcance del Verbo): Ambigüedad en si un modificador derivado de un verbo se aplica a uno o más elementos coordinados.
• Conj (Alcance de la Conjunción): Ambigüedad en cómo las conjunciones coordinantes agrupan los elementos de la oración.

2.3 Formulación de la Tarea

La tarea se formula como un problema de opción múltiple controlado. Dada una oración ambigua y una imagen aclaratoria, el VLM debe seleccionar la interpretación correcta (la oración desambiguada) de un conjunto de candidatos. Esta formulación evita los problemas de dependencia de métricas asociados con la generación de oraciones desambiguadas de texto libre.

2.4 Métricas de Evaluación

Se emplearon dos métricas:

• Precisión por Ensayo (PT-Acc): El porcentaje de ensayos individuales donde el modelo selecciona la interpretación correcta.
• Precisión por Oración (PS-Acc): El porcentaje de oraciones ambiguas donde el modelo resuelve correctamente todas las interpretaciones asociadas. Esta métrica evalúa la consistencia en el seguimiento de los cambios semánticos a través de diferentes contextos visuales para la misma oración.

3. Configuración Experimental

Los autores evaluaron una gama diversa de VLMs:

• Modelos Propietarios: GPT-5.2, Gemini 3.1 Pro y Gemini 3.1 Flash-Lite.
• Modelos de Código Abierto: Variantes ajustadas por instrucciones y orientadas al razonamiento ("thinking") de LLaVA-OneVision, Gemma3 y Qwen3-VL (que van desde 4B hasta 32B parámetros).

4. Resultados Clave

4.1 Rendimiento General

• Propietarios vs. Código Abierto: Los modelos propietarios generalmente superaron a los modelos de código abierto. Gemini 3.1 Pro alcanzó las puntuaciones generales más altas (88.9% PT-Acc, 77.7% PS-Acc).
• Líderes de Código Abierto: Entre los modelos de código abierto, Qwen3-VL-32B fue el que mejor se desempeñó, superando el 80% de PT-Acc (81.9%).
• Variantes de Razonamiento: Sorprendentemente, las variantes orientadas al razonamiento ("thinking") de Qwen3-VL generalmente tuvieron un rendimiento inferior a sus contrapartes ajustadas por instrucciones.

4.2 Rendimiento por Categoría de Ambigüedad

• Categorías Más Fáciles: Las categorías relacionadas con la adjunción (VP, PP) y las relacionadas con el alcance (Adj, Vb) arrojaron las precisiones más altas. Estas suelen depender de claves visuales localizadas (ej. posición de objetos, atributos).
• Categorías Más Difíciles: Ellip (Elipsis) y Conj (Conjunción) se mantuvieron consistentemente difíciles para todos los modelos. Estas categorías requieren la recuperación de estructuras semánticas globales y el manejo de anáforas cero o relaciones de agrupación complejas.
• Línea Base Aleatoria: Todos los modelos superaron significativamente el azar, confirmando que las escenas visuales proporcionan información desambiguadora útil.

4.3 Estilo Visual y Consistencia

• Estilo de Imagen: Los modelos funcionaron mejor con imágenes fotorrealistas que con imágenes de caricatura, probablemente debido al alineamiento del pre-entrenamiento con las distribuciones de imágenes naturales. Sin embargo, el fuerte desempeño en ambos estilos sugiere que el benchmark no depende únicamente de artefactos sintéticos.
• Brecha de Consistencia: Existe una brecha significativa entre PT-Acc y PS-Acc (a menudo PS-Acc es aproximadamente el cuadrado o el cubo de PT-Acc). Esto indica que, si bien los modelos pueden resolver ensayos individuales, luchan por rastrear consistentemente cómo cambian las estructuras semánticas cuando la evidencia visual cambia para la misma oración ambigua.

4.4 Análisis Cualitativo

El análisis de las racionalidades de razonamiento (específicamente de Qwen3-VL-32B-Thinking) reveló modos de falla específicos:

• Alcance de la Conjunción: Los modelos luchan por distinguir entre objetos que están visualmente presentes pero son semánticamente ajenos al predicado (ej. identificar erróneamente un objeto sostenido por un sujeto cuando este solo está cerca).
• Elipsis: Los modelos fallan al inferir estructuras de argumento-predicado subyacentes en interacciones complejas, quedando a menudo atrapados en bucles de razonamiento repetitivos o malinterpretando configuraciones espaciales como roles semánticos.

5. Significado y Reivindicaciones

El artículo afirma que LaViSA proporciona la primera evaluación sistemática de la capacidad de los VLMs para resolver la ambigüedad estructural utilizando escenas visuales.

• Validación de Claves Visuales: Los resultados confirman que las escenas visuales sirven como información adicional efectiva para resolver la ambigüedad estructural, y que los VLMs actuales pueden aprovechar esto en una medida sustancial.
• Limitaciones Identificadas: A pesar del progreso, los VLMs exhiben limitaciones en:
  1. Tipos de Ambigüedad Complejos: Específicamente en el Alcance de la Conjunción y la Elipsis, que requieren una integración semántica más profunda más allá de la detección de objetos salientes.
  2. Seguimiento Semántico Consistente: Los modelos luchan por mantener interpretaciones semánticas consistentes cuando los contextos visuales cambian mínimamente, lo que sugiere una brecha en el anclaje completo de la semántica del lenguaje en las escenas visuales.
• Direcciones Futuras: Los autores destacan la necesidad de investigar para permitir que los VLMs comprendan e integren plenamente la semántica a través de la visión y el lenguaje, particularmente para relaciones estructurales complejas. Reconocen que, si bien las imágenes sintéticas permiten una evaluación controlada, el trabajo futuro debería explorar imágenes recolectadas naturalmente para mitigar posibles sesgos de los modelos generativos.

Los autores ponen su código y datos a disposición pública para facilitar la investigación posterior en este dominio.