Chain-of-Caption: Training-free improvement of multimodal large language model on referring expression comprehension

Resumen Técnico: Chain-of-Caption: Mejora sin Entrenamiento de Modelos de Lenguaje de Gran Escala Multimodales en Comprensión de Expresiones de Referencia

Planteamiento del Problema
La Comprensión de Expresiones de Referencia (REC, por sus siglas en inglés) es un desafío de larga trayectoria en el aprendizaje de visión y lenguaje, que requiere que un modelo localice un objeto específico dentro de una imagen basándose en una descripción textual. Aunque los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) han alcanzado una alta precisión (>80% de Intersección sobre Unión (IoU) de 0.5) en evaluaciones de referencia como RefCOCO, presentan dificultades con umbrales de IoU altos (>0.7). Los modelos actuales suelen fallar cuando el objeto objetivo está en el fondo, está parcialmente ocluido o cuando existen múltiples instancias de la misma clase. Además, los enfoques actuales mezclan diversas herramientas de provisión de contexto sin aislar la contribución específica de cada componente, dejando sin claridad la fuente de las mejoras de rendimiento.

Metodología
Los autores proponen Chain-of-Caption, un marco de trabajo libre de entrenamiento diseñado para mejorar el rendimiento de REC de los MLLM generalistas aprovechando sus capacidades multitarea (generación de descripciones con fundamentación, Preguntas y Respuestas Visuales (VQA) y descripción de imágenes/captioning) para refinar iterativamente las predicciones. La metodología opera a través de las siguientes etapas:

1. Aumento de Contexto: El marco introduce tanto contextos textuales como visuales.

   • Contexto Textual (Descripción Fundamentada): Se le solicita al MLLM que detecte un número específico de objetos en la imagen, emitiendo una lista numerada que contiene descripciones de objetos y sus correspondientes coordenadas de cajas delimitadoras (bounding boxes). Esta "descripción fundamentada" sirve como puente entre la consulta textual y la escena visual.
   • Contexto Visual: El marco utiliza el recorte de la imagen alrededor de una región predicha inicialmente para enfocar la atención del modelo, y visualiza las cajas delimitadoras para proporcionar guía espacial.

2. Refinamiento Iterativo (Chain-of-Caption):

   • Inicialización: El modelo genera una descripción fundamentada inicial ($g$) y una predicción de caja delimitadora inicial ($b$) para el texto objetivo ($t$).
   • Bucle de Verificación: El modelo emplea su capacidad de VQA para verificar si la región recortada definida por $b$ coincide con la descripción objetivo, devolviendo una respuesta binaria de "sí" o "no".
   • Corrección: Si la respuesta es "no", el modelo genera un pie de foto o descripción ($c$) para la región recortada fallida. Este pie de foto, junto con la caja delimitadora anterior, se añade a la descripción fundamentada para actualizar el contexto.
   • Re-predicción: El modelo utiliza este contexto enriquecido para generar una nueva predicción de caja delimitadora ($b_{CoC}$). Este proceso se repite hasta que la verificación devuelva "sí" o se alcance un número máximo de intentos.

Contribuciones Clave

• Análisis de Herramientas de Contexto: El artículo evalúa sistemáticamente los efectos individuales de los contextos textuales (descripciones de objetos frente a descripciones fundamentadas) y los contextos visuales (recorte frente a dibujo de cajas delimitadoras) en el rendimiento de REC.
• Marco Libre de Entrenamiento: Chain-of-Caption mejora el rendimiento de los MLLM sin necesidad de ningún ajuste fino (fine-tuning), basándose únicamente en la ingeniería de prompts y las capacidades multitarea inherentes del modelo.
• Fundamentación Iterativa: El marco combina de manera única descripciones fundamentadas con un bucle de autocorrección utilizando VQA y descripción de imágenes para manejar tareas de localización ambiguas o difíciles.

Resultados Experimentales
Los experimentos se realizaron en los conjuntos de datos RefCOCO, RefCOCO+, RefCOCOg y el más desafiante Ref-L4 utilizando los modelos NVILA-8B, NVILA-15B y Qwen2.5-7B.

• Impacto del Contexto: El estudio encontró que, mientras que las descripciones de objetos simples tuvieron un impacto mínimo, las descripciones fundamentadas mejoraron significativamente la precisión en umbrales de IoU altos (0.7 y 0.9), aunque redujeron ligeramente el rendimiento en un IoU de 0.5. El recorte mejoró la precisión de alto umbral pero degradó el rendimiento de bajo umbral.
• Ganancias de Rendimiento: Chain-of-Caption demostró mejoras sustanciales sobre los modelos de base. En el modelo NVILA-8B, logró una ganancia de rendimiento del 5% al 30% a través de varios umbrales de IoU. Específicamente, en Ref-L4, el método mejoró el Acc0.7 del 30.28% al 56.63% (+26.35%) y el Acc0.9 del 2.82% al 25.16% (+22.34%).
• Escalabilidad del Modelo: El marco demostró ser efectivo en diferentes tamaños de modelo. Notablemente, mientras que NVILA-15B tuvo un rendimiento inferior al de NVILA-8B en su forma base, Chain-of-Caption permitió que NVILA-15B superara al modelo más pequeño, lo que sugiere capacidades de aprendizaje en contexto superiores en modelos más grandes.
• Limitaciones: El método depende de la capacidad del modelo para seguir consistentemente las instrucciones de formato (por ejemplo, salida JSON para las cajas delimitadoras). Los autores señalaron que Qwen2.5-7B tuvo dificultades con la consistencia en el formato de salida en su forma base, requiriendo estrategias de prompting específicas para asegurar la fiabilidad.

Significancia
El artículo afirma que Chain-of-Caption mejora sustancialmente la precisión de la detección de cajas delimitadoras, particularmente en umbrales de IoU más altos (>0.7), resultando en cajas delimitadoras mejor alineadas. Al aislar los efectos de diferentes tipos de contexto, los autores demuestran que fundamentar los conceptos textuales con coordenadas de cajas delimitadoras es el mecanismo más efectivo para mejorar la REC. El trabajo destaca que los MLLM existentes poseen la capacidad latente de refinar sus propias predicciones mediante la generación de contexto y la verificación iterativa, ofreciendo un camino hacia la localización de alta precisión sin el costo computacional del reentrenamiento.