DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Model

Resumen Técnico: DiG (Differential Grounding)

1. El Problema

Los Modelos de Lenguaje Multimodal Grandes (MLLMs) actuales han demostrado un rendimiento impresionante en tareas generales de visión y lenguaje, como la descripción de imágenes o la respuesta a preguntas visuales holísticas. Sin embargo, presentan limitaciones críticas en dos áreas fundamentales:

• Percepción Visual de Alta Resolución (Fine-Grained): Tienen dificultades para detectar cambios sutiles, variaciones de color, objetos pequeños o elementos faltantes.
• Razonamiento Espacial Preciso: A menudo fallan en tareas que requieren una localización exacta o una comparación detallada entre escenas.

Los paradigmas de entrenamiento actuales se centran en la alineación semántica de alto nivel, proporcionando una supervisión insuficiente para desarrollar la sensibilidad perceptiva necesaria para el análisis de escenas detallado. Además, los enfoques existentes basados en aprendizaje por refuerzo (RL) o tareas proxy (como rompecabezas visuales) a menudo carecen de generalización, requieren anotaciones manuales costosas o no están diseñados explícitamente para fortalecer la percepción de detalles finos.

2. Metodología

El trabajo propone DiG (Differential Grounding), un nuevo marco de tarea proxy diseñado para entrenar MLLMs a identificar y localizar todas las diferencias visuales entre pares de imágenes similares, sin conocer de antemano el número de diferencias.

La metodología se compone de cuatro pilares principales:

A. Formulación de la Tarea DiG

• Entrada: Un par de imágenes $(I_a, I_b)$, donde $I_a$ es la imagen de referencia y $I_b$ es una versión modificada con cambios sutiles (adición, eliminación o cambio de atributos).
• Salida: El modelo debe generar una lista de coordenadas de cuadros delimitadores (bounding boxes) que localicen las discrepancias en la imagen de referencia ($I_a$).
• Desafío: El modelo no recibe información sobre cuántas diferencias existen, lo que obliga a un razonamiento perceptivo exhaustivo en lugar de una simple coincidencia semántica.

B. Pipeline de Generación de Datos Automatizado (3D Rendering)
Para escalar el entrenamiento sin depender de anotaciones manuales, los autores desarrollaron un pipeline basado en el motor de renderizado Blender:

• Genera proceduralmente escenas 3D con objetos definidos por atributos (forma, color, tamaño, material).
• Crea pares de imágenes donde se aplican modificaciones estocásticas controladas (cambiar un objeto, eliminarlo, alterar su color, etc.).
• Ventaja clave: Al ser generado programáticamente en 3D, el sistema produce automáticamente las anotaciones de "ground truth" (cuadros delimitadores exactos) sin intervención humana, garantizando precisión y diversidad masiva.

C. Optimización mediante Aprendizaje por Refuerzo (RL)
Se utiliza GRPO (Group Relative Policy Optimization) para optimizar el modelo. La función de recompensa es un compuesto de tres componentes:

1. Recompensa de Formato ($r_{format}$): Asegura que la salida sea sintácticamente válida (una lista de coordenadas JSON) para que sea parseable.
2. Recompensa de Precisión ($r_{acc}$): Evalúa la calidad de la detección y localización. Combina:
   • F1-score: Mide la completitud de la detección (¿encontró todas las diferencias?).
   • IoU (Intersección sobre Unión): Mide la precisión espacial de los cuadros delimitadores.
3. Objetivo Global: Una combinación ponderada que prioriza la precisión perceptiva una vez que el formato es correcto.

D. Aprendizaje Curricular (Curriculum Learning)
Un desafío principal es la escasez de señales de recompensa al inicio del entrenamiento (el modelo no encuentra diferencias, por lo que la recompensa es cero). Para resolverlo, se implementa una estrategia curricular progresiva:

• Fase 1: Entrenamiento con pares de imágenes que tienen una sola diferencia. Esto proporciona señales de recompensa densas y fáciles de interpretar.
• Fase 2: Transición a pares con dos diferencias, fomentando el razonamiento composicional.
• Fase 3: Entrenamiento final en un conjunto mixto (hasta 4 diferencias) sin revelar el número de cambios, forzando al modelo a generalizar y manejar la complejidad total.

3. Contribuciones Clave

1. Marco DiG: Introducción de una nueva tarea proxy que fuerza a los MLLMs a desarrollar habilidades de percepción de alta resolución mediante la localización de diferencias, superando la alineación semántica superficial.
2. Pipeline de Datos Escalable: Desarrollo de un sistema automatizado de renderizado 3D que genera miles de pares de imágenes con diferencias controladas y anotaciones perfectas, eliminando la necesidad de datos etiquetados manualmente.
3. Estrategia de Entrenamiento Estable: Propuesta de una combinación de RL (GRPO) y Aprendizaje Curricular que mitiga el problema de la escasez de recompensas, permitiendo una optimización estable desde tareas simples hasta complejas.
4. Validación Exhaustiva: Demostración de que las habilidades aprendidas se transfieren eficazmente a tareas de anclaje estándar (RefCOCO, RefCOCO+, RefCOCOg) y benchmarks generales de percepción multimodal.

4. Resultados Experimentales

Los experimentos se realizaron utilizando los modelos base Qwen3-VL-4B y Qwen3-VL-8B (versiones "Thinking").

• Benchmarks de Percepción: DiG mejoró consistentemente el rendimiento en benchmarks como HalBench (reducción de alucinaciones), HRBench-8K, POPE y VSR (Razonamiento Espacial Visual). Por ejemplo, el modelo de 8B mejoró en +3.4 puntos en HalBench y +2.1 en V*.
• Tareas de Anclaje (Grounding): Se observaron mejoras significativas en los conjuntos de datos RefCOCO, RefCOCO+ y RefCOCOg, con aumentos de precisión de localización de entre 2 y 3 puntos en promedio, demostrando una mejor capacidad para alinear expresiones lingüísticas con regiones visuales específicas.
• Benchmarks Generales: El modelo también mostró mejoras en tareas de razonamiento multimodal general (MMBench, MM-Vet, ScienceQA), indicando que la percepción fina mejora la comprensión global.
• Análisis de Ablación: Se confirmó que el uso combinado de recompensas de IoU y F1 es superior a usar solo una, y que la estrategia curricular es esencial para el éxito del entrenamiento; sin ella, el modelo no converge adecuadamente debido a la escasez inicial de recompensas.

5. Significado e Impacto

El trabajo DiG representa un avance significativo en la evolución de los MLLMs hacia una inteligencia multimodal más robusta y perceptiva.

• Paradigma Escalable: Demuestra que es posible mejorar la percepción de bajo nivel (detalles finos) mediante tareas proxy automatizables y verificables, sin depender de costosos conjuntos de datos humanos.
• Puente entre Percepción y Razonamiento: Establece que el entrenamiento en tareas de "anclaje diferencial" no solo mejora la localización, sino que también refuerza la capacidad de razonamiento lógico y la consistencia espacial del modelo.
• Futuro de la IA Multimodal: Proporciona una dirección prometedora para cerrar la brecha entre la comprensión semántica de alto nivel y la sensibilidad perceptiva de bajo nivel, esencial para aplicaciones que requieren precisión quirúrgica en la visión por computadora (diagnóstico médico, inspección industrial, robótica).

En conclusión, DiG ofrece un marco robusto y escalable para dotar a los modelos de lenguaje multimodal de una "visión de águila", permitiéndoles detectar y razonar sobre los detalles más sutiles del mundo visual.