GroundCount: Grounding Vision-Language Models with Object Detection for Mitigating Counting Hallucinations

El artículo presenta GroundCount, un marco que mejora la precisión del conteo en modelos de visión y lenguaje al integrar detección de objetos basada en CNN para mitigar las alucinaciones espaciales, logrando mejoras significativas en la mayoría de las arquitecturas evaluadas mediante una estrategia de anclaje simbólico explícito.

Lo esencial

¡Claro que sí! Imagina que los Modelos de Lenguaje y Visión (VLM) son como estudiantes muy inteligentes que han leído millones de libros y visto millones de fotos. Son geniales para entender historias o describir escenas, pero tienen un problema curioso: son pésimos contando cosas.

Si les preguntas: "¿Cuántos gatos hay en esta foto?", a menudo alucinan. Pueden inventar gatos que no existen o perderse y decir que hay tres cuando solo hay dos. Es como si, al mirar la foto, su cerebro se llenara de ruido y no pudiera distinguir bien los objetos individuales.

Los autores de este paper, GroundCount, decidieron: "¡Espera! Si estos estudiantes son malos contando, ¿por qué no les damos un ayudante experto?".

Aquí te explico cómo funciona su solución con una analogía sencilla:

🕵️‍♂️ La Analogía: El Detective y el Contador

Imagina que tienes dos personajes:

1. El Estudiante (El VLM): Es creativo, habla bien, pero se distrae fácilmente y cuenta mal.
2. El Detective (El Modelo de Detección de Objetos - ODM): Es un robot muy aburrido, pero extremadamente preciso. Si le das una foto, te dice: "Aquí hay un gato en la esquina izquierda, otro en el centro, y otro arriba". No se equivoca, pero no sabe hablar bonito ni entender el contexto.

El problema: El Estudiante intenta contar solo mirando la foto y falla.
La solución de GroundCount: El Estudiante le pide al Detective que le haga un resumen de lo que ve antes de intentar responder.

🛠️ ¿Cómo lo hicieron? (Las 3 Estrategias)

Los investigadores probaron tres formas de unir al Estudiante con el Detective:

1. La Estrategia del "Papelito" (GroundCount A - La mejor)

En lugar de mezclar sus cerebros, simplemente leen un papelito.

• Cómo funciona: Primero, el Detective (el modelo YOLO) escanea la foto y escribe una lista: "Gato 1: esquina izquierda. Gato 2: centro". Luego, los autores pegan esa lista en la pregunta que le hacen al Estudiante.
• El resultado: ¡Funciona de maravilla! El Estudiante ya no tiene que adivinar; solo lee la lista del Detective y cuenta.
• La magia: ¡Es más rápido! Como el Estudiante no tiene que dar vueltas y vueltas pensando (alucinando), responde más rápido y con más precisión. Es como si le dieras la respuesta correcta en una nota adhesiva: el estudiante solo tiene que copiarla y explicarla.

2. La Estrategia del "Cerebro Fusionado" (GroundCount B)

Aquí intentaron unir físicamente el cerebro del Estudiante con el del Detective.

• Cómo funciona: Crearon una red neuronal especial que mezcla las imágenes que ve el Estudiante con los datos del Detective a un nivel muy profundo (como mezclar dos tipos de pintura).
• El resultado: Fue complicado. A veces funcionaba, pero a menudo el Estudiante se confundía con la mezcla de información. Fue como intentar que dos personas hablen al mismo tiempo en idiomas diferentes; se genera mucho ruido.

3. La Estrategia Híbrida (GroundCount C)

Intentaron hacer ambas cosas a la vez: leer el papelito Y fusionar los cerebros.

• El resultado: No fue tan bueno como solo leer el papelito. A veces, tener demasiada información (el papelito + la mezcla de cerebros) abrumó al Estudiante.

📊 ¿Qué descubrieron? (Las lecciones importantes)

1. El problema no es de "inteligencia", es de "espacio": Los modelos más inteligentes (los que tienen más "cerebro") siguen fallando al contar. El problema es que no saben relacionar bien lo que ven (la imagen) con lo que piensan (el texto).
2. La precisión es clave: Si el Detective se equivoca y dice que hay un gato donde no lo hay (incluso si es un error pequeño), el Estudiante también se equivoca. Es mejor tener una lista corta y segura que una lista larga llena de errores.
3. No todos los estudiantes son iguales: Funcionó muy bien para casi todos los modelos, pero hubo uno (InternVL) que se puso nervioso con la lista del Detective y contó peor que antes. ¡Cada cerebro necesita su propio método de ayuda!
4. Menos es más: A veces, dar demasiados detalles (como la "confianza" del Detective o la posición exacta) confundía a los modelos más pequeños. A veces, una lista simple de "Gato aquí, Gato allá" es lo mejor.

🚀 ¿Por qué es importante esto?

Imagina que usas una IA para:

• Contar productos en un almacén.
• Ayudar a personas con discapacidad visual a saber cuántas personas hay en una habitación.
• Contar estudiantes en una clase.

Si la IA alucina y dice que hay 5 personas cuando hay 2, puede causar problemas graves. GroundCount nos enseña que, en lugar de intentar reprogramar todo el cerebro de la IA (lo cual es difícil y caro), a veces es mejor darle una herramienta externa simple y precisa (como un detector de objetos) para que haga el trabajo sucio de contar, y la IA se encargue de explicar el resultado.

En resumen: No intentes que el artista (la IA) aprenda a ser un contador de precisión. Dale una calculadora (el detector de objetos) y deja que el artista haga lo que mejor sabe: contar y explicar. ¡Y así, ¡menos alucinaciones y más rapidez! 🎉

Resumen técnico

Resumen Técnico: GroundCount

1. El Problema: Alucinaciones en Tareas de Conteo

Los Modelos de Lenguaje y Visión (VLMs) han demostrado un progreso notable en tareas multimodales, pero sufren de alucinaciones persistentes específicamente en tareas de conteo de objetos.

• Baja Precisión: Incluso en los VLMs más avanzados con capacidades de razonamiento, la precisión en el conteo es significativamente menor (64.0% - 74.7%) en comparación con otras tareas de razonamiento visual como la identificación de objetos (hasta 89.6%) o atributos.
• Fragilidad: El rendimiento se degrada drásticamente bajo contextos engañosos o contradictorios, lo que sugiere que los mecanismos de atención cruzada de los VLMs tienden a sobre-atender a los priores textuales en lugar de utilizar las características visuales para contar instancias.
• Limitación de las Soluciones Actuales: Las estrategias existentes (ajustes de decodificación, regularización o "steering" de capas) son insuficientes para corregir fallos sistemáticos en tareas composicionales como el conteo, especialmente en modelos que ya utilizan mecanismos de reflexión iterativa.

2. Metodología: GroundCount

Los autores proponen GroundCount, un marco que mejora los VLMs integrando grounding espacial explícito proveniente de Modelos de Detección de Objetos (ODMs) basados en CNN (como YOLO), los cuales son expertos en localización espacial y conteo con bajo costo computacional.

Se evalúan tres estrategias de implementación:

• Plan A: Aumento Basado en Prompts (GroundCount A)

  • Enfoque: Se ejecuta un ODM (YOLOv13x) sobre la imagen para obtener cajas delimitadoras, etiquetas de clase y puntuaciones de confianza.
  • Procesamiento: Esta información se convierte en texto estructurado (ej. "persona 1: centro-izquierda, confianza 0.92") y se añade al prompt del usuario antes de enviárselo al VLM.
  • Ventaja: No requiere modificaciones arquitectónicas ni entrenamiento adicional. Es "plug-and-play".
  • Codificación Espacial: Se discretiza la imagen en una cuadrícula 3x3 (arriba/medio/abajo x izquierda/centro/derecha) para describir la posición de manera interpretable.

• Plan B: Fusión a Nivel de Características (GroundCount B)

  • Enfoque: Se integra el ODM y el VLM a nivel de vectores latentes mediante una red de fusión ligera.
  • Arquitectura: Utiliza una red de doble rama:
    1. Rama A (Modulación): Usa FiLM (Feature-wise Linear Modulation) para que las características CNN modulen las características ViT.
    2. Rama B (Atención Cruzada): Permite que los parches ViT consulten selectivamente las características CNN.
  • Entrenamiento: Requiere fine-tuning de la red de fusión y opcionalmente de los componentes del VLM y ODM.

• Plan C: Combinación Híbrida

  • Combina el aumento de prompts (Plan A) con la fusión de características (Plan B) para aprovechar tanto el razonamiento simbólico explícito como la integración implícita de características.

3. Contribuciones Clave

1. Análisis Exhaustivo: Demostración de que el conteo sigue siendo la tarea de menor precisión en VLMs de última generación, independientemente de sus capacidades de razonamiento.
2. Marco GroundCount: Introducción de una tubería de aumento impulsada por detección de objetos que mejora la precisión del conteo entre 6.2 y 7.5 puntos porcentuales (pp) en cuatro de los cinco modelos evaluados.
3. Estudios de Ablación:
   • Codificación Posicional: Es crítica para modelos fuertes (mejora el rendimiento), pero perjudicial para modelos más débiles (que funcionan mejor con listas de objetos sin posición).
   • Puntuaciones de Confianza: Introducen ruido en la mayoría de las arquitecturas; eliminarlas mejora el rendimiento en cuatro de cinco modelos.
   • Umbral de Detección: La precisión de la detección es mucho más importante que la exhaustividad (recall); reducir el umbral de confianza degrada severamente el rendimiento.
4. Comparación de Arquitecturas: Se demuestra que el grounding simbólico explícito (prompts) supera a la fusión implícita de características, incluso con mecanismos sofisticados de atención cruzada.

4. Resultados Principales

• Precisión: La estrategia de Plan A logró la mayor precisión en el modelo Ovis2.5-2B, alcanzando un 81.3% (una mejora de 6.6 pp sobre el 74.7% de la línea base).
• Eficiencia: Paradójicamente, el método de prompts redujo el tiempo de inferencia en un 22% (de 10.0s a 7.8s en Ovis2.5-2B). Esto se debe a que el VLM, al recibir información de grounding explícita, genera menos tokens y evita bucles de razonamiento alucinados o re-evaluaciones infinitas.
• Comparación con ODMs: Un ODM por sí solo alcanza un 72.8% de precisión. Los VLMs aumentados superan al ODM puro en 8.5 pp, demostrando que los VLMs aportan un razonamiento contextual valioso cuando se les proporciona el "grounding" espacial correcto.
• Anomalía Arquitectónica: El modelo InternVL3.5-1B mostró un rendimiento degradado con el aumento completo, sugiriendo que sus mecanismos de reflexión iterativa son incompatibles con prompts estructurados rígidos.

5. Significado e Impacto

• Naturaleza del Problema: Los resultados sugieren que los fallos en el conteo no se deben a deficiencias específicas de la arquitectura del VLM, sino a limitaciones fundamentales en la integración espacial-semántica. Los VLMs actuales procesan mejor representaciones simbólicas estructuradas que alineaciones cruzadas implícitas.
• Aplicabilidad Práctica: GroundCount ofrece una solución eficiente y de bajo costo computacional para mejorar la fiabilidad de los VLMs en aplicaciones críticas como:
  • Herramientas de accesibilidad.
  • Sistemas de inventario y logística.
  • Tecnologías educativas.
• Dirección Futura: El trabajo destaca la importancia de la compatibilidad arquitectónica al diseñar estrategias de aumento y sugiere que el uso de prompts estructurados es más efectivo que la fusión compleja de características para tareas de conteo específicas.

En conclusión, GroundCount demuestra que complementar los VLMs con la precisión espacial de los detectores de objetos tradicionales (ODMs) mediante prompts estructurados es una estrategia superior, más rápida y más precisa para mitigar las alucinaciones de conteo que intentar reentrenar o fusionar arquitecturas complejas.