Bootstrapping MLLM for Weakly-Supervised Class-Agnostic Object Counting

1. Planteamiento del Problema

El conteo de objetos es una tarea fundamental en visión por computadora con aplicaciones en escenarios del mundo real. Sin embargo, existen dos limitaciones principales en los enfoques actuales:

• Costo de Anotación: Los métodos totalmente supervisados requieren anotaciones a nivel de punto (bounding boxes o puntos) para cada objeto, lo cual es extremadamente laborioso y costoso, especialmente en escenas densas con cientos o miles de objetos que se superponen.
• Limitación de Categorías: Los métodos de conteo débilmente supervisados existentes (que solo utilizan el conteo total a nivel de imagen como supervisión) suelen estar restringidos a una sola categoría (ej. personas) y no son "agnósticos a la clase" (no pueden contar objetos arbitrarios basándose en texto).
• Brecha de Modos en MLLMs: Aunque los Modelos de Lenguaje Multimodales (MLLMs) tienen potencial para el conteo agnóstico a la clase mediante prompts de texto, su rendimiento en entornos densos es pobre debido a que sus corpus de pre-entrenamiento contienen principalmente distribuciones de objetos dispersos.

2. Metodología Propuesta: WS-COC

El artículo presenta WS-COC, el primer marco de trabajo débilmente supervisado impulsado por MLLM para el conteo de objetos agnóstico a la clase. En lugar de ajustar finamente el MLLM para predecir un número absoluto directamente (lo cual es difícil debido a la brecha entre visión y texto), los autores proponen tres estrategias clave para "arrancar" (bootstrap) el paradigma de conteo:

A. Ajuste de Diálogo de División y Discriminación (Divide-and-Discern Dialogue Tuning - D3T)

En lugar de pedir al modelo que regrese el conteo exacto de una sola vez, se reformula la tarea como una serie de juicios de rango a través de un diálogo multi-turno:

• Se define un rango inicial (ej. [1, 2000]).
• El modelo responde a preguntas binarias como: "¿Hay más de $\tau$ objetos en la imagen?".
• Basándose en la respuesta, el rango se divide progresivamente (de grueso a fino) hasta que el intervalo es lo suficientemente pequeño.
• Finalmente, el modelo predice el conteo exacto dentro de ese rango reducido. Esto permite un aprendizaje curricular, de fácil a difícil.

B. Optimización de Conteo Comparativo y de Clasificación (Compare-and-Rank Count Optimization - CRCO)

Para mitigar la dificultad de mapear características visuales de alta dimensión a un escalar discreto:

• Se entrena al modelo para que compare y clasifique múltiples imágenes según su cantidad de objetos, en lugar de predecir números absolutos.
• Se muestrean imágenes de la misma categoría agrupadas por rangos de densidad (escasas, medias, densas) para crear conjuntos de imágenes con conteos ordenados ($c_1 < c_2 < c_3 < c_4$).
• El modelo recibe la instrucción de clasificar estas imágenes en orden ascendente de conteo, optimizando la pérdida de modelado de lenguaje sobre la secuencia de clasificación correcta.

C. Mejora de Conteo Global y Local (Global-and-Local Counting Enhancement - GLCE)

Esta estrategia se aplica durante la inferencia para corregir el sesgo de subestimación en escenas densas:

• Predicción Global: Se obtiene un conteo global para la imagen completa.
• Predicción Local: Si el conteo global supera un umbral, la imagen se divide en sub-imágenes (ej. cuadrícula 2x2) y se consulta al modelo para cada una.
• Fusión: Se observa que la predicción global tiende a subestimar en densidad, mientras que la suma de predicciones locales tiende a sobreestimar debido a efectos de borde (objetos cortados). La predicción final se obtiene promediando ambas estimaciones para compensar mutuamente los errores.

3. Contribuciones Clave

1. Primero en su tipo: Es el primer marco de conteo de objetos agnóstico a la clase que utiliza MLLMs bajo supervisión débil (solo conteo a nivel de imagen).
2. Estrategias de Arranque (Bootstrapping): Introduce tres estrategias simples pero efectivas (D3T, CRCO, GLCE) que superan las limitaciones de los MLLMs en tareas de conteo sin necesidad de anotaciones costosas a nivel de objeto.
3. Rendimiento Competitivo: Logra un rendimiento comparable o superior a métodos totalmente supervisados de última generación, reduciendo drásticamente los costos de anotación.
4. Generalización: Demuestra una fuerte capacidad de generalización en múltiples dominios y categorías sin necesidad de reentrenamiento específico para cada tarea.

4. Resultados Experimentales

Los experimentos se realizaron en cuatro conjuntos de datos estándar: FSC-147, CARPK, PUCPR+ y ShanghaiTech.

• Comparación en FSC-147:

  • WS-COC logra un MAE (Error Absoluto Medio) de 13.91 en el conjunto de prueba, superando a métodos totalmente supervisados recientes como CountDiff (14.83) y VLPG (17.60).
  • Supera significativamente a la línea base débilmente supervisada GCNet (MAE 17.83) y al modelo MLLM sin ajuste (MLLM-Zero, MAE 38.19).
  • En escenas densas (>100 objetos), el error de WS-COC (54.37) es mucho menor que el de MLLM-Zero (149.69) y la línea base (82.44).

• Generalización Cross-Dataset:

  • En CARPK, PUCPR+ y ShanghaiTech, WS-COC alcanza el mejor rendimiento o resultados altamente competitivos frente a métodos totalmente supervisados, demostrando robustez en escenarios desconocidos.

• Eficiencia:

  • Aunque utiliza un MLLM grande (LLaVA-OneVision-7B), el uso de LoRA (Low-Rank Adaptation) mantiene el costo de entrenamiento bajo (3.44 horas en GPU L20), mucho menor que métodos como CountGD o T2ICount.

5. Significado e Impacto

El trabajo WS-COC es significativo porque cierra la brecha entre la capacidad de razonamiento de los MLLMs y las tareas de visión por computadora de alta precisión como el conteo denso.

• Viabilidad Económica: Permite realizar tareas de conteo de alta precisión sin la necesidad de costosas anotaciones a nivel de píxel/punto, lo que facilita la adopción en aplicaciones industriales y de investigación.
• Flexibilidad: Al ser agnóstico a la clase y controlado por texto, el mismo modelo puede contar desde personas en multitudes hasta vehículos, células o productos en estanterías simplemente cambiando el prompt, sin reentrenar el núcleo del modelo.
• Nueva Dirección: Establece un nuevo paradigma para el uso de MLLMs en tareas de regresión numérica, demostrando que el razonamiento paso a paso (diálogo) y la optimización relacional (clasificación) son más efectivos que la regresión directa para este tipo de problemas.