CounterCount: A Diagnostic Framework for Counting Bias in Vision Language Models

Resumen Técnico: CounterCount: Un Marco Diagnóstico para el Sesgo de Conteo en Modelos Visuales-Lingüísticos

Enunciado del Problema
Los Modelos Visuales-Lingüísticos (VLM) han demostrado capacidades sólidas en el razonamiento multimodal, en gran medida al aprovechar los Modelos de Lenguaje Grandes (LLM) como columnas vertebrales textuales. Sin embargo, persiste una ambigüedad crítica: cuando un VLM responde a una pregunta visual, ¿se basa la predicción en la evidencia visual específica o es impulsada por regularidades estadísticas y "priors canónicos" aprendidos de corpus textuales? Esta cuestión es particularmente aguda en tareas de conteo. Aunque el conteo parece simple, requiere que los modelos identifiquen entidades, las distingan de distractores y agreguen evidencia visual. Los VLM actuales a menudo luchan con el conteo, y análisis previos sugieren que incluso cuando los objetos relevantes reciben atención, los modelos pueden fallar al utilizar esa evidencia correctamente, recurriendo en su lugar a conocimiento prototípico (por ejemplo, asumir que un conejo tiene dos orejas independientemente del contenido de la imagen). Las evaluaciones existentes a menudo confunden errores de conteo con otros factores como el sesgo del prompt o la ambigüedad semántica, lo que dificulta aislar fallos impulsados específicamente por el conflicto entre la evidencia visual y los priores lingüísticos.

Metodología
Para abordar esto, los autores introducen CounterCount, un marco diagnóstico diseñado para aislar conflictos entre la evidencia visual y los priores de conteo a nivel de objeto.

1. Construcción del Conjunto de Datos:

   • Pares Contrafactuales: El conjunto de datos consta de 168 pares de imágenes (336 en total) que abarcan 10 categorías semánticas (por ejemplo, mamíferos, transporte, moneda). Cada par incluye una imagen "factual" con atributos de objetos canónicos y una imagen "contrafactual" (CF) donde un atributo relevante para el conteo (por ejemplo, número de orejas, ruedas o aspas) se altera sistemáticamente utilizando modelos de edición de imágenes (Nano-Banana Pro).
   • Localización: A diferencia de las evaluaciones estándar, CounterCount proporciona anotaciones a nivel de región. Para cada imagen CF, los autores generan máscaras de segmentación y cajas delimitadoras (BB) para los atributos modificados. Estos se mapean a la cuadrícula de tokens visuales del codificador visual para crear regiones "Máscara-BB", aislando los tokens visuales específicos requeridos para el conteo.
   • Formatos de Evaluación: Cada instancia se evalúa utilizando prompts de Respuesta Abierta (OE) y Preguntas de Opción Múltiple (MCQ) con distractores equilibrados para distinguir entre un conteo incorrecto genérico y errores impulsados por priores.

2. Análisis Diagnóstico:

   • Los autores evalúan VLMs de peso abierto recientes (Qwen3-VL, Gemma3) y un modelo de código cerrado (Claude-haiku-4.5).
   • Analizan los mecanismos de atención para determinar si los fallos se deben a una falta de localización o a una falla al ponderar la evidencia localizada. Los resultados indican que, aunque los modelos a menudo atienden a las regiones relevantes, subpesan estos tokens en relación con el fondo o el contexto irrelevante durante el razonamiento.

3. Estrategia de Intervención:

   • El artículo propone una estrategia de Modulación Unificada de Atención en Tiempo de Inferencia. Este método opera sobre los logits de atención crudos de la columna vertebral del LLM antes de la capa softmax.
   • Permite la amplificación ($\alpha > 1$), la supresión ($0 < \beta < 1$) o el enmascaramiento ($\beta = 0$) de conjuntos específicos de tokens visuales (Objetivo) mientras simultáneamente atenúa los tokens de fondo.
   • Esta formulación unifica diversas intervenciones (amplificación, supresión, enmascaramiento) en un único espacio continuo de modulación de logits, permitiendo un reequilibrio dirigido de las contribuciones de las modalidades sin reentrenamiento.

Contribuciones Clave

• Conjunto de Datos CounterCount: Un conjunto de datos diagnóstico controlado que presenta imágenes factuales y contrafactuales emparejadas con anotaciones localizadas (máscaras y cajas delimitadoras) diseñadas específicamente para probar la anclaje visual frente a priores canónicos.
• Insight Diagnóstico: Evidencia empírica que muestra que los VLMs exhiben un rendimiento sólido en imágenes factuales pero sufren una degradación consistente de la precisión en imágenes contrafactuales. Esto confirma una dependencia de priores a nivel de objeto incluso cuando existe evidencia visual contradictoria.
• Análisis de Atención: Demostración de que los fallos de conteo no se deben únicamente a la falta de evidencia visual o a una mala localización; más bien, los modelos atienden a regiones relevantes pero fallan al ponderarlas suficientemente frente a los priores lingüísticos y el ruido de fondo.
• Intervención Libre de Entrenamiento: Una estrategia unificada de modulación de atención que mejora la precisión de conteo contrafactual hasta en un 8% en múltiples VLMs al reponderar tokens visuales relevantes para el conteo en tiempo de inferencia.

Resultados

• Caída de Rendimiento: En imágenes factuales, los modelos logran una alta precisión (por ejemplo, Qwen3-VL-32B: ~87%, Gemma3: ~66–81%). Sin embargo, en imágenes contrafactuales, la precisión cae significativamente (por ejemplo, Qwen3-VL-32B: ~48%, Gemma3: ~34–38%), con altas tasas de sesgo hacia el conteo canónico.
• Eficacia de la Modulación: Aplicar la modulación de atención (específicamente amplificando los tokens objetivo y atenuando/enmascarando los tokens de fondo) mejora la precisión contrafactual. Por ejemplo, Qwen3-VL-32B mostró una mejora del 8,26% en la precisión de Respuesta Abierta.
• Reducción del Sesgo: La intervención desplaza con éxito las predicciones desde los priores canónicos hacia la evidencia visual, reduciendo la tasa de sesgo en varias configuraciones.
• Generalización: Los hallazgos se mantienen a través de diferentes escalas de modelos (de 4B a 32B) y tanto en arquitecturas de peso abierto como de código cerrado, lo que sugiere un problema sistémico en el razonamiento actual de los VLM.
• Estabilidad Factual: Las estrategias de modulación generalmente no degradan el rendimiento en imágenes factuales y, en algunos casos, lo mejoran, lo que indica que el método mejora el enfoque en tokens semánticamente relevantes sin dañar la comprensión general.

Significado
El artículo afirma que CounterCount expone un fallo de razonamiento persistente en los VLMs actuales donde las predicciones de conteo son impulsadas por conocimiento previo en lugar de evidencia visual, incluso cuando la evidencia visual es explícita y localizada. El significado radica en:

1. Aislar el Modo de Fallo: Proporcionar un entorno controlado para distinguir entre limitaciones perceptuales e desequilibrio de modalidades (el subuso de la evidencia visual en favor de priores lingüísticos).
2. Insight Mecanístico: Mostrar que los fallos ocurren no porque los modelos no puedan "ver" el conteo, sino porque fallan al priorizar los tokens visuales asociados con el conteo durante el proceso de razonamiento.
3. Guía de Diseño: Ofrecer un mecanismo libre de entrenamiento, en tiempo de inferencia, para sondear y mitigar estos sesgos, proporcionando una vía para diseñar VLMs futuros con un anclaje visual más fuerte. Los autores señalan que, aunque la intervención mejora la precisión, no elimina completamente el sesgo, lo que sugiere que podrían ser necesarios cambios arquitectónicos más profundos para un anclaje visual robusto.