Resumen Técnico: ¿Más Grande o Más Barato? Efectos de la Escala y la Cuantización en las Señales de Incertidumbre en Modelos de Visión y Lenguaje bajo Degradación de Imagen

Planteamiento del Problema

Los modelos de visión y lenguaje (VLM) se despliegan cada vez más en hardware de consumo (por ejemplo, dispositivos periféricos, GPUs de consumo) donde los presupuestos de memoria son fijos y las imágenes de entrada suelen estar degradadas (comprimidas, desenfocadas, subexpuestas). En estos entornos, una señal de incertidumbre fiable es crítica para la "predicción selectiva": la capacidad de un sistema para delegar en un humano cuando es probable que se equivoque.

Los profesionales se enfrentan a un compromiso bajo un presupuesto de memoria fijo (por ejemplo, 16 GB):

1. Pequeño, Precisión Completa: Alta precisión, bajo recuento de parámetros.
2. Pequeño, Cuantizado: Baja precisión, bajo recuento de parámetros (el más rápido/barato).
3. Grande, Cuantizado: Baja precisión, alto recuento de parámetros (se ajusta al mismo presupuesto).

Se desconoce cómo la elección entre el tamaño del modelo y la precisión numérica afecta a las dos vías principales de incertidumbre en los VLM generativos:

• Confianza Verbalizada: El modelo expresa explícitamente una puntuación de confianza (por ejemplo, "Confianza: 85").
• Confianza Interna: La probabilidad media del token de la respuesta generada.

Este artículo investiga si aumentar el tamaño del modelo mejora estas señales, si la cuantización de 4 bits las degrada y qué configuración ofrece el mejor compromiso de despliegue.

Metodología

El estudio emplea un experimento controlado de tres brazos utilizando la familia de modelos Qwen2-VL sobre un conjunto de datos fijo de 100 imágenes de Food101 planteadas como preguntas de opción múltiple de cuatro opciones.

Brazos Experimentales

• Brazo A: Qwen2-VL-2B-Instruct (fp16) — Pequeño, Precisión Completa.
• Brazo B: Qwen2-VL-2B-Instruct (NF4 4-bit) — Pequeño, Cuantizado.
• Brazo C: Qwen2-VL-7B-Instruct (NF4 4-bit) — Grande, Cuantizado.

Este diseño aisla dos efectos ortogonales:

• Efecto de Escala (B vs. C): Precisión constante (4-bit), parámetros variados.
• Efecto de Cuantización (A vs. B): Parámetros constantes (2B), precisión variada.

Datos y Degradaciones

Los modelos fueron probados en 5.700 predicciones sobre seis degradaciones fotográficas realistas con tres niveles de severidad cada una:

1. Compresión JPEG
2. Desenfoque de movimiento (Motion blur)
3. Poca luz
4. Resplandor (Glare)
5. Rotación
6. Remuestreo (reducción/ampliación de escala)

Métricas

• Métrica Primaria: AUROC de detección de errores (Área bajo la curva de Característica de Operación del Receptor). Esto mide la probabilidad de que una respuesta correcta reciba una puntuación de confianza más alta que una incorrecta. Se elige sobre el error de calibración porque mide directamente la utilidad de la señal para la delegación.
• Métricas Secundarias: Exactitud (Accuracy), Error de Calibración Esperado (ECE), puntuación de Brier y curvas de Riesgo-Cobertura (AURC).
• Tasa de Procesamiento (Parsing Rate): El porcentaje de veces que el modelo siguió con éxito el formato de dos líneas solicitado (Respuesta + Confianza).

Contribuciones Clave

1. Medición Controlada de la Escala: Una medición de cómo el tamaño del modelo (2B vs. 7B) afecta tanto a la confianza verbalizada como a la interna bajo degradación de imagen realista, revelando que la escala mejora el autoconocimiento interno significativamente más que el reporte verbalizado.
2. Efecto de Cuantización Aislado: Una medición del impacto de la cuantización de 4 bits en las señales de incertidumbre manteniendo el tamaño del modelo constante, demostrando que la cuantización degrada severamente las señales de confianza mientras preserva la exactitud.
3. Recomendación de Despliegue: Una recomendación concreta para despliegues de presupuesto fijo, expresada mediante puntos operativos de predicción selectiva (curvas de riesgo-cobertura y comportamiento de transferencia de umbral).
4. Argumento Metodológico: Evidencia de que el AUROC de detección de errores es una métrica de diagnóstico superior al error de calibración para señales con varianza cercana a cero, ya que una señal puede parecer bien calibrada (bajo ECE) pero ser inútil para clasificar respuestas correctas frente a incorrectas.

Resultados

1. Exactitud vs. Señales de Confianza

La exactitud se mantuvo alta y comparable en todos los brazos (0.88–0.94). Sin embargo, la calidad de las señales de confianza varió drásticamente:

• Efecto de Escala: Aumentar la escala de 2B a 7B (ambos en 4-bit) mejoró el AUROC de detección de errores interno de 0.80 a 0.98. En contraste, el AUROC de la confianza verbalizada solo mejoró de 0.61 a 0.69, manteniéndose cerca del nivel del azar en muchas condiciones (incluyendo poca luz).
• La Brecha se Amplía: La discrepancia entre lo que el modelo "sabe" (señal interna) y lo que "dice" (señal verbalizada) aumentó con el tamaño. En el de 7B, la señal interna era casi perfecta (0.98), mientras que la señal verbalizada seguía siendo débil (0.69).

2. Impacto de la Cuantización

Pasar de fp16 a 4-bit en el modelo 2B:

• Exactitud: Cayó solo ligeramente (0.904 → 0.888).
• Señal Interna: Cayó significativamente (AUROC 0.95 → 0.80).
• Señal Verbalizada: La tasa de procesamiento colapsó del 99% al 64%. El modelo cuantizado falló frecuentemente al seguir las instrucciones de formato, devolviendo etiquetas desnudas en lugar de puntuaciones de confianza.

3. Recomendación de Despliegue

Bajo un presupuesto de memoria fijo de 16 GB, la configuración 7B-4bit es superior tanto a la configuración 2B-fp16 como a la 2B-4bit.

• Logra la mayor exactitud (0.935).
• Logra la mayor señal de incertidumbre interna (AUROC 0.98), superando al modelo 2B de precisión completa (AUROC 0.95).
• Transferencia de Umbral: Un umbral de delegación calibrado en imágenes limpias se transfiere de forma segura a condiciones degradadas para el modelo 7B (manteniendo una exactitud selectiva de ~100%), mientras que el modelo 2B-4bit admite errores silenciosamente bajo degradación.

4. Error de Calibración vs. AUROC

El Error de Calibración Esperado (ECE) fue bajo en todos los brazos (0.01–0.07), sugiriendo que los modelos estaban "bien calibrados". Sin embargo, esta métrica no logró distinguir la utilidad de las señales. Por ejemplo, la confianza verbalizada del 2B-fp16 tenía un ECE de 0.011 pero un AUROC de 0.56 (azar). El artículo argumenta que el ECE es engañoso para estas señales porque una puntuación de confianza alta constante en una tarea de alta exactitud está bien calibrada pero es inútil para clasificar errores.

Significancia y Reivindicaciones

El artículo sostiene que para los VLM desplegados en hardware periférico:

1. La escala es la palanca principal para la incertidumbre: Aumentar el tamaño del modelo agudiza drásticamente la distribución de probabilidad interna (la capacidad del modelo para distinguir respuestas correctas de incorrectas) pero no hace que el modelo sea más veraz o discriminativo en su confianza verbalizada.
2. La cuantización es "barata" para la exactitud pero "cara" para las señales: Aunque la cuantización de 4 bits preserva la exactitud bruta, degrada significativamente la capacidad del modelo para señalar la incertidumbre, tanto interna como verbalmente.
3. Recomendación Práctica: Los profesionales deben priorizar los parámetros sobre la precisión. Un modelo más grande y cuantizado (por ejemplo, 7B-4bit) proporciona tanto una mejor exactitud como una señal de incertidancia más fiable que un modelo más pequeño de precisión completa.
4. Selección de Señal: Se debe utilizar la probabilidad de token interna para las decisiones de delegación, no la confianza verbalizada. La confianza verbalizada en estos modelos parece ser un comportamiento superficial aprendido que se vuelve más fluido con la escala, pero no necesariamente más veraz.
5. Limitación: Ninguna configuración es fiable bajo condiciones de poca luz severa (severidad 3), donde la exactitud colapsa y las señales internas se debilitan. En tales casos, se requiere un control de calidad de imagen ascendente en lugar de confiar en los umbrales de confianza descendentes.

El estudio concluye que la brecha entre el autoconocimiento interno de un modelo y su reporte verbalizado se amplía con el tamaño, y que el AUROC de detección de errores es la métrica necesaria para exponer esta divergencia.