💬 NLP

Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation

Este estudio revela que, si bien los modelos pequeños de visión y lenguaje poseen un conocimiento interno preciso sobre sus propios errores bajo degradación realista de imágenes, fallan al verbalizar esta incertidumbre, lo que hace que la probabilidad interna de los tokens sea una señal superior para el aplazamiento que la confianza declarada, aunque ambas señales se vuelven poco fiables bajo condiciones severas de baja iluminación.

Autores originales: M M Asif Ferdous

Publicado 2026-07-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: M M Asif Ferdous

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que vas caminando por una ciudad bulliciosa con un pequeño robot guía muy inteligente. Este robot tiene una cámara por ojos y una voz para hablar. Su trabajo es mirar las cosas a tu alrededor y decirte qué son. Pero aquí está el truco: la ciudad es desordenada. A veces el sol brilla demasiado, a veces está completamente oscuro, y otras veces el lente de tu cámara está manchado o temblando. En el mundo de la inteligencia artificial, estas imágenes "desordenadas" se llaman imágenes degradadas.

Cuando un robot como este se confunde con una mala imagen, necesita saber cuándo decir: "No lo sé, pregúntale a un humano", en lugar de adivinar erróneamente con total seguridad. Esta capacidad de saber cuándo no está seguro de sí mismo se llama incertidumbre. Hay dos formas en las que un robot puede mostrar esta incertidumbre. La primera es la confianza verbalizada: el robot simplemente dice en voz alta: "¡Estoy un 90% seguro!". La segunda es la confianza interna: una señal secreta y silenciosa dentro del cerebro del robot que mide qué tan temblorosos son sus pensamientos, incluso si no dice una palabra. La mayoría de la gente asume que si un robot dice que está seguro, probablemente lo esté. Pero, ¿qué pasa si el robot es solo un mal mentiroso? Esa es la gran pregunta que este artículo plantea.

La historia de la señal silenciosa

En este estudio, los investigadores sometieron a dos pequeños robots guía de código abierto (llamados Qwen2-VL y SmolVLM) a una prueba rigurosa. No solo les mostraron fotos limpias y perfectas. En su lugar, tomaron 100 fotos de comida y las arruinaron deliberadamente de seis maneras diferentes: reduciendo la calidad como un archivo JPEG, desenfocándolas con movimiento, oscureciendo las luces hasta que casi estaban a oscuras, añadiendo un resplandor cegador, inclinando la cámara o encogiendo y estirando la imagen. Hicieron esto en tres niveles de severidad para cada tipo de ruina.

Los robots tenían que adivinar qué era la comida en cada una de las fotos arruinadas. Luego, los investigadores revisaron dos cosas:

¿Dijo el robot: "¡Estoy seguro!" o "No estoy seguro"? (La Señal Verbalizada)
¿Cuál era la puntuación secreta e interna del robot sobre qué tan probable era que estuviera en lo cierto? (La Señal Interna)

La gran sorpresa: El robot que no admite que se equivoca

Los resultados fueron un poco como observar a un mago que es terrible en su trabajo pero sigue haciendo una reverencia y diciendo: "¡Eso fue perfecto!".

La Señal Verbalizada (La boca del robot):
Cuando se les pidió que declararan su confianza, los robots fueron increíblemente obstinados. Sin importar lo terrible que fuera la foto, sin importar lo borrosa o oscura que se volviera, seguían diciendo que estaban entre un 87% y un 90% seguros. Incluso cuando la imagen era tan oscura que el robot básicamente estaba adivinando al azar (acertando la respuesta solo el 22% de las veces), seguía diciendo con confianza: "¡Estoy un 87% seguro!". Era como si el robot tuviera un dial de confianza roto, trabado en "Alto". De hecho, para uno de los robots, pedirle un número de confianza fue tan difícil que la mayoría de las veces simplemente se negaba a responder, dando solo el nombre de la comida sin ningún número.

La Señal Interna (El cerebro del robot):
Sin embargo, cuando los investigadores espiaron dentro del cerebro del robot para ver sus "probabilidades de tokens" secretas (una forma elegante de medir qué tan segura estaba su propia matemática), encontraron algo totalmente diferente. ¡La señal interna del robot era en realidad muy honesta! Cuando la foto era clara, la puntuación interna era alta. Cuando la foto era borrosa o oscura, la puntuación interna caía significamente. Esta señal secreta era tan buena detectando errores que podía distinguir entre una respuesta correcta y una incorrecta con una precisión del 92% al 99%.

La trampa de la "Luz Baja"

Hubo un momento aterrador en la historia, sin embargo. Cuando los investigadores hicieron que las fotos fueran extremadamente oscuras (el nivel de "subexposición severa"), ambos sistemas fallaron. La precisión de los robots se desplomó (cayendo del 99% al 22%), e incluso la señal interna honesta dejó de funcionar. No podía distinguir entre un acierto y un error; era como si la oscuridad fuera tan espesa que incluso la niebla mental del secreto cerebro del robot se nubló.

Lo que esto significa para ti

Entonces, ¿qué aprendieron los investigadores?

No confíes en la boca del robot. Si le preguntas a un pequeño robot guía qué tan seguro está, es probable que mienta y diga que está muy seguro, incluso cuando está totalmente perdido. El artículo muestra que esta "confianza declarada" es inútiles para saber cuándo detenerse y pedir ayuda a un humano.
Confía en el cerebro del robot (en su mayor parte). La matemática interna secreta es mucho mejor. Sabe cuándo está confundido y puede señalar eso a un sistema informático, permitiendo que el sistema diga: "Bien, no estoy seguro, busquemos a un humano para que revise esto".
Pero ten cuidado con la oscuridad. Incluso la señal interna honesta falla cuando las imágenes son demasiado oscuras. Si estás usando estos robots en una habitación oscura o por la noche, no puedes confiar en que el robot te avise que está fallando. Necesitas un "control de seguridad" separado para asegurarte de que la imagen no sea demasiado oscura antes de que el robot intente siquiera mirar.

En resumen, los pequeños robots de IA saben cuándo se equivocan en lo profundo de su código, pero simplemente no lo dirán en voz alta. Son como un estudiante que responde mal una pregunta de un examen pero todavía levanta la mano y dice: "¡Estoy totalmente seguro de esto!". La única forma de atraparlos es mirando su papel de borrador secreto, no escuchando lo que dicen.

Resumen Técnico: Los modelos pequeños de visión-lenguaje saben cuándo se equivocan, pero no pueden decirlo

Planteamiento del problema

A medida que los modelos de visión-lenguaje (VLM) se despliegan cada vez más en hardware de consumo y dispositivos de borde (edge), estos encuentran con frecuencia imágenes de entrada degradadas por condiciones del mundo real, tales como la compresión, el desenfoque de movimiento, la mala iluminación y el deslumbramiento. En estos entornos restringidos, la precisión bruta es insuficiente para un despliegue seguro; un sistema requiere una señal de incertidumbre fiable para determinar cuándo delegar en un humano en lugar de proporcionar una respuesta potencialmente incorrecta.

Aunque los VLM generativos ofrecen dos rutas potenciales para la estimación de la incertidumbre —la confianza verbalizada (el modelo declarando un índice de confianza en lenguaje natural) y la confianza interna (la media de la probabilidad de los tokens generados)—, la relación entre estas señales bajo degradación de imagen realista no ha sido examinada sistemáticamente para modelos pequeños de pesos abiertos. El trabajo previo en modelos propietarios no pudo acceder a las probabilidades internas de los tokens, dejando un vacío en la comprensión de si los modelos pequeños poseen un autoconocimiento utilizable que su salida de texto no logra expresar.

Metodología

El estudio evalúa dos VLM pequeños de pesos abiertos ajustados por instrucciones: Qwen2-VL-2B-Instruct y SmolVLM-Instruct. Ambos modelos se ejecutaron en fp16 en una única GPU NVIDIA T4 utilizando decodificación codiciosa (greedy decoding).

Configuración Experimental:

Dataset: Un subconjunto de 100 elementos del conjunto de prueba de Food101, formateado como preguntas de opción múltiple de cuatro opciones.
Degradaciones: Se aplicaron seis familias de degradaciones fotográficas realistas en tres niveles de severidad cada una:
1. Compresión JPEG
2. Desenfoque de movimiento (Motion Blur)
3. Baja iluminación (reducción de brillo + ruido)
4. Deslumbramiento (amplificación de brillo)
5. Rotación
6. Remuestreo (reducción/ampliación de escala)
Total de Predicciones: 3,800 predicciones (1,900 por modelo a través de 19 condiciones, incluyendo la línea base limpia).

Señales de Confianza:

Confianza Verbalizada: Los modelos fueron instruidos para producir un índice de confianza entero $[0, 100]$ , normalizado a $[0, 1]$ .
Confianza Interna: Calculada como la probabilidad media asignada a cada token emitido durante la generación del segmento de la respuesta ( $c_{int} = \frac{1}{T} \sum p_\theta(y_t | y_{<t}, x)$ ).

Métricas:
La métrica principal para evaluar la utilidad de la incertidumbre fue el AUROC de detección de errores (la probabilidad de que una respuesta correcta elegida al azar reciba un índice de confianza mayor que una respuesta incorrecta elegida al azar). Las métricas secundarias incluyeron Precisión (Accuracy), Error de Calibración Esperado (ECE) y la puntuación Brier.

Resultados Clave

1. Degradación de la Precisión

Ambos modelos demostraron robustez ante la mayoría de las degradaciones (compresión, desenfoque, deslumbramiento, rotación, remuestreo), manteniendo una alta precisión. Sin embargo, las condiciones de baja iluminación severa provocaron un colapso catastrófico en el rendimiento:

Qwen2-VL-2B: La precisión cayó de 0.99 (limpio) a 0.22 (baja iluminación severa).
SmolVLM: La precisión cayó de 0.97 (limpio) a 0.42 (baja iluminación severa).

2. La Confianza Verbalizada no es Informativa

Qwen2-VL-2B: La confianza verbalizada se mantuvo casi constante (media 0.87–0.90) en todas las condiciones, independientemente de la precisión. Incluso cuando la precisión colapsó a 0.22, el modelo declaró una confianza de 0.87. En consecuencia, la confianza verbalizada funcionó al nivel o cerca del nivel del azar (AUROC $\approx$ 0.50) en la detección de errores.
SmolVLM: La confianza verbalizada fue mayormente inalcanzable. A través de tres plantillas de prompt, solo uno de cinco intentos piloto produjo un valor de confianza procesable; el modelo típicamente devolvía solo las respuestas sin importar la instrucción de declarar la confianza.

3. La Confianza Interna Detecta Errores

En marcado contraste con la salida verbalizada, la probabilidad interna de los tokens proporcionó una fuerte señal para la detección de errores:

Qwen2-VL-2B: El AUROC interno osciló entre 0.92 y 0.99 en condiciones limpias y moderadamente degradadas, superando significativamente a la confianza verbalizada.
SmolVLM: El AUROC interno estuvo por encima del azar (0.54–0.92) en la mayoría de las condiciones, aunque la señal fue más ruidosa y débil que en Qwen2-VL.

4. Fallo bajo Baja Iluminación Severa

Ambas señales de confianza fallaron precisamente cuando más se necesitaban. Bajo una subexposición severa (donde la precisión colapsó), el AUROC interno cayó a niveles de azar (0.62 para Qwen2-VL, 0.54 para SmolVLM). Aunque la confianza interna fue ligeramente más sensible a las caídas de precisión que la confianza verbalizada, ninguna de las dos señales pudo detectar de forma fiable el modo de fallo catastrófico.

5. Métricas de Calibración frente a Utilidad Diagnóstica

El Error de Calibración Esperado (ECE) fue bajo para ambas señales en la mayoría de las condiciones, creando una impresión engañosa de fiabilidad. El estudio demuestra que el ECE es menos diagnóstico en este contexto porque una señal de confianza casi constante puede parecer bien calibrada si el modelo es generalmente preciso, incluso si la señal no aporta información sobre errores específicos. Se identifica el AUROC de detección de errores como la métrica superior para evaluar la utilidad de la delegación.

Significado y Reivindicaciones

El artículo concluye que los VLM pequeños codifican un autoconocimiento utilizable que su salida verbalizada no expresa.

Para el Despliegue: Los profesionales no deben confiar en la confianza declarada para la delegación en los VLM pequeños de pesos abiertos, ya que es o bien está al nivel del azar o es inalcanzable. En su lugar, se debe utilizar la probabilidad interna de los tokens, ya que es gratuita de computar, no requiere reentrenamiento y proporciona una detección de errores utilizable bajo degradación leve a moderada.
Limitación de Seguridad: No se debe confiar en ninguna de las dos señales bajo condiciones de baja iluminación severa, ya que ambas fallan al rastrear el colapso en la precisión. Los despliegues que enfrenten tales condiciones requieren controles de calidad de imagen ascendentes (upstream) explícitos en lugar de umbrales de confianza descendentes (downstream).
Contribución Metodológica: El estudio destaca que la confianza verbalizada y la probabilidad interna son cantidades distintas que divergen drásticamente bajo degradación. Argumenta que el trabajo futuro sobre la confianza verbalizada en los VLM pequeños debería priorizar el AUROC de detección de errores sobre la medida de error de calibración.

Los autores señalan que sus hallazgos son específicos de la clase de ~2B de parámetros y que la brecha entre la confianza verbalizada y la interna en escalas mayores sigue siendo una cuestión abierta. Además, el estudio está limitado a un único dataset (Food101) y degradaciones sintéticas que aproximan artefactos del mundo real.