💻 computer science

Diagnosing Corruption-Induced Reliability Failures in Vision-Language Models

Este artículo presenta Bench-C, un banco de pruebas controlado y la métrica Robustness Alignment Score (RAS) para revelar cómo las corrupciones visuales pueden degradar silenciosamente la fiabilidad de la distribución y la estabilidad estructural de los modelos de visión y lenguaje, incluso cuando la precisión top-1 parece mejorar.

Autores originales: Xiangjie Sui, Songyang Li, Hanwei Zhu, Baoliang Chen, Yuming Fang, Xin Sun

Publicado 2026-07-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xiangjie Sui, Songyang Li, Hanwei Zhu, Baoliang Chen, Yuming Fang, Xin Sun

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás haciendo un examen de opción múltiple con un amigo robot superinteligente. Le muestras la foto de una manzana roja y le preguntas: "¿De qué color es esto?". El robot grita con confianza: "¡Roja!", y recibe una estrella de oro. Pero, ¿qué pasaría si la foto fuera borrosa, estuviera cubierta de estática o pareciera tomada en un día lluvioso?

La mayoría de la gente seguiría diciendo: "¡Es definitivamente roja!", incluso si la foto fuera un poco desordenada. Pero aquí está el giro: los Modelos de Visión y Lenguaje (VLM) —los robots que miran imágenes y hablan de ellas— pueden ser engañados de formas que una simple puntuación de "Correcto o Incorrecto" ignora por completo.

Eso es exactamente de lo que trata este artículo, titulado "Diagnosing Corruption-Induced Reliability Failures in Vision-Language Models" (Diagnóstico de fallos de fiabilidad inducidos por la corrupción en modelos de visión y lenguaje). Los autores construyeron un campo de pruebas especial llamado BENCH-C para mirar bajo el capó y ver qué sucede cuando la visión del robot se ve "corrompida" (como cuando una foto se vuelve borrosa, ruidosa o distorsionada).

La gran sorpresa: El robot puede mentirse a sí mismo

El principal hallazgo es un poco contraintuitivo. Normalmente, pensamos que si un robot se equivoca en una pregunta, es porque está roto. Pero este artículo encontró que a veces, el robot da la respuesta "correcta" incluso cuando su confianza interna se está desmoronando por completo.

Piénsalo de esta manera:

El colapso silencioso: El robot ve la imagen borrosa de una manzana roja. Sigue diciendo "¡Roja!" (así que la puntuación dice "¡Correcto!"). Pero por dentro, su cerebro está gritando: "¡No estoy seguro! ¡Podría ser roja, o naranja, o tal vez un tomate!". Perdió su certeza, pero la respuesta final no cambió. La puntuación dice "Bien", pero la fiabilidad está rota.
El acierto de suerte: A veces, una imagen desordenada hace que el robot cambie de opinión de "Azul" a "Roja" (la respuesta correcta). La puntuación dice "¡Genial! ¡Ha mejorado!". Pero el artículo sugiere que esto podría ser solo un golpe de suerte. El robot no entendió de repente la manzana; simplemente tropezó con la respuesta correcta mientras su cerebro tambaleaba.

Los autores argumentan que limitarse a mirar la respuesta final (Exactitud Top-1) es como juzgar una película solo por el final. Podrías perderte el hecho de que los actores olvidaban sus líneas, la cámara temblaba o la trama no tenía sentido hasta el último segundo.

La nueva herramienta: BENCH-C y la puntuación "RAS"

Para atrapar estos fallos escurridizos, el equipo construyó BENCH-C. Imagina una bolsa gigante de 4,000 preguntas de examen. La mayoría son aburridas porque el robot las acierta sin importar lo mala que sea la imagen (como preguntar "¿Esto es un gato?" cuando la imagen es claramente un gato).

Los autores filtraron esta bolsa hasta quedarse con 849 preguntas "diagnósticas". Estas son las complicadas, donde la respuesta del robot realmente cambia o se vuelve inestable cuando la imagen se vuelve desordenada. Probaron esto en 13 VLM diferentes utilizando 19 tipos diferentes de corrupción visual (como desenfoque, ruido, clima y fallos digitales) en 5 niveles de severidad (desde "un poco borroso" hasta "irreconocible").

Para medir el "estado mental" del robot, inventaron una nueva puntuación llamada RAS (Robustness Alignment Score - Puntuación de Alineación de Robustez).

Si el robot acierta la respuesta y mantiene la confianza, el RAS está feliz.
Si el robot acierta la respuesta pero está confundido (o se equivoca pero tiene mucha confianza), el RAS baja.

Lo que encontraron (Los momentos "¡Ajá!")

El artículo midió 13 modelos y encontró algunos patrones extraños:

La corrupción leve puede hacer que la puntuación parezca mejor, incluso si el robot es peor.
A veces, añadir un poco de ruido a una imagen hace que la respuesta del robot cambie de "Incorrecto" a "Correcto". ¡La puntuación sube! Pero los autores sugieren que esto no es una mejora real; es solo un comportamiento inestable. El robot está tambaleándose, y a veces se tambalea hacia la respuesta correcta por accidente.
La "fuente" del problema importa.
Dividieron las preguntas en dos grupos: las que el robot acertó antes de que la imagen se volviera desordenada, y las que erró antes.
- Originalmente correctas: Cuando estas se volvieron desordenadas, el robot a menudo mantuvo la respuesta correcta pero perdió su confianza (Degradación Silenciosa).
- Originalmente incorrectas: Cuando estas se volvieron desordenadas, el robot a veces corrigió su respuesta, pero a menudo fue solo una corrección inestable y temporal.
La severidad cambia las reglas del juego.
A medida que la corrupción empeoraba (del nivel 1 al 5), el daño a las preguntas "Originalmente correctas" era mucho mayor. Pero curiosamente, las preguntas "Originalmente incorrectas" a veces parecían estar mejorando (con más probabilidad de acertar por suerte). Los autores sugieren que esto no es porque el robot esté aprendiendo, sino porque el caos lo está sacudiendo tanto que ocasionalmente da con la respuesta correcta por pura suerte, mientras que las respuestas sólidas se están desmoronando.

Lo que no encontraron (La lista de "No")

El artículo es muy cuidadoso con lo que no afirma:

No se trata de con qué frecuencia ocurren estos errores en la vida real. El banco de pruebas (BENCH-C) fue diseñado para encontrar muestras sensibles, no para contar cuántas fotos reales son borrosas. Así que no asumas que esto significa que el 50% de todas las fotos están rotas; solo significa que estas fotos específicas son excelentes para probar.
No es una solución mágica. El artículo no dice que hayan solucionado el problema o que los robots sean ahora seguros. Solo dice: "Oye, nuestra forma actual de probar está pasando por alto mucha de la peligrosidad".
No se trata de que el cerebro del robot sea "consciente". Están analizando matemáticas (distribuciones de probabilidad), no sentimientos.

La conclusión

Los autores midieron 80,655 pares de imagen-pregunta corruptos y descubrieron que la fiabilidad es más que simplemente dar la respuesta correcta. Un modelo puede parecer perfecto en un informe de notas mientras su lógica interna se desmorona.

Sugieren que, en el futuro, no solo debemos entrenar a los robots para que den la respuesta correcta. Debemos entrenarlos para que mantengan la confianza cuando tienen razón y mantengan la duda cuando se equivocan, incluso cuando la imagen es un desastre.

En resumen: No confíes solo en la respuesta. Confía en la confianza detrás de ella. Si el robot dice "¡Roja!" pero su cerebro está temblando, aún no es un amigo fiable.

Resumen Técnico: Diagnóstico de Fallos de Fiabilidad Inducidos por Corrupción en Modelos de Visión-Lenguaje

Planteamiento del Problema
Las evaluaciones actuales de los Modelos de Visión-Lenguaje (VLM) bajo corrupción visual dependen en gran medida de la precisión top-1. Sin embargo, los autores argumentan que la precisión es una métrica insuficiente para la fiabilidad porque no logra capturar los cambios en la estructura de predicción subyacente. Un modelo puede mantener la respuesta correcta mientras pierde el soporte distributivo (degradación silenciosa), o puede cambiar de una respuesta incorrecta a una correcta mediante desplazamientos inestables y excesivamente confiados. Además, los benchmarks estándar suelen incluir muestras de baja discriminación donde las respuestas permanecen estables independientemente de la corrupción, lo que enmascara las diferencias entre modelos. El artículo identifica una "paradoja de la calidad visual" donde las corrupciones leves a veces mejoran la precisión top-1, pero sigue sin estar claro si estas ganancias reflejan una corrección fiable o un comportamiento inestable.

Metodología
Para abordar estas brechas, los autores proponen BENCH-C, un banco de pruebas de diagnóstico controlado, y la Puntuación de Alineación de Robustez (RAS), una métrica para medir la fiabilidad a nivel de distribución.

Construcción de BENCH-C:
- Pool de Candidatos: Los autores agregan 4,000 muestras de seis benchmarks de opción múltiple diversos (por ejemplo, SEEDBENCH2+, MMBENCH) que cubren tareas ricas en texto, espaciales y de razonamiento fino.
- Protocolo de Corrupción: Aplican 19 corrupciones de factor único (agrupadas en fotométricas, desenfoque, ruido, clima y artefactos digitales) a través de cinco niveles de severidad ordenados, siguiendo la convención de ImageNet-C.
- Selección de Diagnóstico: En lugar de un muestreo aleatorio, BENCH-C selecciona muestras que son sensibles a la corrupción. Filtra las muestras donde las predicciones varían a través de los niveles de severidad (medido por la impureza de Gini de la trayectoria de la respuesta) y asegura la diversidad semántica mediante una selección codiciosa (greedy selection) sobre los embeddings de imagen y texto.
- Dataset Final: El banco de pruebas resultante contiene 849 preguntas de diagnóstico y 80,655 pares de imagen-pregunta corruptos.
Diagnósticos de la Estructura de Predicción:
- Los autores analizan la distribución de probabilidad de nivel de opción $p$ en lugar de solo la respuesta argmax.
- Desplazamiento de Incertidumbre ( $\Delta S$ ): Medido como el cambio en la entropía normalizada, indicando si la distribución se vuelve más plana (menos decisiva) o más nítida.
- Desplazamiento de Alineación Confianza-Corrección ( $\Delta C$ ): Medido como el cambio en la diferencia absoluta entre la confianza top-1 del modelo y la corrección de esa predicción.
- Puntuación de Alineación de Robustez (RAS): Una métrica compuesta definida como $RAS = -\Delta C - [\Delta C]^+[-\Delta S]^+ - [-\Delta S]^+[\Delta C]^+$ . Esta puntuación penaliza la "degradación excesivamente confiada" (peor alineación con menor entropía) y el "soporte vacilante" (mejor alineación con mayor entropía), y recompensa la mejora en la alineación. RAS oscila entre -2 y 1.
Marco de Atribución:
- Atribución de Fuente: Los cambios se atribuyen a muestras "originalmente correctas" ( $Q_c$ ) frente a "originalmente incorrectas" ( $Q_w$ ).
- Atribución de Estado: Las muestras se categorizan además en cuatro estados basados en la corrección limpia vs. corrupta: $Q_{cc}$ (correcto $\to$ correcto), $Q_{cw}$ (correcto $\to$ incorrecto), $Q_{wc}$ (incorrecto $\to$ correcto) y $Q_{ww}$ (incorrecto $\to$ incorrecto).
- Análisis de Trayectoria: Los autores rastrean si los cambios son transitorios o persistentes a través de los cinco niveles de severidad.

Resultados Clave
Los experimentos en 13 VLMs revelan que los fallos de fiabilidad inducidos por la corrupción son más estructurados de lo que sugiere la precisión:

Desajuste entre Precisión y Estructura: Una alta precisión en condiciones limpias no garantiza la robustez. Por ejemplo, Qwen2.5-VL tuvo la mayor precisión limpia pero la mayor pérdida de precisión y el RAS más negativo. Por el contrario, los modelos con menor precisión limpia a veces exhibieron una mejor robustez estructural (RAS).
Degradación Oculta: En muestras originalmente correctas ( $Q_{cc}$ ), los modelos a menudo mantienen la respuesta correcta pero pierden el soporte distributivo (RAS negativo), lo que indica una degradación silenciosa.
Ganancias Contraintuitivas: Las aparentes ganancias de precisión suelen derivar de transiciones de "incorrecto a correcto" ( $Q_{wc}$ ). Sin embargo, estas ganancias frecuentemente coexisten con una degradación significativa en las muestras originalmente correctas. El artículo señala que las corrupciones más fuertes pueden hacer que las respuestas originalmente incorrectas parezcan más correctas (desplazamiento estructural positivo) mientras que, simultáneamente, desestabilizan las predicciones originalmente correctas.
Tendencias de Severidad: A medida que aumenta la severidad de la corrupción, el daño a las muestras originalmente correctas se vuelve más negativo, mientras que la mejora estructural en las muestras originalmente incorrectas se vuelve más positiva. Esto sugiere que la corrupción severa induce inestabilidad en la estructura de la predicción en lugar de una corrección robusta.
Tipos de Corrupción: Se identificó que el desenfoque (blur) es particularmente dañino para las muestras originalmente correctas, probablemente debido a la pérdida de contornos finos y pistas de localización local.

Significancia y Reivindicaciones
El artículo afirma que BENCH-C y RAS proporcionan un cambio necesario de la evaluación de "respuestas finales" hacia la evaluación de la "estructura de predicción". La significancia radica en:

Revelar Fallos Ocultos: Identificar que los modelos pueden mantener respuestas correctas mientras pierden fiabilidad (degradación silenciosa) o mejorar la precisión mediante mecanismos inestables.
Atribuir Cambios de Fiabilidad: Distinguir entre el daño a los comportamientos fiables y las correcciones de los comportamientos no fiables, mostrando que las ganancias de precisión agregada pueden enmascarar costos estructurales subyacentes.
Guiar el Entrenamiento de Robustez: Los autores sugieren que el entrenamiento de robustez no debería recompensar simplemente la invariancia de la respuesta, sino que debería aspirar a preservar la alineación confianza-corrección y el soporte distributivo, particularmente para la evidencia visual de grano fino.

El trabajo concluye que la evaluación de la robustez debe ir más allá de las métricas agregadas para incluir análisis de fuente, estado y trayectoria de severidad para diagnosticar con precisión dónde y cómo ocurren los cambios de fiabilidad bajo la degradación visual.