EviSafe: Evidence-Grounded Safety Evaluation for Vision-Language Models
EviSafe presenta un marco de trabajo y un punto de referencia basados en evidencia (EviSafeBench) que evalúa la seguridad de los modelos de visión y lenguaje al valorar no solo las respuestas finales, sino también la capacidad del modelo para fundamentar correctamente sus decisiones en evidencia visual o textual y adaptarse a cambios contrafácticos, revelando que los modelos actuales a menudo fallan en ser seguros por las razones multimodales correctas.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva generación de programas informáticos que pueden ver y leer al mismo tiempo. Estos sistemas, conocidos como modelos de visión y lenguaje, observan una imagen y leen el texto que una persona escribe, para luego combinar esos dos flujos de información para responder preguntas o dar consejos. Se utilizan cada vez más para interpretar escaneos médicos, analizar documentos legales y navegar por escenas sociales complejas. Debido a que estas herramientas pueden influir en decisiones del mundo real, garantizar su seguridad es una prioridad crítica. Durante años, los investigadores han probado estos sistemas haciéndoles preguntas peligrosas y comprobando si la computadora se niega a responder. Si la máquina dice "no" o da una advertencia, se cuenta como segura. Si responde a la pregunta directamente, se cuenta como insegura. Este método, sin embargo, solo observa el resultado final, de forma muy similar a un profesor que califica el ensayo de un estudiante revisando únicamente la conclusión sin leer el razonamiento que la llevó a ella. Una computadora podría rechazar una solicitud simplemente porque detectó una sola palabra aterradora, o podría dar una respuesta peligrosa porque pasó por alto un detalle crucial en la imagen. La pregunta sigue siendo: cuando una máquina parece segura, ¿es realmente segura por las razones correctas?
Un equipo de investigadores de la Universidad Jiao Tong de Shanghái ha desarrollado una nueva forma de probar estos sistemas que profundiza más allá de la respuesta final. Crearon un marco llamado EviSafe, que trata la seguridad no solo como un aprobado o reprobado en la salida final, sino como un proceso de encontrar y utilizar la evidencia correcta. Imagine a un guardia de seguridad que detiene a una persona en una puerta. Una prueba simple pregunta solo si el guardia detuvo a la persona. La nueva prueba pregunta si el guardia la detuvo porque vio un arma, porque reconoció una amenaza específica, o simplemente porque la persona llevaba un sombrero rojo. Los investigadores construyeron una colección masiva de 1,181 escenarios cuidadosamente diseñados, cada uno con una imagen y una pregunta, junto con un mapa detallado de lo que la computadora debería estar observando para tomar la decisión correcta. También crearon más de 2,400 variaciones de estos escenarios donde cambiaron una sola pieza pequeña de evidencia, como eliminar un objeto peligroso de la foto o cambiar una palabra en la pregunta, para ver si el comportamiento de la computadora cambiaba en consecuencia.
Los investigadores probaron once modelos diferentes de visión y lenguaje utilizando este nuevo método. Hicieron a cada modelo tres tipos de preguntas para cada escenario. Primero, pidieron al modelo que respondiera a la pregunta de forma natural, tal como lo haría un usuario. Segundo, pidieron al modelo que explicara su razonamiento señalando los indicios textuales y visuales específicos que utilizó para tomar su decisión. Tercero, presentaron al modelo los escenarios modificados para ver si podía adaptar su respuesta cuando la evidencia cambiaba. Los resultados revelaron una brecha significativa entre parecer seguro y ser seguro. Aunque algunos modelos funcionaban razonablemente bien en la superficie, con una precisión de seguridad natural que oscilaba entre aproximadamente el 28 y el 53 por ciento, su capacidad para identificar y reportar correctamente la evidencia detrás de sus decisiones era mucho menor. De hecho, solo una pequeña fracción de los registros de modelo-escenario, apenas el 9.8 por ciento, fue etiquetada como éxito fundamentado en la evidencia, lo que significa que el modelo obtuvo la respuesta final correcta y también identificó correctamente la evidencia visual o textual específica que justificaba esa respuesta.
El estudio encontró que muchos modelos están esencialmente adivinando o recurriendo a atajos. Una computadora podría rechazar una solicitud porque ve una palabra clave asociada al peligro, incluso si la imagen muestra un contexto inofensivo, como un médico explicando un procedimiento médico. Por el contrario, un modelo podría dar una respuesta peligrosa porque no logra notar un detalle crítico en la imagen que hace que la solicitud sea insegura. Cuando los investigadores cambiaron la evidencia en los escenarios de prueba, muchos modelos no lograron ajustar su comportamiento. Por ejemplo, si se eliminaba un objeto peligroso de una imagen, un modelo verdaderamente seguro debería cambiar su respuesta de una advertencia a una respuesta segura. Sin embargo, las pruebas mostraron que solo entre el 30 y el 58 por ciento de los modelos realizaron este cambio con éxito. Esto sugiere que estos sistemas no están comprendiendo de manera fiable la relación entre lo que ven y lo que dicen. A menudo están reaccionando a patrones superficiales en lugar de construir una comprensión coherente de la situación.
Los investigadores también descubrieron que el tamaño del modelo no resuelve necesariamente el problema. Los modelos más grandes y potentes no funcionaron consistentemente mejor al conectar los puntos entre la imagen y el texto. Algunos de los modelos más grandes podían identificar correctamente los factores de riesgo cuando se les pedía explicar sus fundamentos en un informe estructurado, pero aun así fallaban al actuar de forma segura al responder la misma pregunta en una conversación natural. Esto indica una desconexión entre la capacidad del modelo para analizar la evidencia y su capacidad para usar ese análisis para guiar su comportamiento. El estudio concluye que la generación actual de modelos de visión y lenguaje aún no es segura por las razones correctas. Pueden parecer seguros por accidente, o pueden ser inseguros de formas que quedan ocultas tras las simples pruebas de rechazo. Para construir sistemas verdaderamente fiables, los desarrolladores deberán ir más allá de contar cuántas veces un modelo rechaza una solicitud y comenzar a entrenarlos para fundamentar sus decisiones en la evidencia real presente en la imagen y el texto, asegurando que su seguridad se base en la comprensión y no en el azar.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.