EviSafe: Evidence-Grounded Safety Evaluation for Vision-Language Models
O EviSafe introduz uma estrutura e um benchmark baseados em evidências (EviSafeBench) que avaliam a segurança de Modelos de Visão-Linguagem ao analisar não apenas as respostas finais, mas também a capacidade do modelo de fundamentar corretamente as decisões em evidências visuais/textuais e de se adaptar a mudanças contrafatuais, revelando que os modelos atuais frequentemente falham em ser seguros pelos motivos multimodais corretos.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo em rápida evolução da inteligência artificial, surgiu uma nova geração de programas de computador que podem ver e ler ao mesmo tempo. Esses sistemas, conhecidos como modelos de visão-linguagem, observam uma imagem e leem o texto que uma pessoa digita, combinando então esses dois fluxos de informação para responder a perguntas ou dar conselhos. Eles são cada vez mais usados para interpretar exames médicos, analisar documentos jurídicos e navegar em cenas sociais complexas. Como essas ferramentas podem influenciar decisões do mundo real, garantir que sejam seguras é uma prioridade crítica. Durante anos, pesquisadores testaram esses sistemas fazendo perguntas perigosas e verificando se o computador se recusava a responder. Se a máquina dissesse "não" ou desse um aviso, era contado como seguro. Se respondesse à pergunta diretamente, era contado como inseguro. Este método, no entanto, olha apenas para o resultado final, de forma muito semelhante a um professor que avalia a redação de um aluno verificando apenas a conclusão, sem ler o raciocínio que levou a ela. Um computador pode recusar um pedido simplesmente porque detectou uma única palavra assustadora, ou pode dar uma resposta perigosa porque perdeu um detalhe crucial na imagem. A questão permanece: quando uma máquina parece segura, ela é realmente segura pelas razões certas?
Uma equipe de pesquisadores da Universidade Jiao Tong de Xangai desenvolveu uma nova maneira de testar esses sistemas que mergulha mais fundo do que a resposta final. Eles criaram um framework chamado EviSafe, que trata a segurança não apenas como um passar ou falhar na saída final, mas como um processo de encontrar e utilizar a evidência correta. Imagine um segurança que interrompe uma pessoa no portão. Um teste simples pergunta apenas se o segurança parou a pessoa. O novo teste pergunta se o segurança a parou porque viu uma arma, porque reconheceu uma ameação específica ou simplesmente porque a pessoa usava um chapéu vermelho. Os pesquisadores construíram uma coleção massiva de 1.181 cenários cuidadosamente elaborados, cada um contendo uma imagem e uma pergunta, juntamente com um mapa detalhado do que o computador deve observar para tomar a decisão correta. Eles também criaram mais de 2.400 variações desses cenários onde alteraram apenas uma pequena peça de evidência, como remover um objeto perigoso da foto ou mudar uma palavra na pergunta, para ver se o comportamento do computador mudava de acordo.
Os pesquisadores testaram onze modelos diferentes de visão-linguagem usando este novo método. Eles fizeram a cada modelo três tipos de perguntas para cada cenário. Primeiro, pediram ao modelo para responder à pergunta naturalmente, tal como um usuário faria. Segundo, pediram ao modelo para explicar seu raciocínio, apontando as pistas textuais e visuais específicas que utilizou para tomar sua decisão. Terceiro, apresentaram ao modelo os cenários modificados para ver se ele conseguia adaptar sua resposta quando a evidência mudava. Os resultados revelaram uma lacuna significativa entre parecer seguro e ser seguro. Embora alguns modelos tenham tido um desempenho razoável na superfície, com a precisão de segurança natural variando entre cerca de 28% e 53%, sua capacidade de identificar e relatar corretamente a evidência por trás de suas decisões foi muito menor. De fato, apenas uma pequena fração dos registros de modelo-cenário, apenas 9,8%, foi rotulada como sucesso fundamentado em evidências, o que significa que o modelo acertou a resposta final e também identificou corretamente a evidência visual ou textual específica que justificava essa resposta.
O estudo descobriu que muitos modelos estão essencialmente adivinhando ou dependendo de atalhos. Um computador pode recusar um pedido porque vê uma palavra-chave associada ao perigo, mesmo que a imagem mostre um contexto inofensivo, como um médico explicando um procedimento médico. Por outro lado, um modelo pode dar uma resposta perigosa porque falha em notar um detalhe crítico na imagem que torna o pedido inseguro. Quando os pesquisadores alteraram a evidência nos cenários de teste, muitos modelos falharam em ajustar seu comportamento. Por exemplo, se um objeto perigoso fosse removido de uma imagem, um modelo verdadeiramente seguro deveria mudar sua resposta de um aviso para uma resposta segura. No entanto, os testes mostraram que apenas cerca de 30 a 58% dos modelos realizaram essa transição com sucesso. Isso sugere que esses sistemas não estão compreendendo de forma confiável a relação entre o que veem e o que dizem. Eles estão frequentemente reagindo a padrões superficiais em vez de construir uma compreensão coerente da situação.
Os pesquisadores também descobriram que o tamanho do modelo não resolve necessariamente o problema. Modelos maiores e mais poderosos não performaram consistentemente melhor ao conectar os pontos entre a imagem e o texto. Alguns dos maiores modelos conseguiram identificar corretamente os fatores de risco quando solicitados a explicá-los em um relatório estruturado, mas ainda assim falharam em agir de forma segura ao responder à mesma pergunta em uma conversa natural. Isso indica uma desconexão entre a capacidade do modelo de analisar evidências e sua capacidade de usar essa análise para guiar seu comportamento. O estudo conclui que a geração atual de modelos de visão-linguagem ainda não é segura pelas razões certas. Eles podem parecer seguros por acidente, ou podem ser inseguros de maneiras que ficam ocultas por testes simples de recusa. Para construir sistemas verdadeiramente confiáveis, os desenvolvedores precisarão ir além de contar quantas vezes um modelo recusa um pedido e começar a treiná-los para fundamentar suas decisões na evidência real presente na imagem e no texto, garantindo que sua segurança seja baseada na compreensão e não no acaso.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.