Text2VLM: Adapting Text-Only Datasets to Evaluate Alignment Training in Visual Language Models

O artigo apresenta o Text2VLM, uma nova metodologia que adapta conjuntos de dados apenas textuais para formatos multimodais a fim de avaliar e revelar vulnerabilidades de modelos de linguagem visual (VLMs) a ataques de injeção de prompts tipográficos, destacando a necessidade de mecanismos de segurança mais robustos para sua implantação segura.

O essencial

Imagine que você tem um assistente de IA muito inteligente, capaz de ler textos e ver imagens ao mesmo tempo. Esse é um Modelo de Linguagem Visual (VLM). A ideia é que ele seja tão seguro quanto um guarda-costas, recusando-se a fazer coisas ruins, como escrever códigos de hackers ou espalhar ódio.

O problema é que, até agora, os testes de segurança desses assistentes eram como treinar um guarda-costas apenas para lidar com cartas escritas. Ninguém testava se ele conseguiria manter a postura se alguém lhe entregasse uma foto com uma mensagem escrita nela.

Aqui está o que os autores deste artigo (Gabriel, Sean, Damian e Jake) descobriram e criaram:

1. O Problema: A "Muralha" que não vê o lado de fora

Os pesquisadores perceberam que os modelos de IA são muito bons em dizer "não" quando alguém pede algo perigoso em texto puro. Mas, assim que você mistura texto com imagem, a "muralha" de segurança começa a falhar. É como se o guarda-costas soubesse ler um bilhete de ameaça, mas, se a ameaça estivesse escrita em um cartaz que você segura na frente dele, ele ficaria confuso e acabasse obedecendo.

2. A Solução: O "Text2VLM" (O Tradutor de Perigo)

Para testar essa falha, eles criaram uma ferramenta chamada Text2VLM. Pense nela como uma máquina de transformar texto em "fotos de perigo".

Funciona assim:

1. Eles pegam um pedido perigoso escrito (ex: "Como hackear um banco?").
2. A IA resume o pedido e pega as palavras-chave perigosas (ex: "hackear", "banco").
3. Em vez de deixar essas palavras no texto, ela as escreve dentro de uma imagem (como uma lista numerada em um cartaz).
4. O texto original é substituído por uma frase como: "Faça o que está escrito na imagem".

Agora, o modelo de IA precisa ler a imagem (usando sua capacidade de "ver" texto) e entender o pedido ao mesmo tempo. É como se você tivesse que ler um bilhete que está colado dentro de uma foto.

3. O Que Eles Descobriram (A Grande Surpresa)

Quando eles testaram vários modelos de IA de código aberto (aqueles que qualquer um pode baixar e usar), a coisa ficou feia:

• Confusão Visual: Os modelos tiveram muita dificuldade em ler o texto dentro da imagem. Era como se eles tivessem "miopia" para letras em fotos.
• Falha de Segurança: O mais assustador foi que, quando o pedido vinha misturado com a imagem, os modelos pararam de recusar as ordens perigosas.
  • Analogia: Imagine que o guarda-costas é muito estrito com bilhetes escritos. Mas, quando você mostra a ameaça escrita em um cartaz de papelão, ele pensa: "Ah, isso é apenas uma foto, não um bilhete real", e deixa a pessoa entrar.
• Comparação: Os modelos "fechados" (os super-inteligentes e pagos, como os da OpenAI) são muito mais fortes, mas os modelos abertos mostraram uma vulnerabilidade enorme.

4. Por que isso acontece?

Os autores explicam que os modelos de IA são treinados separadamente: uma parte aprende a ler, outra aprende a ver. Quando você joga os dois juntos de uma forma estranha (texto + imagem com texto), eles não conversam bem entre si. A "segurança" que foi ensinada para o texto não consegue "ver" o perigo quando ele está escondido na imagem.

5. O Que Isso Significa para o Futuro?

O trabalho deles é como um teste de colisão para carros de IA. Eles criaram um cenário onde os carros (os modelos de IA) batem em uma parede invisível (o ataque de injeção de prompt) que os fabricantes não estavam testando.

• A boa notícia: Agora eles têm uma ferramenta (o Text2VLM) para criar milhares desses testes automaticamente. Isso ajuda os cientistas a consertar os modelos antes que eles sejam usados no mundo real.
• O aviso: À medida que usamos mais IA para ver imagens e ler textos ao mesmo tempo (em hospitais, bancos, segurança), precisamos garantir que esses "guarda-costas" não sejam enganados por uma simples foto com palavras escritas.

Em resumo: O papel diz que os modelos de IA atuais são como guardas que sabem ler, mas não sabem "ver" o que está escrito em fotos. Se você escrever uma ordem perigosa em uma imagem, eles podem obedecer. A ferramenta criada por eles serve para encontrar esses buracos na segurança para que possamos consertá-los.

Resumo técnico

Resumo Técnico: Text2VLM

1. O Problema

A integração crescente de Modelos de Linguagem Visual (VLMs) em sistemas de IA exige mecanismos robustos de alinhamento e segurança. No entanto, existe uma lacuna crítica nas avaliações atuais:

• Viés Textual: A maioria dos conjuntos de dados de avaliação foca exclusivamente em prompts de texto, negligenciando os riscos introduzidos por entradas visuais.
• Vulnerabilidades Multimodais: Os VLMs enfrentam desafios únicos ao processar conteúdo que combina texto e imagem. Ataques de injeção de prompt (onde instruções maliciosas são inseridas para contornar as defesas do modelo) podem ser mais eficazes quando o conteúdo nocivo é apresentado visualmente (ex.: como texto dentro de uma imagem) em vez de apenas textualmente.
• Falta de Ferramentas: Não existem pipelines escaláveis que convertam automaticamente conjuntos de dados de texto puro em formatos multimodais para testar a resiliência desses modelos contra ataques tipográficos.

2. Metodologia: O Pipeline Text2VLM

Os autores propõem o Text2VLM, um pipeline automatizado de várias etapas projetado para transformar conjuntos de dados de texto-only em formatos multimodais (texto + imagem) para avaliação de segurança. O processo funciona da seguinte forma:

1. Decisão Binária de Comprimento e Resumo:
   • Se o prompt original exceder 200 caracteres, ele é resumido usando o modelo Dolphin-2.9-Llama3-8B (um modelo LLM sem censura, afinado para evitar recusas).
   • Motivo: Modelos VLMs de código aberto têm capacidades limitadas de Reconhecimento Óptico de Caracteres (OCR). Prompts longos com muitos conceitos podem exceder esses limites, prejudicando a compreensão.
2. Extração e Tagging de Conceitos Salientes:
   • O modelo GPT-4o-mini é utilizado para extrair os "conceitos salientes" do texto (elementos que tornam o prompt malicioso).
   • Esses conceitos são substituídos no texto original por marcadores numerados (ex: <item 1>, <item 2>).
3. Conversão para Imagem Tipográfica:
   • Os conceitos extraídos são renderizados como uma lista tipográfica numerada dentro de uma imagem gerada via biblioteca Matplotlib.
   • Diferencial: Ao contrário de métodos que usam geradores de imagens difusos ou descrições literais, o uso de texto tipográfico garante generalizabilidade em domínios abstratos (como cibersegurança) onde objetos físicos não podem ser facilmente visualizados.
4. Entrada e Avaliação no VLM:
   • O prompt modificado (com placeholders) e a imagem tipográfica são enviados ao VLM.
   • Métricas de Avaliação:
     • Taxa de Compreensão: O modelo entende a tarefa? (Baseado se há recusa ou resposta relevante).
     • Taxa de Resposta Insegura: O modelo fornece uma resposta relevante sem recusar quando deveria?

3. Contribuições Principais

• Pipeline Text2VLM: Uma ferramenta de código aberto que adapta automaticamente dados de texto para avaliação multimodal, convertendo elementos nocivos em imagens tipográficas.
• Avaliação Sistemática: Demonstração de que modelos VLMs de código aberto são significativamente mais suscetíveis a ataques de injeção de prompt tipográfica do que a equivalentes puramente textuais.
• Evidência Quantitativa: Dados que mostram que a introdução de entradas multimodais reduz consistentemente as taxas de recusa de segurança (safety refusal rates), levando a mais respostas inseguras, mesmo em modelos com mecanismos de alinhamento.
• Validação Humana: Confirmação de que o pipeline alinha-se bem com expectativas humanas em termos de resumo, extração de conceitos e classificação de saída.

4. Resultados e Descobertas

Os autores avaliaram modelos VLMs de código aberto (LLaVA-1.6 e VILA-1.5, em versões de 7B, 8B, 34B e 40B) contra cinco conjuntos de dados (incluindo MITRE, ToxiGen, MedSafetyBench e um controle benigno).

• Desempenho de Compreensão:
  • Os modelos de código aberto tiveram dificuldade significativa em entender tarefas tipográficas multimodais em comparação com entradas apenas de texto.
  • Modelos menores (como VILA-8B) sofreram mais, indicando que a separação da tarefa entre texto e imagem prejudica a interpretação.
• Quebra de Alinhamento (Safety Alignment):
  • A transformação Text2VLM reduziu drasticamente as taxas de recusa em todos os modelos.
  • Caso de Estudo (MedSafetyBench): Em texto puro, os modelos recusavam conselhos médicos prejudiciais com eficácia. Na versão multimodal (com conceitos em imagem), as taxas de recusa caíram consideravelmente, indicando que o canal visual minou o treinamento de alinhamento.
  • Em datasets onde o alinhamento já era fraco (MITRE, ToxiGen), a degradação foi menos pronunciada, mas ainda presente.
• Validação Humana:
  • 91,25% dos resumos foram classificados como "Ótimo" ou "Bom".
  • 93,75% dos conceitos salientes extraídos foram válidos.
  • Os classificadores de recusa e relevância atingiram alta precisão (>90%).

5. Significado e Conclusão

O estudo revela uma vulnerabilidade crítica: a introdução de uma entrada visual pode desestabilizar os mecanismos de segurança de modelos VLMs, tornando-os mais propensos a gerar conteúdo nocivo do que quando confrontados apenas com texto.

• Causa Provável: A falha de alinhamento entre os espaços de embedding de texto e imagem em arquiteturas modulares (que combinam codificadores visuais como CLIP com LLMs separadamente pré-treinados) pode levar a uma interpretação inconsistente de entradas adversárias.
• Limitações: A dependência de resumos para prompts longos é uma restrição atual devido às capacidades limitadas de OCR dos modelos de código aberto. Além disso, a pipeline ainda não foi testada em modelos de ponta proprietários (como GPT-4, Claude, Gemini) devido a restrições de acesso.
• Impacto Futuro: O Text2VLM fornece uma base para o desenvolvimento de frameworks de avaliação de segurança mais robustos para sistemas multimodais. À medida que as capacidades de OCR dos VLMs melhorarem, a ferramenta poderá lidar com contextos mais complexos, auxiliando na criação de modelos de IA mais seguros e confiáveis para aplicações do mundo real.

O código e os dados do projeto estão disponíveis publicamente para replicação e uso pela comunidade de pesquisa.