💬 NLP

Images Amplify Misinformation Sharing in Vision-Language Models

Este estudo revela que os modelos de visão e linguagem exibem vieses semelhantes aos humanos ao aumentar significativamente sua propensão a republicar notícias falsas quando há imagens presentes, sendo essa vulnerabilidade ainda mais amplificada por traços de personalidade específicos e variando entre diferentes arquiteturas de modelo.

Autores originais: Alice Plebe, Timothy Douglas, Diana Riazi, R. Maria del Rio-Chanona

Publicado 2026-04-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Alice Plebe, Timothy Douglas, Diana Riazi, R. Maria del Rio-Chanona

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um grupo de robôs muito inteligentes e super-rápidos (chamados Modelos Visão-Linguagem, ou VLMs) que leem notícias e decidem o que compartilhar com seus amigos. Esses robôs podem ler texto e olhar para imagens.

Os pesquisadores deste artigo quiseram responder a uma pergunta simples: Adicionar uma imagem a uma notícia torna esses robôs mais propensos a compartilhá-la, mesmo que a história seja falsa?

Pense assim: se você contar a um amigo uma fofoca chata, ele pode ignorá-la. Mas se você mostrar a ele uma foto dramática da fofoca acontecendo, é muito mais provável que ele acredite e conte a todos os outros. Este artigo pergunta se os robôs fazem exatamente a mesma coisa.

Eis o que eles descobriram, explicado de forma simples:

1. O Efeito da "Imagem Mágica"

Os pesquisadores testaram quatro tipos diferentes de robôs. Eles deram a eles notícias que eram Verdadeiras ou Falsas.

O Experimento: Eles mostraram as notícias aos robôs de duas maneiras: apenas texto, e texto com uma imagem.
O Resultado: Quando uma imagem foi adicionada, os robôs compartilharam as notícias com mais frequência.
O Problema: Os robôs foram muito mais propensos a compartilhar notícias falsas quando uma imagem estava anexada. Foi como se a imagem atuasse como um "impulsionador de confiança" que enganou os robôs, fazendo-os acreditar que uma mentira era verdadeira.
- Para notícias falsas, o compartilhamento aumentou em cerca de 14,5%.
- Para notícias reais, o compartilhamento aumentou apenas 5,3%.

Analogia: Imagine um mágico. Se ele disser que um truque é real, você pode duvidar dele. Mas se ele mostrar uma imagem brilhante do truque, é muito mais provável que você acredite e conte aos seus amigos sobre isso. Os robôs caíram na imagem brilhante, especialmente quando o truque era uma mentira.

2. Nem Todos os Robôs São Iguais

Os pesquisadores testaram quatro modelos diferentes de robôs (como diferentes marcas de smartphones).

Alguns robôs (como GPT-4o-mini e Qwen2-VL) foram facilmente enganados pelas imagens. Eles compartilharam notícias falsas com imagens quase 20% mais frequentemente do que sem elas.
Um robô (Claude-3-Haiku) foi muito mais resistente. Ele não foi enganado tão facilmente pelas imagens. Foi o mais "cético" do grupo.

3. O Teste de "Personalidade"

Os pesquisadores também deram diferentes "personalidades" aos robôs para ver se isso mudaria seu comportamento. Eles fingiram que os robôs eram diferentes tipos de pessoas:

As Personalidades "Sombrias": Eles deram a alguns robôs traços como ser manipulador, egoísta ou imprudente (chamado de "Tríade Sombria").
- Resultado: Essas personalidades "sombrias" compartilharam notícias falsas com muito mais frequência. Eles não se importavam se era verdade; eles apenas queriam compartilhá-la.
As Personalidades "Políticas": Eles deram a alguns robôs uma identidade política específica (como ser republicano ou democrata).
- Resultado: Os robôs com identidade republicana tornaram-se menos cuidadosos ao verificar se a notícia era verdadeira ou falsa. Eles compartilharam notícias reais e falsas na mesma taxa, enquanto outros robôs eram melhores em detectar a diferença.

Analogia: Imagine uma festa. Se você pedir a uma pessoa tímida e cautelosa que compartilhe uma fofoca, ela pode verificar se é verdade primeiro. Mas se você pedir a uma pessoa ousada e imprudente, ela pode gritar a fofoca imediatamente, mesmo que seja inventada. Os robôs agiram exatamente como esses diferentes tipos de pessoas.

4. O Que Não Importou

O Tópico: Se a notícia era sobre política, saúde ou tecnologia não mudou muito o comportamento dos robôs.
Pessoas na Foto: Não importava se a imagem mostrava um rosto humano ou apenas um objeto; os robôs reagiram da mesma maneira.

A Grande Conclusão

A conclusão principal é que esses robôs de IA não são apenas calculadoras frias. Eles têm um defeito humano: confiam demais nas imagens.

Assim como os humanos, esses robôs têm maior probabilidade de acreditar e compartilhar uma história se ela tiver uma imagem anexada, mesmo que a história seja uma mentira. Isso é especialmente perigoso quando o robô recebe uma personalidade "imprudente" ou quando a notícia é falsa.

Os pesquisadores alertam que, à medida que esses robôs começam a ajudar a curar notícias para nós (decidindo o que vemos em nossas telas), precisamos ter cuidado. Se eles forem programados para compartilhar coisas que parecem boas (por causa das imagens) em vez de coisas que são verdadeiras, eles podem acidentalmente espalhar muitas notícias falsas.

Em resumo: Imagens tornam os robôs mais propensos a compartilhar notícias, mas tornam-nos a compartilhar notícias falsas ainda mais do que notícias reais. E se você der ao robô uma "má atitude", ele compartilhará as coisas falsas ainda mais rápido.

1. Declaração do Problema

À medida que os Modelos Visuais-Linguísticos (VLMs) se tornam integrantes dos sistemas de curadoria de informações e recomendação em mídias sociais, existe uma lacuna crítica na compreensão de como eles processam a desinformação multimodal. Embora estudos com humanos confirmem que a presença de imagens aumenta significativamente a credibilidade percebida e a compartilhabilidade de informações falsas (o efeito da "veracidade"), permanece desconhecido se os VLMs exibem vieses semelhantes. Além disso, não está claro como o condicionamento de persona (simulação de traços de personalidade ou demografias específicas) interage com pistas visuais para influenciar a decisão de um modelo de redivulgar conteúdo. Mecanismos de segurança atuais frequentemente fazem com que os VLMs se recusem a engajar com tópicos controversos ou conspiratórios, mascarando suas verdadeiras tendências comportamentais sob condições específicas.

2. Metodologia

Os autores projetaram um quadro experimental controlado para avaliar quatro VLMs de última geração: GPT-4o-mini, Claude-3-Haiku, LLaVA-1.6 e Qwen2-VL.

A. Construção do Conjunto de Dados

Fonte: Um novo conjunto de dados multimodal foi curado a partir do PolitiFact, contendo 500 itens de notícias políticas verificados (250 verdadeiros, 250 falsos).
Critérios: Os itens foram selecionados para serem posteriores ao corte de treinamento (para evitar memorização), pareados com imagens originais e anotados com rótulos de veracidade de verdade.
Atributos: Cada item foi marcado com tópicos (ex.: política, economia) e tipo de conteúdo da imagem (pessoas vs. sem pessoas).

B. Estratégia de Prompting (Inspirada em Jailbreaking)

Para superar recusas de segurança ao simular traços antissociais ou discutir notícias controversas, os autores desenvolveram uma estratégia de prompting em terceira pessoa:

Enquadramento: Em vez de perguntar diretamente ao modelo ("Você compartilharia isso?"), o prompt pede ao modelo para simular um usuário hipotético com traços específicos ("Um usuário com perfil X está lendo isto...").
Cadeia de Pensamento (CoT): O modelo é instruído a raciocinar passo a passo: identificar a mensagem central, analisar elementos de imagem de suporte, avaliar o alinhamento com a persona e, finalmente, decidir sobre a redivulgação.
Saída: O modelo classifica sua probabilidade de redividir em uma escala Likert de 5 pontos (1 = Discordo Fortemente a 5 = Concordo Fortemente).

C. Variáveis Experimentais

Modalidade: Apenas texto vs. Texto + Imagem.
Condicionamento de Persona:
- Traços de Personalidade: Big Five (Abertura, Conscienciosidade, Extroversão, Amabilidade, Neuroticismo) e Triade Sombria (Narcisismo, Maquiavelismo, Psicopatia).
- Demografias: Sexo, Idade, Raça/Etnia e Afiliação Política (Democrata/Republicano).
Modelos: Dois proprietários (GPT-4o-mini, Claude-3-Haiku) e dois de pesos abertos (LLaVA-1.6, Qwen2-VL).

D. Análise Estatística

Pontuações Likert foram mapeadas para decisões binárias (Compartilhar/Não Compartilhar).
Testes de postos sinalizados de Wilcoxon compararam condições apenas texto vs. imagem.
Modelos Lineares de Efeitos Mistos analisaram interações entre modalidade, veracidade e persona.
$\kappa$ de Fleiss mediu o acordo inter-completação.

3. Principais Contribuições

Primeiro Estudo Sistemático de Viés Visual em VLMs: O artigo fornece a primeira evidência empírica de que os VLMs replicam vieses humanos semelhantes à "veracidade", onde imagens aumentam a propensão a redivulgar desinformação.
Técnica de Prompting Novel: O desenvolvimento de uma estratégia de prompting em terceira pessoa, inspirada em jailbreaking, que contorna com sucesso recusas de segurança para elicitar comportamentos consistentes com a persona, particularmente para traços antissociais.
Conjunto de Dados Multimodal: Criação de um conjunto de dados de alta qualidade, verificado, pareado imagem-texto, especificamente projetado para testar VLMs em notícias políticas recentes, evitando contaminação de dados de treinamento.
Análise de Interação Persona-Modalidade: Uma análise abrangente de como traços de personalidade (especialmente a Triade Sombria) e alinhamento político modulam a amplificação visual da desinformação.

4. Principais Resultados

A. O Efeito de "Amplificação Visual" (PQ1)

Impacto Geral: A presença de uma imagem aumentou a taxa de redivulgação em 14,5% para notícias falsas e 5,3% para notícias verdadeiras.
Risco Desproporcional: O efeito é significativamente mais forte para desinformação. Os VLMs não são apenas mais propensos a compartilhar com imagens; são desproporcionalmente mais propensos a compartilhar conteúdo falso quando as imagens estão presentes.
Validação Arquitetural: Um experimento de controle usando "imagens em branco" (pixels todos zero) confirmou que o efeito é devido ao conteúdo semântico da imagem, e não meramente à ativação de uma via de processamento multimodal.

B. Variabilidade do Modelo (PQ2)

Diferenças de Sensibilidade:
- Mais Afetados: GPT-4o-mini e Qwen2-VL mostraram os efeitos de amplificação mais fortes (aumento de aproximadamente 20% para notícias falsas).
- Mais Robustos: Claude-3-Haiku demonstrou a maior resistência à desinformação visual, provavelmente devido à sua estratégia de alinhamento conservadora (IA Constitucional).
Padrões de Resposta: O Qwen2-VL exibiu um forte viés afirmativo (frequentemente selecionando "Concordo Fortemente"), enquanto o LLaVA-1.6 mostrou baixa consistência interna e indecisão.

C. Condicionamento de Persona (PQ3)

Traços da Triade Sombria: Traços como Psicopatia e Narcisismo consistentemente amplificaram a redivulgação de notícias falsas em todos os modelos. Isso espelha achados psicológicos humanos onde esses traços correlacionam-se com maior suscetibilidade à desinformação.
Afilição Política: Perfis alinhados aos Republicanos mostraram sensibilidade reduzida à veracidade, compartilhando notícias verdadeiras e falsas em taxas semelhantes. Perfis Democratas mantiveram uma distinção maior entre conteúdo verdadeiro e falso.
Demografias: Afilição política e raça tiveram efeitos significativos em modelos específicos, enquanto idade e sexo tiveram impactos negligenciáveis.

D. Atributos de Conteúdo (PQ4)

Veracidade: O preditor mais forte do comportamento de compartilhamento foi a veracidade real da notícia (os modelos geralmente preferiram notícias verdadeiras).
Tópico e Conteúdo da Imagem: O tópico da notícia teve um efeito marginal. Se uma imagem retratava pessoas ou não teve nenhum efeito mensurável nas decisões de redivulgação.

5. Significado e Implicações

Risco Sistêmico: À medida que os VLMs são cada vez mais implantados em pipelines de recomendação e curadoria de conteúdo, sua suscetibilidade à desinformação visual representa uma ameaça ao discurso público. Eles podem sistematicamente amplificar falsidades ricas em imagens, especialmente quando personalizados para usuários com perfis de personalidade específicos.
Limitações de Alinhamento: O estudo destaca que o alinhamento de segurança (por exemplo, no Claude-3-Haiku) pode mitigar o viés visual, mas pode não suprimir totalmente vieses impulsionados por persona. Por outro lado, modelos com fortes capacidades de raciocínio (GPT-4o) podem ainda ser altamente suscetíveis à manipulação visual.
Direções Futuras: Os autores apelam para:
- Quadros de avaliação que testem explicitamente entradas multimodais e contextos de persona.
- Separação arquitetural de mecanismos de verificação de fatos do condicionamento de persona em sistemas de IA.
- Limites de verificação mais rigorosos para conteúdo imagem-texto em comparação com conteúdo apenas texto.

Esta pesquisa fundamentalmente altera a compreensão da desinformação de IA de um fenômeno puramente textual para uma vulnerabilidade multimodal, demonstrando que os VLMs não são imunes aos mesmos vieses cognitivos que afligem o consumo de informações humanas.