🤖 AI

Securing Multimodal AI through Internal Information Decomposition

O artigo propõe o FlowGuard, um framework leve de tempo de inferência que protege a IA multimodal através da detecção de ataques adversários por meio do monitoramento da consistência intermodal interna usando FlowVectors inspirados em Decomposição de Informação Parcial, alcançando reduções significativas nas taxas de sucesso de ataques com latência e perda de utilidade mínimas.

Autores originais: Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

Publicado 2026-07-27

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está construindo um robô que pode ver o mundo através de uma câmera e falar com você através de um microfone. Este robô é um "Grande Modelo de Linguagem Multimodal", uma IA super inteligente que combina imagens e palavras para entender o que está acontecendo. Mas aqui está a parte complicada: só porque o robô vê uma imagem inofensiva e ouve uma frase inofensiva não significa que a combinação das duas seja segura. É como se você entregasse a um chef a foto de um bolo e uma receita de bolo, mas sussurrasse um código secreto em seu ouvido dizendo para adicionar veneno. A foto parece boa, a receita parece boa, mas o prato final é perigoso. Este é o novo tipo de perigo que os pesquisadores estão temendo: hackers que dividem suas más intenções entre uma imagem e um texto para que nenhum dos dois pareça suspeito isoladamente, mas que, juntos, enganam a IA para que ela faça algo prejudicial.

Para pegar esses truques sorrateiros, os cientistas geralmente tentam verificar a imagem ou o texto separadamente, como um segurança verificando uma bolsa e o documento de identidade de uma pessoa, um por um. Mas este artigo sugere uma maneira mais inteligente: em vez de apenas olhar para os inputs, devemos observar como o cérebro do robô pensa sobre eles. A ideia central é que, quando um robô está trabalhando normalmente, a imagem e o texto devem concordar um com o outro e ajudar o robô a tomar uma decisão clara e confiante. Se um hacker estiver tentando enganar o robô, essa concordância interna se quebra. O cérebro do robô fica confuso, ou a imagem e o texto começam a puxar em direções opostas, mesmo que a resposta final pareça suave. O artigo propõe um novo sistema de segurança chamado FlowGuard, que atua como um "detetive de pensamentos", observando o processo de raciocínio interno do robô para detectar quando a imagem e o texto estão lutando entre si ou agindo de forma estranha, em vez de apenas verificar as palavras ou pixels superficiais.

A História do FlowGuard: Capturando a "Fratura do Pensamento"

Os pesquisadores por trás deste artigo, liderados por Jehyeok Yeon e colegas, notaram algo fascinante sobre como esses modelos de IA funcionam. Quando você dá ao modelo uma imagem normal e uma pergunta normal, a parte do cérebro que olha para a imagem e a parte que lê o texto geralmente se dão muito bem. Elas compartilham informações, concordam sobre o que é importante e a resposta final parece estável e certa. É como dois amigos construindo um castelo de areia juntos; ambos sabem como o castelo deve ser, e o esforço combinado torna o castelo mais forte e detalhado.

No entanto, quando um atacante tenta fazer um "jailbreak" no modelo — forçando-o a ignorar suas regras de segurança escondendo uma instrução ruim em uma imagem ou em um texto — a harmonia se quebra. O artigo sugere que, mesmo que o atacante seja inteligente o suficiente para fazer a imagem e o texto parecerem inocentes individualmente, no momento em que o modelo tenta combiná-los, algo dá errado. A lógica interna fica "fraturada". A imagem pode estar gritando uma coisa enquanto o texto está sussurrando outra, ou a combinação cria uma confusão que o cérebro do modelo não consegue resolver suavemente.

Para capturar isso, a equipe construiu o FlowGuard. Pense no FlowGuard não como um guarda na porta, mas como um tradutor sentado dentro do próprio cérebro do robô. Ele não olha apenas para a resposta final; ele espreita o primeiríssimo segundo do processo de tomada de decisão do robô. Ele faz três perguntas rápidas:

O que o robô diria se olhasse apenas para a imagem?
O que ele diria se lesse apenas o texto?
O que ele diz quando olha para ambos juntos?

Então, ele compara essas três respostas. Em uma situação segura, a resposta de "ambos" deve ser uma mistura feliz das outras duas, como uma mistura suave de tinta vermelha e amarela criando laranja. Mas em um ataque, a resposta de "ambos" pode subitamente tornar-se uma cor estranha, ou as tintas vermelha e amarela podem se recusar a se misturar. O FlowGuard mede essa "mistura" usando uma matemática sofisticada (inspirada em um conceito chamado Decomposição de Informação Parcial) para criar um FlowVector. Este é um código minúsculo de quatro números que descreve exatamente como a imagem e o texto estão interagindo.

Redundância: A imagem e o texto concordam? (Alta redundância significa que estão na mesma página).
Unicidade: Um deles está dominando a conversa? (Se a imagem está gritando e o texto está silencioso, isso é alta unicidade visual).
Sinergia: A combinação deles torna a resposta mais clara ou a torna mais confusa? (Boa sinergia significa que o todo é maior do que a soma de suas partes; má sinergia significa que a combinação cria o caos).

A equipe treinou o FlowGuard usando apenas exemplos "bons" — milhares de imagens e perguntas normais onde o robô se comportou perfeitamente. Eles ensinaram um detector de IA (uma Floresta de Isolamento/Isolation Forest) a reconhecer o que é um fluxo "normal". Como eles o treinaram apenas com comportamentos bons, o detector sabe que qualquer coisa que pareça minimamente "fora do padrão" do comportamento normal é suspeita. É como ensinar um sistema de segurança a reconhecer o som de uma casa normal; se uma janela quebrar ou um assoalho ranger de uma forma estranha, o alarme dispara, mesmo que o intruso esteja usando um disfarce.

O Que Eles Descobriram

Os resultados foram surpreendentemente eficazes. Os pesquisadores testaram o FlowGuard contra uma enorme variedade de ataques, incluindo aqueles onde hackers esconderam palavras ruins em arte ASCII, imagens embaralhadas com mudanças invisíveis de pixels ou instruções ruins divididas entre uma imagem e uma frase.

Sem defesa, esses modelos eram incrivelmente vulneráveis. Em alguns dos ataques mais sorrateiros, os modelos falharam mais de 90% das vezes, gerando alegremente conteúdo prejudicial. Mas quando o FlowGuard foi ativado, ele reduziu drasticamente a taxa de sucesso desses ataques para menos de 15%. Em muitos casos, ele detectou quase todas as tentativas, reduzindo a taxa de falha para um dígito único (cerca de 6% a 9% para ataques cross-modais).

O que é realmente legal é que o FlowGuard não apenas parou os vilões; ele também não impediu os "bons". Os pesquisadores verificaram se o FlowGuard ficaria rabugento e se recusaria a responder perguntas normais. Eles descobriram que ele cometeu erros em apenas cerca de 2,4% dos inputs seguros, o que é muito melhor do que outros métodos de segurança que frequentemente bloqueiam perguntas inofensivas apenas para garantir a segurança. Além disso, ele era super rápido. Enquanto outros controles de segurança levavam vários segundos para executar reconstruções complexas de imagem, o FlowGuard fez seu trabalho em cerca de 1,3 segundos, tornando-o prático para uso em tempo real.

O artigo também mostrou que esse truque funciona em diferentes tipos de robôs, desde menores com 4 bilhões de "células cerebrais" até massivos com 70 bilhões. Funcionou inclusive em um modelo acessado via API (onde você não pode ver todo o cérebro, apenas os palpites superiores), provando que o sinal de "pensamento fraturado" é uma parte fundamental de como esses modelos funcionam, não apenas um erro de um design específico.

A Conclusão

Este artigo sugere que a melhor maneira de proteger a IA multimodal não é construir muros mais altos ao redor dos inputs, mas sim ouvir como a IA pensa. Ao observar o momento em que a imagem e o texto param de jogar bem juntos, o FlowGuard pode detectar o truque de um hacker antes mesmo de o robô terminar sua frase. É uma maneira leve, rápida e surpreendentemente robusta de manter essas ferramentas poderosas seguras, sugerindo que a chave para a segurança pode estar justamente em prestar atenção à harmonia interna da mente da máquina.

Resumo Técnico: Protegendo IA Multimodal através da Decomposição de Informação Interna

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) introduzem superfícies de ataque inéditas, ausentes em sistemas unimodais. Adversários podem distribuir uma intenção maliciosa entre modalidades (texto e imagem) de tal forma que os inputs individuais pareçam benignos e internamente coerentes, mas sua combinação induza um comportamento inseguro. Este modo de falha "composicional" torna as defesas de segurança tradicionais ineficazes. As abordagens existentes focam em sanitizar inputs brutos, verificar outputs gerados ou monitorar métricas de confiança escalares (ex: verossimilhança, entropia, perplexidade). No entanto, esses métodos frequentemente falham quando o raciocínio apenas de texto e apenas de visão são consistentes individualmente, mas sua fusão produz um comportamento confiantemente desalinhado com a composição. O desafio central é detectar essas falhas sem modificar o modelo subjacente ou depender de supervisão adversarial, particularmente quando os ataques são não vistos ou zero-shot.

Metodologia: FlowGuard

Os autores propõem o FlowGuard, um framework leve de tempo de inferência que detecta inputs prejudiciais monitorando a consistência interna do raciocínio multimodal. Em vez de inspecionar inputs ou outputs de nível superficial, o FlowGuard analisa a interação entre as distribuições preditivas unimodais e multimodais.

Mecanismo Central

O FlowGuard opera sondando o MLLM alvo sob três configurações distintas de condicionamento:

Apenas Texto: $P^{(1)}_t = P_M(\cdot \mid \emptyset, Q)$
Apenas Visão: $P^{(1)}_v = P_M(\cdot \mid I, Q_\emptyset)$ (usando um prompt neutro fixo)
Multimodal Conjunto: $P^{(1)}_{mm} = P_M(\cdot \mid I, Q)$

O sistema foca na distribuição preditiva do primeiro token ( $P^{(1)}$ ), que captura o estado de decisão inicial do modelo antes da amplificação autorregressiva.

FlowVectors e Decomposição de Informação Parcial (PID)

Inspirado pela Decomposição de Informação Parcial (PID), o FlowGuard deriva um FlowVector de 4 dimensões $\phi(x) = (U_v, U_t, R, S)$ que quantifica como a informação de texto e visão se sobrepõe, diverge e estabiliza sob a fusão:

Unicidade ( $U_v, U_t$ ): Medida via divergência Kullback–Leibler (KL) direcional.
- $U_v = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_t)$ : Captura o quanto o posterior fundido diverge do prior apenas de texto (dominância visual).
- $U_t = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_v)$ : Captura a divergência do prior apenas de visão (dominância de texto).
- Significância: A manipulação adversarial frequentemente quebra o equilíbrio da influência das modalidades, levando a sinais de divergência assimétricos.
Redundância ( $R$ ): Medida como $1 - JSD(P^{(1)}_t \parallel P^{(1)}_v)$ $1 - J S D (P_{t}^{(1)} ∥ P_{v}^{(1)})$ , onde JSD é a divergência de Jensen–Shannon.
- Significância: Captura o alinhamento semântico entre os priors unimodais. Prompts adversariais introduzem intenções conflitantes, reduzindo a redundância.
Sinergia ( $S$ ): Medida como redução de entropia: $S = \frac{H(P^{(1)}_t) + H(P^{(1)}_v)}{2} - H(P^{(1)}_{mm})$ $S = \frac{H ( P _{t}^{(1)} ) + H ( P _{v}^{(1)} )}{2} - H (P_{mm}^{(1)})$ .
- Significância: Indica se a fusão reduz a incerteza (integração construtiva, $S > 0$ ) ou amplifica a incerteza (interação instável, $S < 0$ ).

Objetivo de Defesa

O FlowGuard enquadra a detecção de segurança como um problema de classificação de classe única (one-class classification). Um Isolation Forest é treinado exclusivamente com FlowVectors derivados de dados benignos (ex: conjunto de validação VQAv2). O modelo aprende a região compacta de fluxo de informação multimodal "alinhado". Inputs adversariais, que exibem interações cross-modais anormais (ex: fluxo fraturado, sinergia negativa ou dominância extrema de modalidade), aparecem como outliers neste espaço.

Requisitos de Acesso: O FlowGuard requer apenas acesso à distribuição de probabilidade do próximo token (ou uma cauda de logprob top- $k$ suficientemente grande para modelos de API). Ele não requer pesos do modelo, gradientes ou ativações ocultas.

Contribuições Principais

Segurança de Processo em Nível Multimodal: O artigo redefine a segurança de MLLM focando na consistência entre as distribuições preditivas de apenas texto, apenas visão e conjuntas, visando diretamente falhas de fusão multimodal em vez de conteúdo de nível superficial.
FlowVectors: A introdução de características compactas e de teoria da informação (Redundância, Unicidade, Sinergia) que capturam o fluxo de informação multimodal durante a inferência.
Detecção de Ataque Zero-Shot: Demonstração de que modelar o comportamento multimodal benigno via classificação de classe única permite a detecção robusta de diversos jailbreaks não vistos, sem treinamento adversarial ou verificação generativa.

Resultados Experimentais

Os autores avaliaram o FlowGuard em múltiplas arquiteturas de MLLM (LLaVA-1.5-7B, Qwen2.5-VL-7B, Gemma-3-4B, LLaMA-3.1-70B) e benchmarks (MM-SafetyBench, VLSafe, VLSU) cobrindo ataques de apenas texto, apenas visão e cross-modais.

Redução da Taxa de Sucesso de Ataque (ASR): O FlowGuard consistentemente reduziu o ASR de $>90\%$ (sem proteção) para $<15\%$ em ataques não vistos. Por exemplo, no LLaVA-1.5-7B, reduziu o ASR para o Universal Master Key (UMK) de 96,0% para 8,7% e para o Color-Based Substitution Cipher (CBSC) de 94,8% para 9,1%.
Preservação de Utilidade: O framework manteve a utilidade benigna dentro de 2,4% do desempenho base. Alcançou uma Taxa de Falso Positivo (FPR) de 2,4% em queries benignas mas semanticamente complexas (MOSSBench), superando significativamente detectores baseados em perplexidade (11,2% FPR) e confiança (14,5% FPR).
Eficiência: O FlowGuard opera com uma latência de aproximadamente 1,3 segundos por amostra (incluindo três passagens de forward), oferecendo até 6 $\times$ mais velocidade que métodos de verificação baseados em difusão como MirrorCheck e CIDER.
Robustez: O método demonstrou robustez através de diferentes escalas de modelos (4B a 70B parâmetros) e acesso a distribuições parciais (GPT-4.1-mini com top- $k$ logprobs), onde manteve um ASR médio de 10,4%.
Estudos de Ablação:
- Sinergia ( $S$ ): Remover a característica de sinergia resultou na maior queda de desempenho, indicando que desvios na redução de incerteza multimodal são um sinal primário para detecção.
- Passos de Decodificação: Monitorar apenas o primeiro passo de decodificação ( $k=1$ ) foi suficiente para saturação; aumentar $k$ trouxe ganhos negligenciáveis em relação aos custos lineares de latência.
- Escolha do Classificador: O Isolation Forest de classe única superou MLPs supervisionados em ataques não vistos, evitando o sobreajuste a padrões de perturbação específicos.

Significância e Alegações

O artigo alega que monitorar a consistência cross-modal oferece uma defesa eficiente e eficaz para o raciocínio multimodal, abordando uma limitação fundamental dos critérios de segurança anteriores que enfatizam fluência e confiança em detrimento da estrutura da integração multimodal.

Generalização: Ao depender da consistência estrutural do fluxo de informação em vez de padrões de ataque específicos, o FlowGuard fornece uma defesa agnóstica ao ataque que se generaliza entre arquiteturas e estratégias de jailbreak não vistas.
Complementaridade: Os autores posicionam o FlowGuard como uma camada complementar aos métodos existentes de purificação de input e verificação de output, fornecendo um sinal interno do modelo que detecta falhas na integração multimodal que verificações de nível superficial perdem.
Escalabilidade: O framework é leve, não requer retreinamento de modelo ou acesso a gradientes, tornando-o adequado para implantação em sistemas reais onde os pesos do modelo podem ser proprietários ou inacessíveis.

Os autores observam que, embora o FlowGuard seja altamente eficaz contra ataques cross-modais e visuais, ele apresenta um ASR residual ligeiramente maior em ataques apenas de texto (aprox. 13–14%), sugerindo que a composição com defesas específicas de texto pode ser necessária para uma proteção abrangente. Eles também reconhecem que a publicação de mecanismos de detecção pode informar atacantes adaptativos, e que abordagens baseadas em anomalias correm o risco de sinalizar inputs legítimos mas raros, necessitando de uma curadoria cuidadosa de datasets de referência e auditoria de falsos positivos em aplicações sensíveis.