SoK: The Security-Safety Continuum of Multimodal Foundation Models through Information Flow and Global Game-Theoretic Analysis of Asymmetric Threats

Resumo Técnico: O Continuum de Segurança-Safety de Modelos de Fundação Multimodais

Este artigo apresenta uma sistematização do conhecimento (SoK) que unifica os conceitos de safety (segurança funcional/prevenção de falhas não intencionais) e security (segurança cibernética/proteção contra ataques maliciosos) no contexto de Modelos de Fundação Multimodais (MFMs).

1. O Problema

Com a evolução dos MFMs, que integram texto, imagem, áudio e ação, as fronteiras entre falhas de modelo e falhas de sistema tornaram-se tênues. Ataques podem se propagar entre modalidades (ex: um texto malicioso escondido em uma imagem) e entre componentes (ex: um agente que executa ações prejudiciais baseadas em memória corrompida). As abordagens atuais tratam ameaças de forma isolada (ex: apenas prompt injection ou apenas adversarial examples), falhando em explicar falhas em cascata e a interdependência entre o comportamento do modelo e a infraestrutura do sistema.

2. Metodologia

Os autores propõem uma abordagem inovadora baseada na Teoria da Informação e na Teoria dos Jogos:

• Abstração de Fluxo de Informação: Adaptam o Teorema de Shannon-Hartley para analisar a capacidade do canal de comunicação do modelo. Eles definem a capacidade de transmissão de informação através de quatro variáveis:
  • Capacidade do Canal ($C$): A capacidade semântica efetiva do modelo.
  • Sinal ($S$): A informação semântica útil e relevante para a tarefa.
  • Ruído ($N$): Informações irrelevantes, erros de sensor ou perturbações adversárias.
  • Largura de Banda ($B$): No nível do sistema, representa os caminhos de informação autorizados (restrições de ação e interação).
• Formulação Minimax Determinística: Modelam a interação entre atacantes e defensores como um jogo de soma zero, onde o atacante tenta maximizar o dano (reduzindo $S$ ou aumentando $N$) e o defensor tenta minimizá-lo (aumentando $S$ ou restringindo $B$).
• Taxonomia de Ameaças: Organizam 73 ataques em uma taxonomia baseada em fluxos de informação (predição, aprendizado, extração, ação, interação e memória).

3. Principais Contribuições

• Unificação Teórica: Estabelecem um continuum onde a safety foca na integridade do sinal e ruído no nível do modelo, enquanto a security foca no controle da largura de banda no nível do sistema.
• Assimetria Estrutural de Defesa: Provam matematicamente que as defesas centradas no modelo (que tentam limpar ruído ou aumentar o sinal) sofrem de retornos decrescentes logarítmicos contra ataques adaptativos. Em contraste, defesas de nível de sistema (que restringem a largura de banda $B$) oferecem uma redução linear e determinística do dano, sendo mais eficazes à medida que o ataque se torna mais forte.
• Índice de Cobertura de Defesa (DCI): Uma métrica proposta para avaliar quão bem uma defesa cobre o espaço de ataques.
• Princípios de Arquitetura: Introduzem o conceito de compartimentação (limitar privilégios entre agentes) e disjuntores de autodestruição (mecanismos de interrupção de emergência quando o dano atinge um limiar crítico).

4. Resultados Principais

• Eficácia das Defesas: Testes com 15 defesas mostraram que mecanismos de purificação de imagem (como compressão JPEG) e filtros de segurança de sistema (restrição de $B$) são muito mais consistentes do que tentar ajustar o modelo para ser robusto.
• Ataques de Sistema: Demonstraram que ataques de injeção indireta de prompt podem contornar defesas de modelo se a largura de banda de interação entre agentes não for controlada.
• Desempenho do DataSentinel: Em testes de injeção de prompt, a defesa baseada em teoria dos jogos (DataSentinel) superou filtros de LLM comuns, alcançando quase 100% de detecção com apenas 1% de falsos positivos.

5. Significância

Este trabalho é fundamental porque muda o paradigma de defesa de MFMs: de uma busca exaustiva por "modelos perfeitos e imunes a ruído" para uma estratégia de defesa em profundidade. A conclusão principal é que, como os modelos são inerentemente probabilísticos e sujeitos a erros, a segurança real deve ser garantida por restrições de sistema determinísticas (controle de fluxo e largura de banda) e arquiteturas que permitam o desligamento seguro em caso de comprometimento total.