Consensus Sampling for Safer Generative AI

Resumo Técnico: Amostragem por Consenso para IA Generativa Mais Segura

Declaração do Problema
O artigo aborda o desafio de agregar múltiplos modelos generativos para mitigar riscos de segurança que são comprovadamente indetectáveis apenas pela inspeção da saída. Citando trabalhos de Cohen [1987], de Witt et al. [2023], Zamir [2024], Motwani et al. [2024] e Perry et al. [2025], os autores observam que riscos como esteganografia (ocultar segredos em imagens ou texto) e vulnerabilidades de código embutido não podem ser identificados ou removidos de forma confiável ao examinar a saída final, mesmo com supervisão superinteligente. Métodos tradicionais de segurança que dependem da inspeção de ativações ou saídas do modelo são insuficientes contra esses riscos de "desalinhamento".

O problema matemático central é definido como uma tarefa de agregação robusta: dadas $k$ distribuições de probabilidade (induzidas por $k$ modelos), como se pode construir uma nova distribuição que seja resiliente a uma minoria de constituintes inseguros ou adversários? O objetivo é produzir uma amostra que seja segura sem precisar saber quais modelos específicos são seguros, desde que uma fração suficiente ($s$) dos modelos seja segura e exiba sobreposição suficiente em suas probabilidades de saída.

Metodologia: Amostragem por Consenso
Os autores propõem a Amostragem por Consenso, um algoritmo de caixa preta que opera sob a suposição de acesso a oráculo: a capacidade de amostrar de cada distribuição $p_i$ e avaliar a probabilidade $p_i(y)$ para qualquer saída candidata $y$.

1. Intuição Central: O método é inspirado na robustez da mediana na estatística. Assim como a mediana é menos sensível a valores atípicos do que a média, o algoritmo busca saídas que recebam altas probabilidades de múltiplos modelos. Se um único modelo for adversário, é improvável que ele concorde com $s$ modelos seguros independentes sobre uma saída específica de alta probabilidade, a menos que essa saída seja genuinamente segura.
2. O Algoritmo (Algoritmo 1):
   • Entradas: $k$ distribuições, um número alvo de distribuições seguras $s$ e um parâmetro de tolerância ao risco $R$.
   • Processo: O algoritmo executa por $R$ rodadas. Em cada rodada, amostra uma candidata $y$ da mistura uniforme de todas as $k$ distribuições. Em seguida, calcula a probabilidade de aceitação com base na razão entre a média das $s$ menores probabilidades pontuais atribuídas a $y$ (denotadas $p^{(1)}(y) \dots p^{(s)}(y)$) e a média de todas as $k$ probabilidades.
   • Saída: Se aceita, $y$ é retornada. Se nenhuma amostra for aceita após $R$ rodadas, o algoritmo abstém-se (retorna $\perp$).
3. Distribuição Subjacente: O algoritmo efetivamente realiza amostragem por rejeição para aproximar uma distribuição $q^*$ proporcional à soma das $s$ menores probabilidades: $q^*(y) \propto \sum_{i=1}^s p^{(i)}(y)$.

Principais Contribuições e Garantias Teóricas

• R-Robustez: O artigo formaliza uma garantia chamada R-robustez. Uma distribuição é R-robusta se seu risco (probabilidade de gerar uma saída insegura em um conjunto $U$) for no máximo $R$ vezes o risco médio das $s$ distribuições de entrada mais seguras.
  • Teorema 5.2: A saída do algoritmo de Amostragem por Consenso é R-robusta em relação às distribuições de entrada. Isso vale para qualquer prompt fixo e qualquer conjunto inseguro $U$, sem exigir uma definição formal de "segurança" além da existência de um conjunto de saídas de baixo risco.
• Robustez Adversária: Se um conjunto $S$ de tamanho $s$ contiver modelos seguros com risco médio $\epsilon$, o risco de saída do algoritmo é limitado por $\epsilon R$. Isso implica que um adversário que controla $k-s$ modelos não pode forçar o sistema a emitir dados inseguros, a menos que consiga comprometer a maioria dos modelos ou forçá-los a concordar com saídas inseguras.
• Limites de Vazamento de Informação: O artigo demonstra que a R-robustez limita o vazamento de informação, especificamente no contexto de esteganografia.
  • Simulação de Vazamento: A saída do algoritmo pode ser simulada usando apenas as distribuições seguras e um único inteiro $t \in [R+1]$. Isso implica que o algoritmo vaza no máximo $\log(R+1)$ bits de informação sobre a mensagem secreta codificada por um modelo adversário.
  • Esteganografia: Se os modelos seguros tiverem uma baixa probabilidade $\epsilon$ de decodificar uma mensagem secreta, a probabilidade do amostrador por consenso de decodificá-la é limitada por $\epsilon R$.
• Optimalidade de Pareto: Os autores mostram que o compromisso entre o risco no pior caso e a taxa de abstenção é Pareto-ótimo. O algoritmo não pode melhorar a segurança (reduzir o risco) sem aumentar a taxa de abstenção, e vice-versa.
• Limites de Abstenção: A probabilidade de abstenção depende da sobreposição ($\Delta$) entre as distribuições seguras. Se uma maioria das distribuições for segura ($s > k/2$) e elas se sobreporem significativamente, a taxa de abstenção decai exponencialmente com $R$. No entanto, se os modelos seguros tiverem baixa sobreposição (um problema comum em modelos de linguagem), a taxa de abstenção pode ser alta.

Resultados Experimentais
O artigo valida o mecanismo através de dois experimentos:

1. Hipercubo Sintético: Usando distribuições sobre $\{0, 1\}^{64}$, os autores simularam um cenário com uma fonte adversária codificando um segredo. Os resultados confirmaram o compromisso teórico: à medida que o comprimento da mensagem oculta aumentava (tornando o evento inseguro mais raro sob distribuições seguras), o algoritmo suprimia a saída insegura com mais eficácia, enquanto o aumento de $R$ reduzia a taxa de abstenção.
2. Esteganografia em Imagens: Usando o modelo Janus-Pro-7B, os autores testaram o algoritmo na geração de imagens com um esquema esteganográfico (Zamir [2024]) que codificava números de cartão de crédito em imagens.
   • Uma mistura uniforme padrão de 3 fontes (2 seguras, 1 esteganográfica) produziu imagens inseguras 33% das vezes.
   • A amostragem por consenso com $R=1$ a $R=3$ reduziu a taxa de insegurança para 0% (dentro dos intervalos de confiança) enquanto mantinha taxas de abstenção não nulas. Em $R=4$, a taxa de abstenção caiu para 0% enquanto mantinha 0% de saídas inseguras no teste.

Significado e Alegações
O artigo afirma fornecer uma abordagem agnóstica ao modelo para segurança de IA generativa que não depende de interpretabilidade, arquiteturas de modelo específicas ou inspeção humana/IA de saídas.

• Mudança de Paradigma: Move a segurança de "detectar e remover saídas ruins" (o que é comprovadamente impossível para certos riscos) para "agregar distribuições para limitar a influência adversária".
• Robustez via Sobreposição: Identifica a sobreposição entre distribuições seguras como a quantidade crítica que governa o compromisso segurança-abstenção.
• Limitações: Os autores são modestos quanto ao escopo. O método não garante saídas seguras se todos os modelos de entrada forem inseguros. Requer múltiplos modelos seguros e sobreposição suficiente entre eles. Não fornece um método para treinar modelos seguros, mas sim um mecanismo para agregar os existentes. Aborda riscos indetectáveis como esteganografia, mas não cobre danos sociais mais amplos ou danos decorrentes de interações multi-etapa.

Em conclusão, o trabalho oferece uma estrutura teórica e um algoritmo eficiente para limitar o risco de saídas de IA generativa, aproveitando o consenso de múltiplos modelos, fornecendo garantias formais contra manipulação adversária que são inatingíveis apenas através de inspeção.