Resumo Técnico: Ataque de Envenenamento de Preferência Eficiente em RLHF Offline

1. Formulação do Problema

Este artigo investiga ataques de inversão de rótulo contra Aprendizado por Reforço a partir de Feedback Humano Offline (RLHF), visando especificamente o pipeline de Otimização Direta de Preferência (DPO) sob uma classe de políticas log-lineares.

No RLHF offline, uma política é treinada em um conjunto de dados pré-coletado de rótulos de preferência em pares $(s, a, a', o)$, onde $o \in \{+1, -1\}$ indica a preferência humana. O objetivo do atacante é manipular um subconjunto desses rótulos (invertendo $o_i$ para $-o_i$) para forçar a política aprendida $\pi_{\hat{\theta}}$ a alinhar-se com uma política alvo $\pi^\dagger$ (parametrizada por $\theta^\dagger$), minimizando ao mesmo tempo o número de rótulos invertidos.

O desafio central abordado é que, diferentemente de ataques de injeção de dados onde os atacantes podem anexar dados envenenados arbitrários, os ataques de inversão de rótulo estão restritos ao conjunto de dados existente. Além disso, o efeito de inverter um único rótulo sobre a política final é não trivial de prever. Os autores enquadram isso como um problema de otimização combinatória: encontrar um vetor binário $x \in \{0, 1\}^n$ (indicando quais rótulos inverter) que minimize a norma $L_0$ (número de inversões) sujeito à restrição de que a política resultante esteja próxima da política alvo.

2. Insight Teórico Chave

A contribuição fundamental do artigo é o Teorema 3.1, que estabelece uma propriedade estrutural crítica do DPO log-linear:

• Deslocamento de Gradiente Independente de Parâmetros: Inverter um único rótulo de preferência $o_i$ para $-o_i$ induz uma mudança no gradiente do DPO, $\Delta g_i$, que é um vetor constante independente dos parâmetros da política atual $\theta$.
• Especificamente, $\Delta g_i = o_i \beta \Delta \psi_i$, onde $\Delta \psi_i$ é a diferença de características entre as ações preferidas e não preferidas.

Essa propriedade permite aos autores converter o complexo problema de ataque no espaço de políticas em um problema estruturado de aproximação esparsa binária no espaço de gradientes. O objetivo do atacante torna-se selecionar um subconjunto de vetores de gradiente (colunas de uma matriz $V$) tal que sua soma aproxime o gradiente negativo da perda limpa na política alvo, $-g^\dagger$.

3. Metodologia

Para resolver o problema resultante de aproximação esparsa binária NP-difícil, os autores propõem dois algoritmos de ataque distintos:

A. Ataque em Rede com Consciência Binária (BAL-A)

Projetado para o objetivo geral de inversão mínima (encontrar a solução mais esparsa sem um orçamento estrito $K$).

• Abordagem: Os autores incorporam o problema de seleção binária em uma estrutura de rede. Eles constroem uma base onde o bloco superior mede o erro residual ($\|Vz + g^\dagger\|^2$) e o bloco inferior penaliza coeficientes não binários ($M^2 \|z\|^2$).
• Algoritmo:
  1. Construir uma base de rede com consciência binária.
  2. Aplicar redução de base Lenstra-Lenstra-Lovász (LLL) para obter uma base bem condicionada.
  3. Utilizar o algoritmo do plano mais próximo de Babai para encontrar o vetor de rede mais próximo.
  4. Mapear a solução inteira de volta para as coordenadas originais e truncar para binário.
• Garantias Teóricas: Os autores fornecem condições suficientes sobre o parâmetro de penalidade $M$ para garantir que:
  1. Os coeficientes inteiros sejam restritos a $\{0, 1\}$ (binário).
  2. A solução recupere o padrão de ataque de inversão mínima verdadeiro sob uma "condição de separação" referente aos erros residuais de soluções abaixo do orçamento.

B. Ataque de Perseguição de Correspondência Binária (BMP-A)

Projetado para o cenário de inversão $K$ com orçamento, onde o atacante está limitado a inverter no máximo $K$ rótulos.

• Abordagem: Este é um algoritmo ganancioso adaptado da Perseguição de Correspondência Binária (BMP). Ele seleciona iterativamente a amostra cujo deslocamento de gradiente induzido pela inversão tem a maior correlação normalizada com o residual atual.
• Adaptação: Diferentemente da recuperação esparsa padrão, as colunas de gradiente neste problema não são normalizadas. O BMP-A lida com isso usando correlações normalizadas ($\frac{|\langle v_i, r \rangle|}{\|v_i\|_2}$) para seleção, enquanto atualiza o residual com os vetores originais não normalizados.
• Garantias Teóricas:
  • Recuperação: Sob uma condição de coerência mútua no dicionário $V$ (ajustada para normas de coluna não uniformes), o BMP-A é garantido a recuperar o suporte do vetor de ataque verdadeiro dentro de $K^\star$ iterações.
  • Impossibilidade (Robustez): Os autores derivam condições suficientes (baseadas na norma espectral e coerência) sob as quais nenhum ataque de $K$ inversões pode ter sucesso. Se o deslocamento de gradiente alvo necessário exceder o deslocamento máximo possível alcançável por $K$ inversões (dada a geometria de $V$), o ataque é impossível.

4. Resultados Experimentais

Os autores validam sua teoria em conjuntos de dados sintéticos e do mundo real:

• Dicionários Sintéticos:
  • BAL-A: Demonstrou que a Taxa de Verdadeiros Positivos (TPR) de recuperação de suporte é alta quando a penalidade de rede $M$ está abaixo de um limite de separação previsto teoricamente. Acima desse limite, o desempenho degrada, confirmando o trade-off teórico.
  • BMP-A: Mostrou recuperação de suporte perfeita dentro dos limites teóricos baseados na coerência. Além desses limites, o algoritmo permaneceu eficaz, sugerindo que os limites teóricos são conservadores.
• Conjunto de Dados de Preferências Humanas de Stanford (SHP):
  • Aplicado a modelos DPO log-lineares treinados em dados de preferência reais.
  • BAL-A: Recuperou com sucesso padrões de ataque em subconjuntos pequenos, com desempenho alinhado à análise de separação.
  • BMP-A: Demonstrou que reduzir a coerência do dicionário de gradientes (via seleção de subconjunto) melhora significativamente as taxas de sucesso do ataque e a redução do residual.
  • Impacto a Jusante: Experimentos mostraram que, mesmo com recuperação de suporte imperfeita, as políticas resultantes treinadas em conjuntos de dados atacados estavam próximas da política alvo, validando o residual de gradiente como um substituto suficiente para o sucesso no espaço de políticas.

5. Significado e Alegações

O artigo alega ser a primeira análise teórica de ataques de inversão de rótulo em RLHF offline, especificamente para o pipeline DPO. Seu significado reside em:

1. Preenchendo a Lacuna: Enquanto ataques de injeção de dados foram analisados teoricamente, ataques de inversão de rótulo eram compreendidos principalmente através de observação empírica. Este trabalho fornece uma estrutura combinatória e geométrica rigorosa para compreendê-los.
2. Insight Geométrico: Destaca que o sucesso de tais ataques é governado pela geometria do dicionário de gradientes (especificamente coerência e normas de coluna). Isso sugere que a robustez de um sistema RLHF é intrínseca à estrutura de seus dados de preferência.
3. Certificados de Robustez: As condições de impossibilidade derivadas fornecem uma maneira de certificar que uma configuração específica de RLHF offline é robusta contra qualquer ataque de $K$ inversões, independentemente do algoritmo específico utilizado pelo atacante.
4. Algoritmos Práticos: Os métodos propostos BAL-A e BMP-A oferecem estratégias eficientes e fundamentadas teoricamente para avaliar a vulnerabilidade de sistemas RLHF a envenenamento direcionado.

Os autores mantêm um tom modesto, observando que sua análise é específica para a classe de políticas log-lineares e que os limites derivados (por exemplo, para BMP-A) são condições suficientes, mas não necessariamente necessárias. Eles enfatizam que entender essas vulnerabilidades é crucial para o projeto de algoritmos de alinhamento robustos para Modelos de Linguagem de Grande Escala (LLMs).