Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization

Resumo Técnico: Treinando LLMs para Aplicar Hierarquias de Instrução Multinível via Otimização de Preferência Direta com Peso de Gravidade

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) de produção atualmente processam instruções de fontes com níveis de confiança vastamente distintos — variando de políticas de segurança imutáveis da plataforma e prompts de sistema do desenvolvedor até consultas de usuários finais e saídas potencialmente adversariais de ferramentas. Arquiteturalmente, essas entradas são concatenadas em uma única sequência de tokens onde cada token recebe atenção uniforme, um estado descrito como execução em "modo kernel". Essa uniformidade estrutural cria uma vulnerabilidade à injeção de prompt, onde entradas maliciosas sequestram o comportamento do modelo, e deixa os modelos sem um mecanismo principiado para resolver conflitos entre instruções legítimas, porém concorrentes, de diferentes níveis de hierarquia. Embora trabalhos anteriores tenham proposto defesas baseadas em treinamento, as abordagens existentes tipicamente formalizam hierarquias de apenas três ou quatro níveis, tratam todas as violações como igualmente graves e falham em avaliar o conjunto completo de interações pareadas de níveis exigido pelas arquiteturas de implantação modernas (por exemplo, o modelo de cinco níveis de partes interessadas da OpenAI).

Metodologia
Os autores formalizam um problema de hierarquia de instrução de $k$ níveis, instanciando-o para $k=5$ níveis:

1. L0 (Governança da Plataforma): Regras de segurança imutáveis.
2. L1 (Prompt de Sistema do Desenvolvedor): Persona e escopo.
3. L2 (Configuração por Usuário): Preferências de sessão.
4. L3 (Mensagem do Usuário): Entrada em tempo de execução.
5. L4 (Saídas de Dados/Ferramentas): Conteúdo externo.

Esta estrutura gera dez relações distintas de prioridade pareada que um modelo complacente deve aplicar. Para treinar os modelos a respeitar essas relações, o artigo introduz a Otimização de Preferência Direta com Peso de Gravidade (GW-DPO).

• Função de Perda: A GW-DPO adapta a ODPO (Offset-DPO) ao introduzir um deslocamento (offset) por amostra $\delta(i, j)$ que escala com a distância estrutural entre os níveis conflitantes. A perda é definida como:
  $$L_{GW-DPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \cdot \Delta r_\theta(x, y_w, y_l) - \delta(i, j) \right) \right]$$
  onde $\Delta r_\theta$ é a margem de recompensa implícita.
• Cronogramas (Schedules): Dois cronogramas para $\delta(i, j)$ são avaliados:
  • Linear: Depende apenas da lacuna de privilégio ($j-i$).
  • Bilateral: Considera tanto a lacuna de privilégio quanto o privilégio do nível vítima ($k-1-i$), efetivamente ponderando a severidade de uma violação pelo "peso de gravidade" do nível comprometido.
• Modificações Arquiteturais: O pipeline de treinamento integra dois componentes de pesquisas anteriores:
  • Tokens Delimitadores Especiais: Tokens de início/fim distintos para cada nível de hierarquia para marcar fronteiras.
  • Embeddings de Segmento Instrucional (ISE): Embeddings por token aprendíveis indexados pelo nível de hierarquia, adicionados aos embeddings dos tokens.
• Pipeline de Treinamento: O processo envolve uma abordagem de duas fases:
  1. SFT (Ajuste Fino Supervisionado): Ensina o modelo a reconhecer delimitadores e integrar informações de ISE usando um conjunto de dados de prompts alinhados, parciais e trivialmente desalinhados.
  2. GW-DPO: Utiliza uma estratégia de aprendizagem por currículo (do fácil para o difícil baseado na lacuna de hierarquia) para otimizar o objetivo de preferência em um conjunto de dados contendo conflitos explícitos entre níveis.

Principais Contribuições

1. Formalização de Hierarquia de $k=5$: O artigo define uma hierarquia de cinco níveis fundamentada em arquiteturas de produção, gerando um conjunto de avaliação personalizado que testa todas as dez relações de prioridade pareadas.
2. GW-DPO (Peso de Gravidade): A introdução da GW-DPO, especificamente o cronograma bilateral, que escala a margem de treinamento com base tanto na distância entre os níveis conflitantes quanto no privilégio do nível vítima. Esta abordagem melhora o desempenho de Pareto em relação ao DPO padrão e à variante linear.
3. Isolamento de Componentes via Ablações: O estudo isola as contribuições do ISE e da profundidade da hierarquia:
   • ISE é identificado primariamente como um calibrador de limiar de recusa. Remover o ISE deixa a precisão de resolução de conflitos amplamente intacta, mas causa um pico de ordens de magnitude na recusa excessiva (recusar prompts benignos), sugerindo que o ISE ajuda o modelo a distinguir entre spans adversariais estruturados e spans estruturados benignos sem alterar o raciocínio de conflito subjacente.
   • Treinamento de Cinco níveis vs. Três níveis: A comparação revela um tradeoff entre generalidade e especialização. O treinamento de três níveis (colapsando L0-L2 em um nível "Sistema") alcança pontuações mais altas em pares de conflitos específicos via reconhecimento de forma superficial, mas regride na generalização para prompts de texto plano e falha em resolver conflitos intra-sistema (ex: L1 vs. L2) que carecem de pistas superficiais.

Resultados
Avaliado no Llama-3.1-8B-Instruct, a configuração GW-DPO (bilateral) alcançou o seguinte:

• Resolução de Conflitos: Obteve a maior Aderência de Prioridade Pareada Macro ($P_{macro} = 0,838$) e Pontuação de Hierarquia Ponderada ($WHS = 0,885$), superando o DPO padrão e a variante linear.
• Recusa Excessiva (Over-Refusal): Manteve uma Taxa de Recusa Excessiva (ORR) de 0,057, aproximadamente metade da taxa do DPO padrão (0,120) e significativamente menor que a configuração Sem-ISE (0,576).
• Generalização: Em divisões de referência de texto plano (removendo delimitadores), a GW-DPO (bilateral) manteve um forte desempenho ($PPA_{ref} = 0,793$), embora ligeiramente inferior à variante linear, indicando a internalização robusta da semântica da hierarquia.
• Benchmarks Externos:
  • XSTest: Mostrou melhor calibração em prompts seguros comparado ao DPO padrão, embora com um tradeoff no tratamento de prompts "seguros, mas incomuns".
  • SEP (Separação Instrução-Dados): Alcançou uma taxa de execução de probe de 0,118, uma melhoria de ~5x sobre o modelo base, demonstrando a separação eficaz de instruções de dados.
  • TensorTrust: Alcançou uma taxa de robustez de 0,818, superando significativamente o modelo base (0,212), embora ligeiramente inferior ao DPO padrão (0,906), refletindo o tradeoff de calibração.
  • MT-Bench: Preservou a utilidade geral de assistente de chat, com a GW-DPO (bilateral) pontuando 7,425, comparável ou superior ao âncora padrão.

Significância e Alegações
O artigo alega que as margens estruturais, especificamente o cronograma bilateral na GW-DPO, servem como uma alavanca útil e complementar para a conformidade da hierarquia. Os autores afirmam que sua receita está pronta para escalar para $k$ mais altos conforme as arquiteturas de implantação se tornam mais em camadas.

Crucialmente, o artigo enquadra a escolha entre o treinamento de três níveis e o de cinco níveis não como uma simples questão de ordenação, mas como um tradeoff entre generalidade e especialização. O treinamento de cinco níveis preserva a capacidade de resolução em reescritas de texto puro e mantém a recusa excessiva calibrada, enquanto o treinamento de três níveis entrega uma maestria mais estreita de subconjuntos específicos via correlações de forma superficial. Os autores enfatizam que o cronograma bilateral é a única configuração que simultaneamente melhora a resolução de conflitos e reduz a recusa excessiva em comparação com o cronograma linear, alinhando-se com as restrições de "não escrita" (no write up) dos modelos de segurança clássicos (Biba, 1977).

O trabalho conclui que, embora a receita defenda efetivamente contra injeção de prompt e aplique a hierarquia, ela não é uma defesa adversária completa contra atacantes motivados e requer uma consideração cuidadosa de política em relação à supressão de preocupações do usuário em favor de prioridades organizacionais.