Resumo Técnico: Raciocínio na Escada de Instruções para Modelos de Linguagem Controláveis

Definição do Problema

Grandes Modelos de Linguagem (LLMs) operando em contextos de tomada de decisão no mundo real frequentemente encontram cenários onde devem reconciliar instruções conflitantes de múltiplas fontes (ex: designers de sistemas, usuários finais, ferramentas externas) dentro de um único prompt. Os modelos atuais frequentemente têm dificuldade em distinguir entre "instruções para seguir" e "dados do usuário para processar", levando a vulnerabilidades como injeção de prompt e jailbreaks. Este problema, denominado Problema da Hierarquia de Instrução (IH), surge porque os LLMs tendem a tratar todas as partes do input de forma igual, falhando em impor uma ordenação estruturada onde diretrizes de maior prioridade (ex: políticas de segurança ou regras do sistema) sobreponham-se a solicitações de menor prioridade (ex: comandos do usuário) durante conflitos.

Abordagens existentes para IH frequentemente tratam a priorização como um problema estático de mapeamento de entrada-resposta sem raciocínio explícito. Embora alguns métodos utilizem conjuntos de dados sintéticos ou embeddings distintos para separar papéis, eles frequentemente falam em generalizar para cenários fora da distribuição (OOD) ou conflitos composicionais complexos. Além disso, o raciocínio focado em segurança trabalha muitas vezes de forma restrita a categorias de segurança, carecendo da flexibilidade para lidar com conflitos comuns ou inofensivos que são, no entanto, críticos para a controlabilidade.

Metodologia

Os autores propõem o Raciocínio para Hierarquia de Instrução, um framework que reformula a priorização de instruções como uma tarefa de meta-raciocínio. Em vez de aprender implicitamente a priorizar, o modelo é treinado para "pensar" explicitamente sobre a relação entre as instruções do sistema e do usuário antes de gerar uma resposta.

1. O Conjunto de Dados VerIH

Para possibilitar essa capacidade, os autores construíram o VerIH, um conjunto de dados de treinamento composto por 7.192 amostras derivadas do conjunto de dados RLVR-IFEval.

• Construção: Metade das amostras são Alinhadas (prompts de sistema e usuário são consistentes) e a outra metade são Conflitantes (prompts de usuário são reescritos por um LLM para contradizer as restrições do sistema, preservando a intenção original).
• Verificabilidade: Cada amostra inclui restrições verificáveis de formato de resposta, quantidade e uso de palavras-chave, permitindo avaliação determinística via funções simples.
• Tolerância ao Ruído: A geração do conjunto de dados tolera algum ruído proveniente de reescritas imperfeitas por LLM, já que os custos de filtragem são altos, mas o conjunto de dados permanece eficaz para o treinamento.

2. Pipeline de Treinamento (RLVR)

Os autores empregam Aprendizado por Reforço com Recompensas Verificáveis (RLVR) para transferir capacidades gerais de raciocínio para a priorização de instruções.

• SysHint: Um system prompt específico é adicionado durante o treinamento, instruindo o modelo a "Pensar passo a passo sobre a relação entre o prompt do sistema e o prompt do usuário. Se houver um conflito, o prompt do sistema tem precedência".
• Estrutura de Saída: O modelo gera uma resposta $R = (\text{CoT}, \text{Resposta})$, onde a Cadeia de Pensamento (CoT) dentro de tags <thought> raciocina explicitamente sobre a hierarquia de instrução antes de entregar a resposta final.
• Mecanismo de Recompensa: Uma função de recompensa $F_{\text{reward}}$ avalia a saída contra as restrições verificáveis. A pontuação serve como o sinal de supervisão para o algoritmo RLVR (especificamente GRPO).

3. Inferência

Durante a inferência, o modelo utiliza a mesma estrutura de raciocínio. Instruções de sistema de maior prioridade (como salvaguardas de segurança ou políticas específicas) podem ser adicionadas dinamicamente ao prompt do sistema para direcionar o comportamento sem a necessidade de retreinar o modelo.

Principais Contribuições

1. Reenquadramento de IH como Raciocínio: O artigo estabelece que a resolução da hierarquia de instrução é uma tarefa de raciocínio que requer detecção de conflito e priorização explícitas, em vez de apenas correspondência de padrões (pattern matching).
2. Conjunto de Dados VerIH: A introdução de um conjunto de dados sintético com respostas verificáveis que inclui pares de sistema-usuário alinhados e conflitantes, especificamente projetado para treinar modelos em raciocínio de hierarquia.
3. Generalização para Segurança: O trabalho demonstra que o treinamento em resolução de conflitos não específicos de segurança (VerIH) generaliza para cenários críticos de segurança. Ao tratar a segurança como um caso especial de conflito de instrução, o método melhora a robustez contra jailbreaks e injeções de prompt sem exigir dados de treinamento específicos de segurança.
4. Eficiência e Escalabilidade: O método alcança melhorias significativas usando RLVR leve em um pequeno conjunto de dados (~7K amostras) através de diversas famílias de modelos (Qwen3, Phi-4) e tamanhos (4B a 35B), incluindo arquiteturas de Mistura de Especialistas (MoE).

Resultados Experimentais

Os autores avaliaram seu método em múltiplos benchmarks, incluindo seguimento de instruções (IFEval, IFBench), hierarquia de instrução (IHEval), raciocínio geral (MMLU, MATH-500) e segurança (Harmbench, WildJailbreak, TensorTrust).

• Desempenho de Hierarquia de Instrução: O treinamento no VerIH levou a melhorias consistentes em todas as famílias de modelos. Em configurações de conflito, o método alcançou aproximadamente 20% de melhoria absoluta em benchmarks de hierarquia de instrução (ex: IHEval-conflict). Por exemplo, o Qwen3-8B melhorou de 46,48% para 63,48% no IHEval-conflict.
• Raciocínio Geral: Diferente das linhas de base de Ajuste Fino Supervisionado (SFT), que frequentemente degradam as capacidades de raciocínio geral, a abordagem RLVR manteve ou até melhorou levemente o desempenho no MMLU e MATH-500.
• Segurança e Robustez: Em avaliações de segurança fora da distribuição, o método reduziu as Taxas de Sucesso de Ataque (ASR) em até 20% absoluto em benchmarks de jailbreak e injeção de prompt. Por exemplo, no WildJailbreak:harmful, o Qwen3-8B viu uma redução de 64,05% para 41,25% de ASR em comparação com bases fortes.
• Estudos de Ablação: Os resultados confirmaram que tanto o componente de raciocínio (CoT) quanto a inclusão de amostras conflitantes são necessários. Treinar apenas em prompts alinhados falhou em resolver conflitos efetivamente, e desativar o raciocínio durante o treinamento levou a uma conformidade superficial.

Significância e Alegações

O artigo afirma que o raciocínio explícito sobre hierarquias de instrução fornece um mecanismo prático para melhorar a confiabilidade e a controlabilidade da IA. Pontos principais de significância incluem:

• Controle Dinâmico: Ao contrário de abordagens anteriores que exigem retreinamento para se adaptar a novos princípios ou instruções OOD, este método permite mudanças de comportamento previsíveis e controláveis simplesmente atualizando os prompts de sistema de alta prioridade no tempo de inferência.
• Segurança Emergente: Os resultados apoiam a visão de que a segurança é uma propriedade emergente da capacidade de um modelo de resolver conflitos entre prompts adversariais e diretrizes predefinidas, em vez de um conjunto de regras estáticas e internalizadas.
• Escalabilidade: A abordagem é eficaz em vários tamanhos e arquiteturas de modelos, sugerindo que a capacidade de raciocinar sobre hierarquias de instrução é uma habilidade transferível que pode ser induzida em LLMs habilitados para raciocínio através de treinamento leve e direcionado.

Os autores concluem que este framework vai além do aprendizado implícito de princípios, oferecendo um caminho para modelos de linguagem mais robustos, controláveis e adaptáveis, capazes de lidar com ambientes de instrução complexos e de múltiplas fontes.