Control Illusion: The Failure of Instruction Hierarchies in Large Language Models

Título: Ilusão de Controle: A Falha das Hierarquias de Instrução em Grandes Modelos de Linguagem

1. O Problema

Com a crescente adoção de Grandes Modelos de Linguagem (LLMs) em aplicações do mundo real, desenvolveu-se um padrão de gerenciamento de instruções baseado em papéis, onde mensagens de sistema (desenvolvedores) devem ter precedência sobre mensagens de usuário. A premissa subjacente é que essa separação cria uma hierarquia de autoridade robusta, garantindo que diretrizes de segurança e configuração do sistema não sejam sobrescritas por solicitações do usuário.

No entanto, os autores identificam uma lacuna crítica: falta uma compreensão sistemática de quão eficazmente esses mecanismos de controle hierárquico funcionam na prática. O artigo questiona se a separação explícita entre "sistema" e "usuário" realmente impõe uma hierarquia de instruções confiável quando ocorrem conflitos.

2. Metodologia

Os pesquisadores propuseram um framework de avaliação sistemático baseado em priorização de restrições para testar a obediência dos modelos a instruções conflitantes.

• Construção do Dataset:

  • Tarefas Base: 100 tarefas diversas (ex: escrever e-mails, histórias, análises).
  • Restrições Conflitantes: Foram criados pares de restrições mutuamente exclusivas e verificáveis programaticamente (ex: "Saída em Inglês" vs. "Saída em Francês"; "Mais de 300 palavras" vs. "Menos de 50 palavras").
  • Configurações de Prompt: O dataset foi testado em 6 LLMs de última geração (Qwen-7B, Llama-8B/70B, Claude 3.5 Sonnet, GPT-4o-mini, GPT-4o) sob diferentes configurações de separação:
    1. Pure Separation: Restrição primária no sistema, secundária no usuário.
    2. Task Repeated: Descrição da tarefa repetida em ambos os papéis.
    3. Emphasized Separation: Declaração explícita de prioridade no sistema ("Você deve sempre seguir esta restrição").
  • Contexto Rico: Versões expandidas dos prompts foram usadas para garantir que os resultados não fossem artefatos de simplicidade excessiva.

• Métricas de Avaliação:

  • Taxa de Obediência Primária (R1): Proporção de respostas que seguem apenas a restrição prioritária.
  • Taxa de Reconhecimento Explícito de Conflito (ECAR): Frequência com que o modelo admite verbalmente a existência de instruções contraditórias.
  • Razão de Adesão à Prioridade (PAR): Mede a eficácia da priorização apenas quando o modelo segue uma das restrições (exclui casos de não conformidade).
  • Viés de Restrição (CB): Mede a preferência inerente do modelo por um tipo de restrição, independentemente da prioridade designada (ex: preferência natural por texto em minúsculas).

3. Contribuições Principais

1. Framework de Avaliação Sistemático: Introdução de um método padronizado para testar hierarquias de instrução usando restrições verificáveis, isolando o comportamento de priorização da complexidade da tarefa.
2. Novas Métricas Comportamentais: Desenvolvimento de métricas (ECAR, PAR, CB) para dissecar como e por que os modelos falham, distinguindo entre falha de reconhecimento de conflito e falha de obediência.
3. Descoberta de Priors Latentes: Evidência de que estruturas sociais aprendidas durante o pré-treinamento (autoridade, consenso, expertise) exercem uma influência mais forte no comportamento do modelo do que as hierarquias artificiais de sistema/usuário definidas no pós-treinamento.

4. Resultados Chave

• Falha Generalizada na Hierarquia: A separação sistema/usuário falha consistentemente em impor uma hierarquia confiável. Mesmo em modelos de ponta, a taxa de obediência primária (R1) cai drasticamente (muitas vezes abaixo de 50%) quando há conflitos, comparado ao desempenho em instruções isoladas.
  • Exemplo: O GPT-4o teve uma R1 média de apenas 40,8% em instruções ricas, apesar de seu alto desempenho em tarefas sem conflitos.
• Ineficácia do Reconhecimento de Conflito: Os modelos raramente reconhecem explicitamente os conflitos (ECAR baixo, variando de 0,1% a 20,3%). Mesmo quando reconhecem o conflito, frequentemente falham em seguir a instrução prioritária.
• Viés Inerente Forte: Os modelos exibem fortes vieses internos que ignoram a designação de prioridade.
  • Padrões Comuns: Todos os modelos tendem a preferir texto em minúsculas, gerar mais frases e evitar palavras-chave específicas, independentemente de qual restrição foi designada como "primária".
• Tamanho do Modelo Não Garante Melhoria: Modelos maiores (ex: Llama-70B) não demonstraram desempenho significativamente melhor na adesão à hierarquia em comparação com versões menores (Llama-8B).
• Hierarquias Sociais Superam Hierarquias de Sistema:
  • Quando as instruções conflitantes foram enquadradas usando hierarquias sociais (ex: "CEO" vs. "Estagiário", "Nature" vs. "Blog", "Consenso de 90%" vs. "Minoria"), a adesão à prioridade aumentou drasticamente.
  • Dado Crucial: Para o Qwen-7B, a adesão à prioridade saltou de 14,4% (separação sistema/usuário) para 65,8% (enquadramento de consenso social). O GPT-4o-mini saltou de 47,5% para 77,8%.
  • Isso sugere que os modelos internalizaram padrões sociais durante o pré-treinamento que funcionam como "priors comportamentais" mais fortes do que as instruções de alinhamento de segurança pós-treinamento.

5. Significado e Implicações

• Ilusão de Controle: A separação sistema/usuário, amplamente adotada como mecanismo de segurança e controle, é uma "ilusão" quando confrontada com instruções conflitantes diretas.
• Risco de Segurança: Se os modelos respondem mais a "autoridades sociais" implícitas do que a diretrizes explícitas de desenvolvedores, isso cria vulnerabilidades. Técnicas de jailbreak que exploram enquadramentos sociais (ex: fingir ser um especialista ou citar um consenso) podem ser mais eficazes do que se imaginava.
• Necessidade de Inovação Arquitetural: O atual paradigma de ajuste de instruções (instruction tuning) e alinhamento de segurança não é suficiente para criar hierarquias robustas. São necessárias inovações na arquitetura e no treinamento para garantir que os modelos generalizem a autoridade do sistema de forma consistente.
• Direção Futura: A pesquisa levanta a questão de como auditar, expor ou atenuar esses "priors hierárquicos latentes" aprendidos durante o pré-treinamento, pois eles podem competir com ou anular instruções de segurança projetadas.

Em resumo, o artigo demonstra que os LLMs atuais carecem de um mecanismo robusto para priorizar instruções baseadas em papéis artificiais (sistema vs. usuário), sendo, paradoxalmente, mais suscetíveis a hierarquias sociais implícitas aprendidas dos dados de treinamento.