Resumo Técnico: IH-BENCHMARK

Definição do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) evoluem para agentes que orquestram ferramentas e gerenciam conversas de múltiplos turnos, a confiabilidade da robustez da hierarquia de instruções tornou-se central tanto para a segurança quanto para a utilidade. O problema central abordado é a capacidade do modelo de priorizar corretamente as instruções com base em sua origem: mensagens de sistema devem ter precedência sobre entradas de usuários, que, por sua vez, devem ter precedência sobre o histórico de chat e saídas de ferramentas.

Quando os modelos falham em respeitar essa ordenação, entradas de usuários adversariais podem anular restrições do sistema, e saídas maliciosas de ferramentas podem sequestrar o comportamento do modelo no meio de uma tarefa. Embora trabalhos anteriores tenham formalizado essa hierarquia, as avaliações existentes sofrem de duas limitações primárias:

1. Foco em Arestas Únicas: Muitos benchmarks focam apenas em conflitos sistema-usuário ($S \succ U$), negligenciando conflitos decorrentes de saídas de ferramentas.
2. Datasets Adaptados: Outros adaptam conjuntos de dados públicos em vez de construir cenários de conflito de hierarquia feitos sob medida, resultando em cobertura limitada de configurações de agentes e restrições específicas, como listas de permissão/bloqueio de ferramentas ou restrições de parâmetros.

Consequentemente, há uma carência de benchmarks que testem conjuntamente conflitos através de níveis de hierarquia em um cenário de agente.

Metodologia: IH-BENCHMARK

Os autores introduzem o IH-BENCHMARK (IH-B), um benchmark construído propositalmente para avaliar a robustez da hierarquia de instruções através de duas trilhas distintas:

1. Sistema $\succ$ Usuário ($S \succ U$): Avalia se um modelo preserva uma restrição de maior prioridade do sistema quando um usuário emite uma solicitação conflitante.
2. Usuário $\succ$ Ferramenta ($U \succ T$): Avalia se um modelo preserva a tarefa do usuário quando uma instrução conflitante aparece em uma saída de ferramenta de menor prioridade.

Construção e Escopo

• Famílias de Restrições: O benchmark é construído a partir de uma taxonomia de autoria humana de 44 famílias de restrições abrangendo cinco domínios: genérico, saúde, finanças, varejo e codificação.
  • Trilha $S \succ U$: 19 famílias cobrindo restrições de saída (léxica, formato), restrições de tópico (tópicos proibidos, direcionamento para concorrentes) e restrições de ferramenta (proibições abrangentes, restrições de parâmetros).
  • Trilha $U \succ T$: 25 famílias cobrindo manipulação de formato de resposta, manipulação de conteúdo (adulteração factual), manipulação de ferramenta (bloqueio/redirecionamento de chamadas) e ações agênticas de alta severidade (execução de comandos, exfiltração de dados, compras não autorizadas).
• Geração de Cenários: O IH-B gera proceduralmente 2.336 cenários executáveis (734 em $S \succ U$, 1.602 em $U \succ T$). Os cenários são gerados vinculando parâmetros de restrição e variando:
  • Rigidez da Restrição ($L$): Variando de declarações simples ($L_1$) a cláusulas fortalecidas e diretivas de recusa ($L_3$).
  • Fraseologia do Prompt ($P$): Solicitações de usuário explícitas ($P_1$) vs. implícitas ($P_2$).
  • Variante de Entrega ($D$): Para $U \succ T$, variando como as instruções conflitantes são incorporadas nas saídas das ferramentas (simples, breakout, reconhecimento, troca).
• Simuladores de Agente: Para cenários agênticos de $U \succ T$, o benchmark emprega três simuladores baseados em Python com estado (codificação, suporte ao varejo, suporte à saúde) para modelar efeitos colaterais persistentes e interações de ferramentas de múltiplos passos.
• Protocolo de Avaliação: É utilizado um protocolo uniforme de aprovação/reprovação binária.
  • DSL de Predicado: Uma linguagem de domínio específico leve avalia correspondência de strings, verificações estruturais e inspeção de chamadas de ferramenta.
  • LLM-as-a-Judge: Usado seletivamente para categorias onde a verificação mecânica é difícil (ex: difamação de marca, engajamento de tópico), utilizando uma rubrica de 4 níveis mapeada para decisões binárias.
  • Cenários de Não-Conflito: Incluídos para medir a sobre-recusa e garantir que os modelos não falhem em solicitações comuns devido à sensibilidade às restrições.

Contribuições Principais

1. Benchmark Procedural: A proposta do IH-B, cobrindo ambas as trilhas $S \succ U$ e $U \succ T$ com 2.336 cenários derivados de 44 famílias de restrições.
2. Estrutura de Avaliação Unificada: Um sistema que combina cenários controlados de nível de prompt com simuladores de agentes com estado, permitindo a avaliação em configurações estáticas, mediadas por ferramentas e agênticas.
3. Análise Empírica Abrangente: Avaliação de 37 variantes de modelos (22 de código fechado, 15 de pesos abertos) revelando que a robustez da hierarquia de instruções não é uma única capacidade, mas um conjunto de comportamentos que variam entre superfícies de conflito e tipos de restrição.

Resultados

A avaliação de 37 modelos revela uma variação significativa no desempenho, com taxas de conformidade geral variando de 98,2% a 20,5%.

• Dissociação de Trilhas: O alto desempenho na trilha $S \succ U$ não é um proxy confiável para a robustez $U \succ T$. Por exemplo, o Grok 4.20 (R) alcançou 96,9% de conformidade em $S \succ U$, mas apenas 65,6% em $U \succ T$. Isso sugere que resistir a sobreposições diretas do usuário não garante resistência à injeção de saída de ferramenta.
• Disparidades entre Modelos: Modelos de código fechado geralmente superaram os modelos de pesos abertos. A conformidade média para modelos de código fechado foi de 88,6% ($S \succ U$) e 75,1% ($U \succ T$), comparada a 80,5% e 59,1% para modelos de pesos abertos.
• Efeitos da Rigidez da Restrição:
  • Em $S \succ U$, restrições mais rígidas ($L_2, L_3$) melhoraram consistentemente a conformidade, particularmente para modelos mais fracos (ex: Qwen 3 235B-A22B melhorou de 23,5% para 88,2% em configurações específicas de domínio).
  • Em $U \succ T$, o efeito do endurecimento foi menos uniforme. Enquanto alguns modelos (ex: Grok 4.20 (R)) mostraram ganhos massivos (18,8% para 89,6%), outros (ex: Qwen 3 235B-A22B) permaneceram próximos de 10% em todos os níveis de rigidez, indicando uma incapacidade fundamental de manter limites em vez de apenas sensibilidade à instrução.
• Análise de Família de Restrições:
  • $S \succ U$: A família mais difícil foi forbid-tools-all (52,4%), onde os modelos lutam para recusar todas as chamadas de ferramenta apesar das solicitações do usuário. Restrições de tópico foram as mais fáceis (ex: forbid-disparagement com 98,6%).
  • $U \succ T$: As famílias mais difíceis envolveram ações de baixo risco e não suspeitas, como content-lie (50,1%) e format-disclaimer (50,4%). Por outro lado, ações de alta severidade como compras não autorizadas ou fechamento de compra de ingressos em massa foram resistidas de forma mais confiável (ex: purchase em 88,1%), provavelmente devido ao treinamento de alinhamento de segurança existente.
• Subtileza das Falhas: As falhas mais reveladoras foram frequentemente sutis (ex: avisos injetados, pequenas distorções factuais) em vez de ações abertamente perigosas. Os modelos foram mais confiáveis em resistir a ações em massa não autorizadas do que em detectar derivações factuais sutis.

Significância e Limitações

O artigo argumenta que a robustez da hierarquia de instruções não é uma capacidade uniforme única, mas uma coleção de comportamentos que devem ser avaliados através de múltiplas superfícies de conflito, tipos de restrição e apresentações de ataque. O lançamento do IH-B, incluindo o corpus, os simuladores e a estrutura de avaliação, visa apoiar a avaliação e o implante responsáveis, ajudando desenvolvedores a identificar fraquezas específicas de modelos ou cenários antes da implementação.

Limitações:

• O benchmark foca em cenários de tarefa única delimitados e não cobre configurações de múltiplos turnos mais longas onde o contexto se acumula ao longo do tempo.
• A cobertura de domínios é selecionada e assimétrica com base em onde cada domínio se encaixa naturalmente na trilha (ex: finanças está apenas em $S \succ U$, codificação apenas em $U \succ T$).
• Embora 35 das 44 famílias de restrições tenham sido escritas à mão, o restante foi sugerido por um LLM e revisado manualmente, o que significa que a cobertura é ampla, mas não exaustiva.

Os autores reconhecem que divulgar fraquezas específicas de modelos acarreta riscos de auxiliar adversários, mas sustentam que o benefício de uma avaliação de segurança sistemática e reprodutível supera esses riscos.