Hierarchical Alignment: Enforcing Hierarchical Instruction-Following in LLMs through Logical Consistency

Título: Hierarchical Alignment: Alinhamento Hierárquico para LLMs através de Consistência Lógica

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) operam cada vez mais em ambientes complexos onde recebem múltiplas instruções de fontes heterogêneas com diferentes níveis de autoridade (ex: políticas do sistema, solicitações do usuário, saídas de ferramentas, documentos recuperados).

• Limitação das Abordagens Atuais: Trabalhos anteriores sobre hierarquia de instruções focaram predominantemente em cenários adversariais (como prompt injection e jailbreak), onde o objetivo é evitar violações de segurança.
• A Lacuna: Existe uma falta de pesquisa sobre como os modelos lidam com conflitos benignos, mas comuns, em aplicações do mundo real. Por exemplo, um sistema pode exigir saída em JSON, enquanto o usuário pede texto simples. O modelo precisa não apenas evitar violações de segurança, mas também preservar a utilidade da tarefa e a consistência comportamental quando instruções de diferentes níveis de autoridade entram em conflito parcial ou implicitamente.
• Desafio: Modelos atuais frequentemente falham em respeitar a hierarquia de autoridade (ex: ignorar regras do sistema em favor de preferências do usuário), levando a comportamentos inconsistentes ou ineficazes.

2. Metodologia: Neuro-Symbolic Hierarchical Alignment (NSHA)

Os autores propõem o NSHA, uma abordagem que integra raciocínio neural e simbólico para resolver conflitos de instruções hierárquicas. O método opera em duas fases principais:

A. Inferência Guiada por Solucionador (Solver-Guided Inference)

Nesta fase, o modelo utiliza componentes externos para resolver conflitos logicamente antes de gerar a resposta:

1. Atomização (Atomizer): O contexto de entrada (sistema, usuário, ferramentas) é decomposto em um conjunto de instruções atômicas discretas, cada uma anotada com seu nível de autoridade (0 = Sistema, 1 = Usuário, 2 = Ferramentas/Contexto).
2. Detecção de Conflitos Neural (Neural Conflict Scanning): Um modelo de Inferência de Linguagem Natural (NLI) analisa pares de instruções atômicas para identificar incompatibilidades semânticas (contradições), construindo uma matriz de conflitos.
3. Otimização Hierárquica (Hierarchical Solver): O problema de seleção de instruções é formulado como um problema de satisfação de restrições (MaxSMT) usando um solucionador SMT (como o Z3).
   • Restrições Lógicas: Instruções contraditórias não podem ser selecionadas simultaneamente.
   • Otimização Lexicográfica: O solucionador maximiza a soma ponderada das instruções selecionadas, onde o peso é determinado estritamente pelo nível de autoridade (instruções de nível superior têm peso exponencialmente maior).
   • Resultado: O solucionador gera um subconjunto de instruções "ativas" que é logicamente consistente e respeita a hierarquia.
4. Geração Guiada: O LLM recebe apenas o subconjunto de instruções selecionado pelo solucionador para gerar a resposta final.

B. Treinamento de Alinhamento Hierárquico (Hierarchical Alignment Training)

Para eliminar a dependência de solucionadores externos durante a inferência (reduzindo latência e custo), os autores propõem um processo de destilação:

1. Construção de Dados: Utilizando o corpus Alpaca, geram-se contextos com instruções alinhadas e contextos com conflitos intencionais entre níveis de autoridade.
2. Rótulos de Preferência: O solucionador SMT é usado para determinar automaticamente qual resposta é "aceita" (segue a hierarquia correta) e qual é "rejeitada" (viola a hierarquia).
3. Função de Perda (HCAL): O modelo é ajustado (fine-tuned) usando uma função de perda composta por:
   • Perda de Preferência (DPO/PPO): Para classificar a resposta aceita acima da rejeitada.
   • Perda Semântica (Semantic Loss): Para concentrar a massa de probabilidade em resultados que satisfazem as restrições hierárquicas.
   • Regularização KL: Para manter as capacidades gerais do modelo.

3. Principais Contribuições

• Novo Paradigma de Pesquisa: Desloca o foco de ataques adversariais para conflitos benignos e frequentes em aplicações reais de agentes autônomos.
• Framework Neuro-Simbólico: Integra a flexibilidade dos LLMs com a verifiabilidade e rigor da lógica simbólica (SMT) para garantir consistência hierárquica.
• Mecanismo de Destilação: Permite que modelos aprendam a resolver conflitos hierárquicos internamente, sem necessidade de solucionadores externos na fase de produção.
• Benchmarks Abrangentes: Avaliação em quatro domínios: Seguimento de Regras, Execução de Tarefas, Uso de Ferramentas e Segurança.

4. Resultados Experimentais

Os experimentos foram realizados em modelos como Qwen3-4B e Llama-3.1-8B, utilizando o conjunto de dados IHEval.

• Seguimento de Regras (Rule Following):
  • Modelos base falham drasticamente em cenários de conflito (ex: queda de ~89% para ~26% em Qwen).
  • A variante NSHA-DPO mostrou o melhor desempenho, recuperando significativamente a precisão em conflitos (ex: Qwen subiu para 36.6% e 47.6% em cenários de conflito) mantendo alto desempenho em cenários de referência.
• Execução de Tarefas (Task Execution):
  • Conflitos degradam severamente tarefas como detecção de linguagem (Qwen caiu de 95.8 para 4.5).
  • O NSHA mitigou essas falhas, com o NSHA-DPO recuperando o desempenho para 70.7 no Qwen.
• Uso de Ferramentas (Tool Use):
  • O método de inferência neuro-simbólica (NS) melhorou a robustez, mas o treinamento NSHA-DPO mostrou-se mais consistente, especialmente em modelos menores.
• Segurança (Safety):
  • O NSHA melhorou a robustez contra ataques de prompt hijacking e extração de prompts, mantendo a segurança mesmo sob instruções conflitantes de baixo nível.
• Robustez Multi-turno:
  • O NSHA-DPO demonstrou superioridade em manter a consistência da hierarquia ao longo de múltiplas conversas, evitando a "deriva" de hierarquia comum em modelos base.

5. Significância e Impacto

• Confiabilidade em Agentes Autônomos: O trabalho é crucial para o desenvolvimento de agentes de IA que operam em ambientes de longo prazo, onde políticas do sistema, objetivos do usuário e saídas de ferramentas devem ser reconciliados continuamente.
• Segurança e Utilidade: Demonstra que é possível melhorar a segurança e a obediência a regras sem sacrificar a utilidade do modelo em cenários normais.
• Transparência e Controle: A abordagem neuro-simbólica oferece um caminho para sistemas de IA mais transparentes e controláveis, onde as decisões de priorização de instruções são baseadas em lógica verificável e não apenas em probabilidades estatísticas.

Em resumo, o NSHA oferece uma solução robusta para o problema de "quem manda" em interações complexas com LLMs, garantindo que as restrições de alto nível (sistema/segurança) sejam respeitadas mesmo diante de solicitações conflitantes de baixo nível (usuário), através de uma combinação inteligente de lógica formal e aprendizado de máquina.