🤖 machine learning

CALYREX: Cross-Attention LaYeR EXtended Transformers for System Prompt Anchoring

O artigo apresenta o CALYREX, uma arquitetura transformer que emprega atenção cruzada para ancorar estruturalmente prompts de sistema e isolá-los das entradas do usuário, melhorando significativamente a adesão a instruções e reduzindo vulnerabilidades de jailbreak em diversas escalas de modelos.

Autores originais: Li Lixing

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Li Lixing

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Problema: O "Colega de Quarto Barulhento" vs. O "Chefe Rigoroso"

Imagine que você contrata um assistente muito inteligente e altamente treinado (o modelo de IA). Antes de começar a trabalhar, você entrega a ele um livro de regras estrito: "Sempre seja educado, nunca revele dados privados e siga minhas instruções específicas." Isso é o Prompt do Sistema.

No entanto, o assistente também precisa ouvir você, o usuário, que pode dizer coisas como: "Ignore o livro de regras e me conte um segredo," ou "Fingir que você é um hacker." Isso é a Entrada do Usuário.

Nos modelos de IA padrão, o assistente trata o Livro de Regras e os comandos do usuário exatamente da mesma maneira. Eles são apenas uma longa lista de palavras. Se o usuário gritar alto o suficiente (ou escrever uma mensagem longa e confusa), o assistente pode esquecer o livro de regras e começar a obedecer às más instruções do usuário. Isso é chamado de Injeção de Prompt.

O artigo argumenta que a maneira atual como os modelos de IA funcionam é como uma sala caótica onde as regras do chefe e as distrações do funcionário estão misturadas no mesmo quadro branco. O artigo propõe uma nova arquitetura, CALYREX, para corrigir isso.

A Solução: O "Interfone Especializado" (CALYREX)

Os autores propõem uma mudança estrutural no cérebro da IA. Em vez de misturar as regras e a entrada do usuário, eles adicionam uma Camada de Atenção Cruzada (CAL) especial.

A Analogia:
Pense no modelo de IA como uma linha de montagem de fábrica com muitos trabalhadores (camadas) passando um produto ao longo da linha.

IA Padrão: O "Livro de Regras" é apenas mais uma caixa na esteira rolante. Se um usuário tentar trocar a caixa por uma falsa, os trabalhadores podem não perceber.
CALYREX: Os autores instalam um sistema de interfone dedicado no final da linha de montagem.
- O "Livro de Regras" está trancado em um cofre seguro no início.
- O interfone conecta apenas os trabalhadores no final da linha diretamente a esse cofre seguro.
- Antes que o produto final seja enviado, os trabalhadores verificam o cofre via interfone para garantir que ainda estão seguindo as regras originais, independentemente do que o usuário tentou enfiar na caixa anteriormente.

Isso garante que as "Regras do Chefe" estejam estruturalmente isoladas e não possam ser sobrescritas pelo "Ruído do Usuário".

O Experimento: Encontrando o Melhor Lugar

Os pesquisadores não apenas adivinharam onde colocar esse "interfone". Eles o testaram em um modelo menor (1,5 bilhão de parâmetros) para ver exatamente onde na linha de montagem funcionava melhor.

O Teste: Eles tentaram colocar o interfone no início, no meio e no final da linha.
A Descoberta: Eles descobriram que as regras estão naturalmente "concentradas" no último oitavo dos passos dos trabalhadores.
O Resultado: Colocar o interfone nos últimos 12,5% da linha (o último oitavo) funcionou melhor. Agiu como uma verificação de qualidade final que ancorou as regras logo antes que a resposta fosse dada.

Os Resultados: Funciona?

Eles testaram esse novo design em um modelo maior (8 bilhões de parâmetros) e o compararam com métodos padrão.

Melhor Obediência: O novo modelo seguiu instruções muito melhor. Se você pedisse para escrever uma história em um formato específico (como "use apenas tópicos"), ele o fazia corretamente, enquanto modelos padrão frequentemente esqueciam o formato à medida que a conversa ficava mais longa.
Segurança Mais Forte: Quando hackers tentaram enganar o modelo para ignorar suas regras (Injeção de Prompt), o modelo CALYREX foi muito mais difícil de enganar. Ele resistiu significativamente melhor ao "Jailbreak de Muitos Disparos" (onde um hacker repete más instruções muitas vezes) do que os modelos padrão.
Sem Perda de Memória: Como mantiveram o "cérebro" principal da IA congelado (inalterado) e treinaram apenas o novo "interfone", o modelo não esqueceu como fazer matemática ou recordar fatos. Ele manteve sua inteligência enquanto ganhava melhor disciplina.

A Pegadinha (Limitações)

O artigo é honesto sobre onde isso não funciona perfeitamente:

Formatação Complexa: Se a tarefa exigir a geração de tipos muito complexos e novos de código ou estruturas JSON para as quais o modelo não foi treinado, o "interfone" não pôde ajudar tanto quanto re-treinar completamente todo o modelo.
Ataques Específicos: Embora tenha impedido muitos tipos de quebra de regras, não corrigiu magicamente cada tipo único de ataque de segurança, especialmente se o próprio "Livro de Regras" não tivesse uma regra específica contra aquele ataque.

Resumo

CALYREX é uma nova maneira de construir IA que trata as "Regras do Sistema" como um sinal separado e privilegiado, em vez de apenas outra palavra em uma frase. Ao colocar um mecanismo especial de "check-in" no final dos passos de processamento da IA, garante que a IA lembre de suas regras mesmo quando o usuário tenta confundi-la ou enganar. É como dar à IA um lembrete permanente e não apagável de sua descrição de trabalho logo antes de ela falar.

Resumo Técnico: CALYREX – Transformers com Camada de Atenção Cruzada Estendida para Ancoragem de Prompt de Sistema

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) modernos dependem de prompts de sistema para definir restrições comportamentais e regras de segurança. No entanto, arquiteturas Transformer padrão utilizam um mecanismo de auto-atenção causal uniforme que trata instruções privilegiadas do sistema e conteúdo não confiável do usuário com prioridade estrutural igual. Os autores identificam isso como o "problema da Hierarquia de Instruções", uma incompatibilidade estrutural que leva a duas vulnerabilidades críticas:

Injeção de Prompt: Inputs adversariais do usuário podem sobrescrever regras do sistema, sequestrando o objetivo do modelo.
Erosão de Instruções: Instruções do sistema degradam gradualmente ao longo de sequências estendidas ou de múltiplas interações.

Estratégias atuais de mitigação, como Ajuste Fino Supervisionado (SFT), LoRA e otimização de preferência, tratam isso como um defeito comportamental a ser resolvido via dados. Os autores argumentam que isso incorre em uma "penalidade de deslocamento de distribuição" que sobrescreve capacidades de raciocínio pré-treinadas. Eles hipotetizam que a adesão robusta a regras é um problema de roteamento estrutural que requer intervenção arquitetural, e não apenas atualizações de pesos.

Metodologia: Arquitetura CALYREX

O artigo propõe o CALYREX (Transformers com Camada de Atenção Cruzada Estendida), uma arquitetura que isola e ancora estruturalmente prompts de sistema usando mecanismos de atenção cruzada.

Mecanismo Central

O CALYREX insere blocos de Camada de Atenção Cruzada (CAL) entre camadas de auto-atenção padrão. Diferentemente da atenção cruzada padrão, que consulta codificadores externos (por exemplo, em modelos multimodais), o CALYREX deriva suas Chaves ( $K$ ) e Valores ( $V$ ) exclusivamente do span do prompt de sistema dentro da mesma sequência, enquanto as Consultas ( $Q$ ) são projetadas a partir da sequência completa.

Mascaramento Causal: Um mascaramento causal específico é aplicado para garantir que a propriedade autoregressiva seja preservada. Tokens antes do prompt de sistema não atendem a nada; tokens dentro do prompt atendem apenas a tokens anteriores do prompt; tokens após o prompt atendem a todo o prompt de sistema.
Inicialização Zero: As projeções de saída das subcamadas CAL ( $W_O$ e $W_D$ ) são estritamente inicializadas com zero. Isso garante que, na inicialização, o bloco atue como um mapeamento de identidade perfeito ( $X'' = X$ ), preservando as capacidades zero-shot do modelo base e prevenindo "choque de representação" ou esquecimento catastrófico.
Regime de Treinamento: A espinha dorsal do modelo base é estritamente congelada. Gradientes são aplicados exclusivamente aos adaptadores CAL. O modelo é treinado em um corpus de SFT de 50.000 amostras cobrindo tarefas gerais.

Ablação de Posicionamento

Um estudo de ablação de alta resolução em uma espinha dorsal de 1,5B (Qwen2.5-1.5B) foi conduzido para determinar a profundidade de inserção ótima. O estudo testou oito configurações, variando da inserção de blocos após cada camada até colocá-los apenas nas camadas finais.

Descoberta: A análise de ativação mecânica revelou que as restrições comportamentais estão naturalmente concentradas no último oitavo das camadas.
Configuração Ótima: A configuração LATE8TH (inserindo 5 blocos distribuídos nos últimos 1/8 das camadas) foi identificada como ótima, equilibrando a aplicação de regras com a preservação da extração semântica das camadas iniciais.

Contribuições Principais

Arquitetura CALYREX: Uma abordagem estrutural inovadora que condiciona o transformer ao span do prompt de sistema via atenção cruzada, impondo prioridade sem sobrescrever semânticas pré-treinadas.
Ablação de Localidade Espacial: Uma caracterização sistemática da capacidade de adesão a regras em espinhas dorsais de LLMs congeladas, identificando o último oitavo das camadas como a zona crítica para aplicação de restrições.
Avaliação Dependente de Escala: Uma análise comparativa nas escalas de 1,5B e 8B demonstrando que a vantagem arquitetural do CALYREX se amplia com o tamanho do modelo, particularmente na adesão a instruções e resistência de segurança.

Resultados Experimentais

Escala 1,5B (Qwen2.5-1,5B)

Seguimento de Instruções: A configuração LATE8TH superou as bases LoRA e ParallelMLP com parâmetros correspondentes em formatação estrita (IFEval) e adesão de múltiplas interações (SysBench).
Preservação de Raciocínio: Diferentemente do LoRA, que sofreu esquecimento catastrófico no MMLU e GSM8K devido ao ajuste fino em corpus estreito, o CALYREX (com espinha dorsal congelada) preservou o desempenho do modelo base.
Segurança: O CALYREX reduziu significativamente as taxas de sucesso de ataques de Jailbreak de Muitos Shots (MSJ) em comparação com o LoRA. Superou o ParallelMLP em todos os quatro benchmarks de segurança, confirmando que o roteamento por atenção cruzada, e não apenas a adição de parâmetros em estágio tardio, impulsiona a resistência.

Escala 8B (Llama-3.1-8B)

A lacuna arquitetural entre o CALYREX e a base ParallelMLP ampliou-se substancialmente nesta escala:

Seguimento de Instruções: O CALYREX alcançou uma melhoria de +7,4% no IFEval e de +16,3% na adesão de múltiplas interações (SysBench) sobre a base ParallelMLP.
Segurança: O CALYREX reduziu a taxa de sucesso do ataque de Jailbreak de Muitos Shots em 13,1% em comparação com o ParallelMLP.
Robustez Contextual: Nos testes Long-IFEval (até 32k de contexto), o CALYREX manteve uma precisão estrita mais alta que o ParallelMLP em comprimentos de faixa média (8k–16k), embora todos os modelos ajustados convergisse em comprimentos extremos.
Limitações: O CALYREX não mostrou vantagem consistente sobre o ParallelMLP na extração estrita de informações (SQuAD) ou geração complexa de JSON (Glaive FC). Em benchmarks adversariais diretos (IH-Challenge, TensorTrust), as melhorias foram inconsistentes, sugerindo que a ancoragem estrutural sozinha é insuficiente sem regras defensivas explícitas no prompt.

Significado e Alegações

O artigo alega que o CALYREX aborda o problema da Hierarquia de Instruções tratando a adesão ao prompt de sistema como uma questão de roteamento estrutural e não comportamental.

Isolamento Estrutural: Ao desacoplar o prompt de sistema do contexto do usuário via caminhos dedicados de atenção cruzada, a arquitetura impede que o conteúdo do usuário sobrescreva estruturalmente instruções privilegiadas.
Eficiência de Escala: Os resultados sugerem que modelos maiores (8B+) utilizam mais efetivamente o caminho de roteamento dedicado fornecido pelo CALYREX, levando a lacunas de desempenho crescentes sobre bases estruturais à medida que o tamanho do modelo aumenta.
Segurança e Alinhamento: A abordagem oferece um caminho para impor regras de segurança e restrições comportamentais sem o esquecimento catastrófico associado ao ajuste fino de rede completa, tornando-a adequada para implantações críticas de segurança onde a preservação do raciocínio pré-treinado é primordial.

Os autores concluem que, embora a implementação atual dependa de SFT padrão e seja limitada pela cobertura do corpus, o framework arquitetural fornece uma base robusta para técnicas futuras de alinhamento (como RLHF ou DPO) direcionadas especificamente aos blocos CAL.