Divergence-based Safety Measure for Large Language Models via Rational Inattention

Resumo Técnico: Medida de Segurança Baseada em Divergência para Grandes Modelos de Linguagem via Inatenção Racional

Declaração do Problema
A integração de Grandes Modelos de Linguagem (LLMs) em pipelines de suporte à decisão introduz preocupações de segurança ao nível do sistema, particularmente no que diz respeito a perturbações maliciosas de tokens de entrada que alteram os outputs do modelo e influenciam decisões humanas subsequentes. Embora medidas de segurança quantitativas sejam exigidas sob uma perspectiva de sistemas e controle para apoiar a comparação de modelos, monitoramento em tempo de execução e ajuste fino de parâmetros, progressos limitados foram feitos no desenvolvimento de tais medidas para LLMs. Especificamente, há a necessidade de uma métrica que quantifique a perturbação de saída no pior caso causada por ataques de entrada, garantindo que os ataques permaneçam furtivos aos mecanismos de monitoramento internos.

Metodologia
O artigo propõe uma medida de segurança baseada em divergência que quantifica a divergência de Kullback–Leibler (KL) no pior caso entre as distribuições de saída de um LLM limpo e um LLM sujeito a ataques de entrada de embedding. A inovação metodológica central reside na construção de uma "restrição de furtividade" ao alavancar a equivalência entre os mecanismos de atenção de transformers e modelos de Inatenção Racional (RI) de tomada de decisão humana.

1. Estrutura de Inatenção Racional (RI): Os autores revisitam o framework de RI, onde agentes trocam utilidade esperada pelo custo de informação do processamento de dados. A política de ação ótima em RI é caracterizada por uma função softmax derivada de um problema de otimização envolvendo a informação mútua de Shannon.
2. Conexão Estrutural: O artigo estabelece que os pesos de atenção de transformers (computados via softmax de produto escalar escalonado) compartilham a mesma forma funcional que a política de ação ótima no framework de RI. Isso permite a interpretação da atenção do transformer como uma solução para um problema de otimização do tipo RI, onde o modelo aloca capacidade de processamento de informação limitada aos tokens de contexto.
3. Medida de Racionalidade Limitada: Com base nessa conexão, os autores definem uma "medida de racionalidade limitada" por cabeça ($\Delta V^{(m)}(\tau)$). Esta métrica representa a diferença entre o valor de racionalidade $\tau$-limitada (o valor ótimo do problema de otimização de atenção com um parâmetro de temperatura $\tau$) e o valor de racionalidade total (o limite conforme $\tau \to 0$). Esta medida serve como um output de monitoramento interno indicando o "nível de racionalidade" da alocação de atenção do LLM.
4. Formulação da Medida de Segurança: A medida de segurança proposta é formulada como um problema de otimização: maximizando a divergência KL entre as distribuições de saída limpa e atacada, sujeita a duas restrições:
   • Restrição de Energia: A energia total dos sinais de ataque injetados nos tokens de embedding é limitada ($\sum \|\zeta_i\|^2 \leq \rho$).
   • Restrição de Furtividade: A soma ponderada das medidas de racionalidade limitada em todas as cabeças de atenção deve permanecer abaixo de uma tolerância de confiança especificada ($\epsilon_T$). Isso garante que o ataque não altere significativamente o sinal de monitoramento baseado em atenção interna do modelo.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Correspondência Estrutural: Demonstra que os pesos de atenção de transformer são a solução única para um problema de otimização do tipo RI, estabelecendo um vínculo formal entre mecanismos de LLM e modelos de tomada de decisão de racionalidade limitada.
2. Medida de Racionalidade Limitada por Cabeça: Introduz uma nova métrica derivada do framework de RI para quantificar a racionalidade das alocações de atenção em LLMs.
3. Medida de Segurança Baseada em Divergência: Utiliza a medida de racionalidade limitada como um output de monitoramento para definir uma métrica de segurança que quantifica o deslocamento de saída furtivo no pior caso. O artigo também analisa "ataques perfeitamente indetectáveis" (ataques que não alteram o output de monitoramento) e deriva um limite superior para a medida de segurança usando um argumento de divergência de Bregman, assumindo que o mapa de score de saída é contínuo de Lipschitz.

Resultados Experimentais
A medida proposta foi avaliada em dois modelos de linguagem causais pré-treinados: GPT-2 e GPT-Neo-125M.

• Configuração: Uma tarefa de predição de candidato controlada foi utilizada, onde sentenças ambíguas exigiam a predição do próximo token (um adjetivo) a partir de um pool restrito. Os ataques foram gerados usando ascensão de gradiente projetado para maximizar a divergência KL da distribuição de saída enquanto aderiam às restrições de energia e furtividade.
• Descobertas: Os experimentos revelaram perfis de segurança distintos para os dois modelos. O GPT-2 exibiu vários ataques de alta divergência que permaneceram dentro da região furtiva (satisfazendo a tolerância de confiança), enquanto ataques de alto impacto no GPT-Neo-125M geralmente resultaram em resíduos de monitoramento maiores. Isso demonstra que a medida proposta pode distinguir efetivamente perfis de segurança de modelos sob o mesmo orçamento de ataque e tolerância de confiança.

Significância e Alegações
O artigo alega que este trabalho preenche uma lacuna no desenvolvimento de medidas de segurança quantitativas para LLMs sob uma perspectiva de sistemas e controle. Ao interpretar a atenção do transformer através da lente da inatenção racional, os autores fornecem um mecanismo fundamentado para construir outputs de monitoramento internos. A medida de segurança baseada em divergência proposta oferece uma maneira de quantificar a vulnerabilidade de LLMs a ataques de entrada de embedding furtivos. Os autores posicionam esta contribuição como um passo para equipar LLMs com medidas de desempenho interpretáveis análogas à robustez, resiliência e medidas de segurança encontradas em sistemas de controle tradicionais. O trabalho não pretende resolver todos os problemas de segurança de LLM, mas sim fornecer uma métrica específica para distinguir perfis de segurança de modelos e analisar impactos furtivos no pior caso.