Hidden Reliability Risks in Large Language Models: Systematic Identification of Precision-Induced Output Disagreements

Título: Riscos Ocultos de Confiabilidade em Grandes Modelos de Linguagem: Identificação Sistemática de Discordâncias de Saída Induzidas por Precisão

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados em diversas configurações de precisão numérica para atender a restrições de eficiência e recursos. Isso inclui formatos de ponto flutuante padrão (como bfloat16 e float16) e formatos inteiros quantizados (como int16 e int8).

O problema central identificado pelos autores é que inconsistências menores entre LLMs de diferentes precisões são difíceis de detectar e frequentemente ignoradas pelos métodos de avaliação existentes.

• A Lacuna: A maioria das avaliações de segurança e alinhamento é realizada sob uma única configuração de precisão. No entanto, a precisão usada durante a inferência (implantação) pode diferir daquela usada durante a avaliação de segurança.
• O Risco: Uma mudança de precisão pode deslocar as fronteiras de decisão críticas para a segurança. Um modelo pode se recusar a gerar conteúdo prejudicial sob uma precisão (ex: bfloat16), mas gerar uma resposta insegura (jailbreak) sob outra (ex: float16 ou int8), mesmo com o mesmo prompt de entrada. Isso compromete a confiabilidade do teste pré-implantação e pode ocultar bugs de implementação.

2. Metodologia: PrecisionDiff

Os autores apresentam o PrecisionDiff, o primeiro framework de differential testing (teste diferencial) automatizado projetado para detectar inconsistências comportamentais induzidas por precisão em LLMs.

Funcionamento do Framework:
O PrecisionDiff trata o mesmo modelo de pesos, executado sob duas configurações de precisão distintas, como duas "implementações" separadas. O objetivo é encontrar automaticamente entradas (sufixos adversariais) que exponham saídas divergentes entre essas implementações.

• Estratégia de Otimização Dual-Precisão:

  • O método formula a busca por sufixos como um problema de otimização conjunta.
  • Objetivo 1 (Precisão Alvo): Minimizar a perda para gerar uma resposta prejudicial (jailbreak) sob a precisão de menor qualidade (ex: int8).
  • Objetivo 2 (Precisão de Referência): Maximizar a segurança (ou manter a recusa) sob a precisão de referência (ex: bfloat16).
  • A função de perda total combina ambos: $L_{total} = L_{harm}(f_{prec2}) + \lambda \cdot L_{safe}(f_{prec1})$.
  • Isso direciona a busca para as fronteiras de decisão sensíveis à precisão, onde o comportamento muda de seguro para inseguro apenas devido à variação numérica.

• Algoritmo de Busca:

  • Utiliza uma adaptação do método Greedy Coordinate Gradient (GCG).
  • Como o espaço de tokens é discreto, o método calcula gradientes para ambas as precisões, agrega-os e utiliza um momento para estabilizar a otimização em paisagens não convexas.
  • Seleciona candidatos de tokens que reduzem a perda conjunta, iterativamente.

• Análise de Causa Raiz (Layer-wise Analysis):

  • Após identificar os casos de divergência, o framework realiza uma análise camada por camada.
  • Calcula a Diferença Absoluta Média (MAD) e o Aumento de Divergência Relativa (RL) entre as ativações das duas precisões.
  • Identifica camadas críticas onde os erros numéricos são amplificados (ex: camadas iniciais, mecanismos de atenção e módulos de saída).

3. Contribuições Principais

1. Framework Inovador: Criação do PrecisionDiff, capaz de gerar automaticamente entradas de teste sensíveis à precisão para avaliação pré-implantação.
2. Descoberta de Falhas de Alinhamento: Demonstra que a precisão numérica é uma fonte crítica, mas negligenciada, de falhas de alinhamento. Mostrou que o comportamento de alinhamento não é invariante à precisão.
3. Superioridade Técnica: O método supera significativamente as técnicas de teste padrão (como GCG simples, busca aleatória e fuzzing) na detecção dessas inconsistências.
4. Insights Arquiteturais: Identifica que a divergência não é uniforme, mas concentrada em camadas específicas (camadas de entrada, projeções de atenção e camadas de saída), oferecendo diretrizes para "elevação seletiva de precisão" (usar maior precisão apenas nas camadas críticas).

4. Resultados Experimentais

Os autores avaliaram o framework em cinco LLMs alinhados de código aberto (Llama-2, Llama-3, Mistral, Vicuna, Guanaco) com diferentes transições de precisão.

• Prevalência (RQ1): As inconsistências induzidas por precisão são onipresentes.

  • Taxas de sucesso na detecção de jailbreaks variaram de 68,0% (Llama-2, BF16 vs FP16) a 100,0% (Guanaco e Mistral, INT16 vs INT8).
  • Transições para inteiros quantizados (INT16 vs INT8) foram as mais fáceis de explorar (99,5% de sucesso médio).
  • Categorias como Cybercrime e Malware foram as mais suscetíveis, enquanto Desinformação e Substâncias Ilegais mostraram maior robustez.

• Eficácia Comparativa (RQ2):

  • O PrecisionDiff superou o baseline padrão (GCG) em 1,4x no Vicuna-7B e em 8,5x no Llama-2-7B.
  • Métodos tradicionais de teste diferencial (fuzzing, algoritmos genéticos) tiveram taxas de sucesso próximas de zero (2-8%), pois não conseguem navegar no espaço de alta dimensão para encontrar essas fronteiras estreitas.

• Robustez (RQ3): O método funcionou bem mesmo com decodificação estocástica (do_sample=True) e orçamentos de iteração reduzidos, mantendo altas taxas de detecção.

• Mecanismos Internos (RQ4): A análise de causa raiz revelou que a divergência é amplificada principalmente em:

  1. Camadas de entrada (Layer 0).
  2. Mecanismos de atenção iniciais (projeções $W_Q, W_K$).
  3. Módulos de saída (Normalização e Head).
     Isso sugere que erros de arredondamento iniciais se propagam e são amplificados exponencialmente pelas funções softmax e operações matriciais.

5. Significado e Impacto

• Segurança de Sistemas Autônomos: O trabalho alerta que sistemas de IA corporificados (embodied AI) e agentes autônomos podem executar ações físicas inseguras ou propagar instruções prejudiciais apenas devido a uma mudança de precisão no hardware ou no runtime, mesmo que o modelo tenha sido "alinhado" e testado em outro ambiente.
• Mudança de Paradigma na Avaliação: Sugere que a avaliação de segurança de LLMs deve ser realizada sob múltiplas configurações de precisão, não apenas em uma única configuração de referência.
• Otimização de Recursos: A descoberta de camadas críticas permite que desenvolvedores apliquem precisão mista de forma inteligente (mantendo alta precisão apenas nas camadas sensíveis), melhorando a robustez sem o custo computacional de manter todo o modelo em alta precisão.

Em resumo, o paper expõe uma vulnerabilidade fundamental na infraestrutura de LLMs: a suposição de que mudanças de precisão são benignas é falsa, e o PrecisionDiff fornece as ferramentas necessárias para identificar e mitigar esses riscos antes da implantação.