Resumo Técnico: Análise da Vulnerabilidade de LLMs a Erros de Software em GPUs

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em domínios de segurança crítica, como direção autônoma e saúde, dependendo fortemente de GPUs de alto desempenho para inferência. No entanto, à medida que o tamanho dos transistores das GPUs diminui e as tensões operacionais decrescem, esses dispositivos tornam-se cada vez mais suscetíveis a erros de software transitórios (ex: inversões de bit único causadas por fatores ambientais). Embora pesquisas anteriores tenham analisado extensivamente a confiabilidade de GPUs para aplicações de uso geral e Redes Neurais Convolucionais (CNNs) usadas em tarefas de visão, existe uma lacuna significativa na compreensão da resiliência dos modernos e de grande escala LLMs. Os LLMs diferem fundamentalmente das CNNs em arquitetura (baseada em Transformer vs. convolucional), padrões computacionais (envolvendo otimizações de cache KV e fusão de operadores) e métricas de avaliação (ex: Perplexidade, Correspondência Exata vs. simplicidade de acurácia). Métodos de injeção de falhas existentes frequentemente dependem de perturbações ao nível do algoritmo (corrupção de pesos) ou simulação ao nível da microarquitetura (que é lenta demais para LLMs), falhando em capturar os comportamentos detalhados ao nível de instrução específicos para a inferência de LLMs em GPUs modernas.

Metodologia

Para abordar essa lacuna, os autores conduziram o primeiro estudo de injeção de falhas ao nível de instrução visando especificamente a inferência de LLM.

• Framework: O estudo utiliza o NVBitFI, um framework de injeção de falhas ao nível de instrução que intercepta operações de kernel de GPU para injetar erros de inversão de bit em instruções específicas de GPU. Esta abordagem equilibra velocidade de simulação e precisão, situando-se entre a lenta simulação de microarquitetura e a rápida, porém abstrata, injeção ao nível de algoritmo.
• Configuração Experimental: Os experimentos foram conduzidos em uma GPU NVIDIA A100 (80 GB) usando CUDA 12.2. O estudo avaliou três arquiteturas representativas de LLM: GPT-2, Llama3.2 e Qwen3, através de duas escalas de parâmetros para cada uma.
• Datasets e Tarefas: Um conjunto diversificado de datasets de benchmark foi utilizado para cobrir várias complexidades de tarefas, incluindo geração de texto (Lambada, WikiText-2), raciocínio de senso comum (PIQA, HellaSwag), raciocínio matemático (GSM8K) e sumarização (XSum).
• Escala de Injeção de Falhas: O estudo envolveu aproximadamente 300 horas de GPU para caracterização inicial e 1.750 horas de GPU para análise multidimensional, totalizando mais de 24.000 tentativas de injeção de falhas por modelo em cenários específicos.
• Métricas: Os autores analisaram três resultados primários:
  1. Erros Incontroláveis Detectados (DUE - Detected Unrecoverable Errors): Travamentos do sistema ou suspensões.
  2. Corrupção Silenciosa de Dados (SDC - Silent Data Corruption): Saídas incorretas sem falha do sistema.
  3. Erros Mascarados: Falhas que não afetam a saída final.
     Eles também introduziram o Fator de Vulnerabilidade do Modelo (MVF - Model Vulnerability Factor) para quantificar a probabilidade de uma falha levar a uma falha visível ao usuário.

Principais Contribuições

O artigo apresenta as seguintes contribuições específicas:

1. Primeira Avaliação ao Nível de Instrução: É o primeiro trabalho a avaliar sistematicamente a confiabilidade de LLMs em GPUs usando injeção de falhas ao nível de instrução, analisando comportamentos anormais e identificando suas causas raízes.
2. Quantificação da Vulnerabilidade de Instrução: Os autores quantificam os fatores de vulnerabilidade de tipos de instruções de GPU fundamentais e derivam um método eficiente para aproximar o MVF global de um LLM com base nesses fatores.
3. Análise de Vulnerabilidade Multiperspectiva: Uma análise abrangente foi realizada através de cinco dimensões:
   • Tipos de instrução
   • Dificuldade da tarefa
   • Posições de bits
   • Tipos de operador (ex: Atenção, MLP, LayerNorm)
   • Camadas da rede

Principais Resultados e Descobertas

1. Comportamento Anormal e Causas

• Dominância de DUE: Ao contrário de aplicações convencionais onde os erros são frequentemente mascarados, os LLMs exibem uma alta taxa de DUEs. Mais de 90% dos eventos de DUE são atribuídos a acessos ilegais à memória (ex: endereços fora dos limites, registradores fora dos limites) causados por inversões de bit em campos de endereço.
• Causas de SDC: SDCs são primariamente causadas por erros numéricos (grandes desvios em valores de ponto flutuante) em vez de erros de endereço. Um exemplo específico mostrou uma inversão de bit em um registrador fazendo com que um valor saltasse de ~0.2 para ~3.4 × 10³⁸, propagando-se para saídas incorretas.
• Sensibilidade de Arquitetura: O GPT-2 (usando LayerNorm) mostrou uma resiliência ligeiramente melhor que o Qwen3 (usando RMSNorm), sugerindo que estratégias de normalização impactam a tolerância a falhas.

2. Vulnerabilidade ao Nível de Instrução

• Tipos de Instrução: Instruções de inteiros e relacionadas a endereços (ex: SHF, LOP3, LEA) são altamente vulneráveis e levam primariamente a DUEs. Por outro lado, instruções de computação de ponto flutuante de alta frequência (ex: FADD, HMMA) são relativamente robustas, mas representam a maioria das SDCs devido ao seu volume massivo.
• Método de Aproximação: Os autores propuseram um método de imputação por grupos e agregação ponderada para aproximar o MVF global. Este método alcançou resultados dentro de 24% das medições de verdade fundamental (e <7% para a família GPT), oferecendo uma ferramenta prática para estimativa rápida de vulnerabilidade.

3. Dependências de Tarefa e Arquitetura

• Sensibilidade de Tarefa: A robustez varia significamente conforme a tarefa. Tarefas de raciocínio (GSM8K) e tarefas de estilo cloze (Lambada) mostraram maior robustez, enquanto modelagem de linguagem (WikiText-2) e sumarização de textos longos (XSum) sofreram degradação acentuada de acurácia.
• Escalonamento de Parâmetros: Aumentar o tamanho do modelo não melhora universalmente a robustez. Embora modelos maiores às vezes mostrem melhor desempenho livre de falhas, eles podem degradar mais rapidamente sob injeção de falhas devido a caminhos computacionais mais complexos que amplificam a propagação de erros. Este efeito é dependente da tarefa e da arquitetura.

4. Sensibilidade da Posição do Bit

• Pico no Bit 30: O bit mais significativo do expoente (bit 30 em precisão simples IEEE) é o mais crítico para SDCs. Inversões aqui causam desvios numéricos de ordens de magnitude. A taxa de SDC do bit 30 foi encontrada como sendo até 95.8× maior que os bits de ordem inferior.
• Uniformidade de DUE: Em contraste, as taxas de DUE são relativamente uniformes entre as posições de bits, pois são frequentemente desencadeadas por corrupção de endereço, independentemente do bit específico invertido.

5. Análise de Operador e Camada

• Vulnerabilidade de Operador: O lm head (camada de saída) é consistentemente o componente mais vulnerável em todos os modelos. O LayerNorm é o mais robusto.
• Distribuição de Camadas: A vulnerabilidade não é uniforme entre as camadas. Embora a forma da distribuição geral permaneça semelhante conforme os modelos escalam, camadas "pico" específicas (ex: camadas iniciais ou camadas intermediárias específicas) exibem taxas de erro significativamente maiores em modelos maiores.

Significância e Alegações

O artigo afirma fornecer a primeira conexão direta entre falhas de hardware transitórias e a confiabilidade de alto nível de LLMs através de injeção de falhas ao nível de instrução. A significância deste trabalho reside em:

• Novos Insights: Revela que a resiliência de LLMs difere substancialmente dos modelos CNN anteriores, impulsionada por características arquiteturais únicas como estratégias de normalização e fusão de operadores.
• Orientação de Design: As descobertas informam o design de mecanismos de tolerância a falhas mais eficazes. Especificamente, os autores sugerem que as estratégias de proteção devem ser seletivas: priorizando o lm head e os bits de ordem superior (especialmente o bit 30), enquanto potencialmente relaxando a proteção para LayerNorm e bits de ordem inferior para reduzir o overhead.
• Aviso de Escalabilidade: O estudo destaca que simplesmente escalar parâmetros não é uma panaceia para a confiabilidade; de fato, pode exacerbar a vulnerabilidade em camadas e tarefas específicas, necessitando de uma consideração conjunta das características da tarefa e dos mecanismos de tolerância a falhas.

Os autores concluem que seu framework e observações empíricas fornecem evidências quantitativas, ao nível de instrução, essenciais para avaliar e comparar a confiabilidade de sistemas de inferência de LLM em ambientes de GPU reais.