Resumo Técnico: Avaliação, Exploração e Mitigação de Falhas de Robustez Sintática em Geração de Código Baseada em LLMs

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais utilizados para geração de código, particularmente em computação científica e domínios que exigem raciocínio matemático. Uma preocupação crítica de confiabilidade surge quando LLMs são encarregados de gerar código com base em prompts contendo fórmulas matemáticas. Embora duas fórmulas possam ser semanticamente equivalentes (por exemplo, $a \times x + b = 0$ e $a \times x + a + b = a$), elas diferem sintaticamente. O artigo postula que um gerador de código baseado em LLM robusto deve produzir código semanticamente equivalente, independentemente de tais variações sintáticas no prompt de entrada. No entanto, os autores observam que os modelos mais avançados atuais frequentemente falham em manter essa consistência, gerando código diferente ou incorreto para fórmulas semanticamente idênticas, mas sintaticamente distintas. Essa falta de robustez sintática representa um risco para pipelines de geração de código automatizada, especialmente quando as entradas estão sujeitas a variações naturais ou manipulações adversariais.

Metodologia

Definição Formal de Robustez Sintática

Os autores formalizam a robustez sintática como o grau em que um gerador de código baseado em LLM ($G$) produz programas semanticamente equivalentes ($C$) para prompts semanticamente equivalentes, mas sintaticamente diferentes ($P$).

• Estrutura do Prompt: Um prompt $P$ é definido como uma tupla $\langle T, F \rangle$, onde $T$ é texto em inglês e $F$ é uma fórmula matemática.
• Equivalência: Duas fórmulas $F_1$ e $F_2$ são semanticamente equivalentes ($[[F_1]] \equiv [[F_2]]$) se avaliarem para o mesmo valor sob a mesma valoração. Dois programas são equivalentes se produzirem saídas idênticas para todas as entradas.
• Métrica: A robustez sintática é medida como a porcentagem de variações sintáticas de uma fórmula para as quais o LLM gera código equivalente a uma solução de referência.

Design Experimental

1. Construção do Conjunto de Dados: O estudo utiliza 52 prompts de diversas fontes, incluindo o conjunto de dados Clover (especificações formais), HackerRank, MATH e MaTT. Os prompts são categorizados em:
   • Prompts de Raciocínio: Exigem manipulação matemática (por exemplo, integração) para derivar código.
   • Prompts de Tradução: Exigem tradução direta de uma fórmula dada para código.
2. Mutações Sintáticas: Os autores definem uma gramática livre de contexto para fórmulas matemáticas e introduzem 18 tipos de mutação para equações e 12 para expressões. Essas mutações (por exemplo, adição comutativa, adição de zero, renomeação de variáveis) preservam a semântica, mas alteram a sintaxe. Eles geram variações até uma "distância sintática" de 5 (número de etapas de mutação).
3. Pipeline de Avaliação:
   • Geração: LLMs geram código para prompts originais e mutados.
   • Verificação: O código gerado é compilado e submetido a testes diferenciais contra soluções de referência usando 100 entradas aleatórias. Comparações de ponto flutuante utilizam um limite de épsilon para contabilizar erros de arredondamento.
   • Modelos Avaliados: GPT-3.5, GPT-4o, Llama-3.1-70B, CodeLlama e variantes aprimoradas em raciocínio (Cadeia de Pensamento, Compreendendo Profundamente Problemas).

Estratégias de Ataque

O artigo propõe estratégias de ataque de caixa preta para explorar falhas de robustez sintática aplicando mutações para minimizar a pontuação de robustez do modelo:

• NaiveUniform: Seleção aleatória de mutações.
• Uniform: Seleção aleatória garantindo uma distância sintática específica.
• Weighted: Seleção probabilística baseada em pontuações de impacto de mutação derivadas de perfis.
• Top-K: Seleção a partir dos 50% superiores de mutações identificadas como mais prejudiciais à robustez.

Estratégia de Mitigação

Para combater essas falhas, os autores propõem uma etapa de pré-processamento envolvendo redução de fórmulas. Esta técnica aplica um conjunto de regras de redução (por exemplo, remover adições/subtrações redundantes, deslocar termos para um lado de uma equação) para simplificar a fórmula matemática no prompt antes que ela seja enviada ao LLM. A hipótese é que fórmulas mais curtas e simplificadas são mais fáceis para os LLMs processarem corretamente.

Principais Resultados

1. Falta de Robustez Sintática (PQ1)

Os LLMs mais avançados não são sintaticamente robustos. À medida que a distância sintática (número de mutações) aumenta, o grau de robustez diminui consistentemente em todos os modelos.

• GPT-4o+CoT teve o melhor desempenho com uma robustez média de 87,4%, seguido pelo GPT-4o com 83,87%.
• Mesmo os melhores modelos mostraram um declínio no desempenho à medida que as mutações aumentavam, com o GPT-3.5 experimentando uma queda significativa (-9,52% por etapa de distância).

2. Raciocínio vs. Tradução (PQ2)

Há uma disparidade significativa na robustez com base no tipo de prompt:

• Prompts de tradução (fórmula direta para código) exibiram alta robustez (~83,80%).
• Prompts de raciocínio (exigindo derivação matemática) exibiram robustez significativamente menor (~42,86%).
• Prompts de raciocínio sofreram um declínio mais acentuado na robustez à medida que a distância sintática aumentava, em comparação com prompts de tradução.

3. Eficácia dos Ataques (PQ3)

As estratégias de ataque propostas degradam efetivamente a robustez sintática.

• Ataques Top-K e Weighted foram os mais eficazes.
• Usando a estratégia Top-K, a robustez sintática do GPT-3.5 em prompts de raciocínio caiu para 14,64% na distância 5.
• Ataques Top-K exigiram menos mutações para atingir um nível baixo de robustez alvo em comparação com outras estratégias (por exemplo, reduzir a robustez para 10% exigiu apenas 3 mutações com Top-K versus 5 com Weighted).

4. Mitigação via Redução (PQ4)

A etapa de pré-processamento de redução de fórmulas melhorou significativamente a robustez.

• Aplicar reduções a prompts mutados aumentou a robustez sintática em uma média de 20,37% entre os modelos.
• Para o GPT-4o+CoT, as reduções melhoraram a robustez mesmo sobre os prompts originais (não mutados) em 0,6%.
• A técnica mitigou com sucesso o impacto dos ataques Top-K, restaurando os níveis de robustez próximos aos dos prompts originais.

Significado e Alegações

O artigo afirma ser o primeiro a definir formalmente e avaliar sistematicamente a robustez sintática especificamente para geração de código baseada em LLMs envolvendo fórmulas matemáticas. Seu significado reside em:

1. Identificar uma Vulnerabilidade Crítica: Demonstrar que os LLMs são altamente sensíveis a variações sintáticas em entradas matemáticas, particularmente quando o raciocínio matemático é necessário.
2. Exposição Adversarial: Mostrar que essas vulnerabilidades podem ser exploradas via ataques de caixa preta para induzir falhas na geração de código com modificações mínimas de prompt.
3. Mitigação Prática: Propor uma técnica de pré-processamento leve e agnóstica ao modelo (redução de fórmulas) que aumenta significativamente a confiabilidade sem exigir re-treinamento do modelo ou alterações arquitetônicas.
4. Benchmarking: Fornecer um framework formal, um conjunto de dados de 52 prompts com regras de mutação e métricas de avaliação para avaliar a robustez em pesquisas futuras.

Os autores concluem que, embora os LLMs mostrem promessa na geração de código, sua falta de robustez sintática em contextos matemáticos torna necessária a utilização de estratégias de mitigação, como a redução de fórmulas, antes da implantação em pipelines críticos ou automatizados.