Resumo Técnico: SURGE: Sobre o Potencial de Grandes Modelos de Linguagem como Executores de Código Surrogados de Propósito Geral

Declaração do Problema

Modelos substitutos neurais são ferramentas estabelecidas para aproximar processos computacionais complexos em mineração de dados e computação científica, oferecendo eficiência sobre a simulação direta. Concurrentemente, Grandes Modelos de Linguagem (LLMs) demonstraram capacidades significativas na compreensão e geração de código. No entanto, uma questão crítica e pouco explorada permanece: Os LLMs podem servir como executores de código substitutos de propósito geral? Essa capacidade envolve prever o comportamento de execução, a saída ou erros de um programa sem executá-lo realmente.

A capacidade de prever resultados de execução de código sem execução real possui potencial significativo para:

• Computação Científica: Reduzir o custo computacional e o tempo de execução de simulações e otimizar configurações.
• Segurança: Avaliar o comportamento de código não confiável em ambientes sensíveis sem expor sistemas a vulnerabilidades.
• Restrições de Recursos: Executar código em ambientes onde compiladores específicos ou dependências estão indisponíveis.
• Desenvolvimento de IA: Melhorar a compreensão de código, a geração e o raciocínio matemático, prevendo com precisão saídas ou erros potenciais. Além disso, a previsão precisa de execução é vital para LLMs atuando como modelos de recompensa em aprendizado por reforço para tarefas de código.

Abordagens tradicionais, como execução simbólica ou ambientes contenerizados, lutam com generalização entre linguagens, escalabilidade ou ainda exigem execução completa. Enquanto estudos recentes abordaram LLMs como executores de código, eles frequentemente dependem de estudos de caso em vez de análises sistemáticas e em grande escala.

Metodologia: O Benchmark SURGE

Para investigar sistematicamente a viabilidade de LLMs como executores substitutos, os autores introduzem o SURGE, um benchmark abrangente composto por 1.160 problemas distribuídos em 8 subconjuntos distintos. A construção do conjunto de dados emprega quatro metodologias: Refatoração Iterativa, Amostragem de Repositórios, Implementação Manual e Inferência e Verificação.

Os 8 subconjuntos cobrem dimensões diversas da execução de código:

1. Código Multilíngue (ML): Tarefas de programação fundamentais em 7 linguagens (C, C++, C#, Java, Rust, Python, Julia) adaptadas do McEval.
2. Código de Nível de Competição (CL): Problemas de alta dificuldade de plataformas como LeetCode e Luogu, categorizados em 5 níveis de dificuldade.
3. Código de Nível de Repositório (RL): Base de código com múltiplos arquivos (por exemplo, solucionadores de Sudoku, geradores de LaTeX) testando dependências de longo alcance e estruturas de arquivos.
4. Computação Científica (SC): Simulações de alto custo, incluindo resolução de EDOs, otimização (descida de gradiente), resolução de EDPs e FFT.
5. Algoritmos Demorados (TC): Tarefas computacionalmente intensivas (por exemplo, TSP, Ciclo Hamiltoniano, simulações de Monte Carlo) com tempos de execução de CPU variados.
6. Código com Bugs (BG): Código contendo erros injetados (do DebugBench) para testar a previsão de erros de tempo de execução e exceções.
7. Resultados Diferenciais (DR): Fragmentos de código que produzem saídas diferentes com base em versões de compilador, padrões C++ ou níveis de otimização.
8. Matemática Formal (FL): Provas de teoremas em Lean4 para avaliar a capacidade de verificar a correção matemática por meio de feedback do compilador.

Métricas de Avaliação: O benchmark utiliza métricas adaptadas para cada subconjunto, incluindo Correspondência Exata, Distância de Edição, Similaridade Ratcliff/Obershelp, Erro Absoluto Relativo (RAE), Correlação de Ranks (Spearman) e Similaridade de Jaccard para mensagens de erro.

Configuração Experimental: Os autores avaliaram 21 LLMs (tanto de código aberto quanto proprietários, variando de 0,5B a 70B+ parâmetros) sob três estratégias de prompt: Zero-shot, Zero-shot com Cadeia de Pensamento (CoT) e Few-shot com CoT.

Resultados Principais

A avaliação extensiva revela que, embora os LLMs mostrem promessa, eles são atualmente aproximadores e não executores exatos.

• Desempenho do Modelo: Mesmo os modelos mais fortes (por exemplo, Claude-3.5-Sonnet, GPT-4o) alcançam apenas desempenho moderado no SURGE, destacando a dificuldade e o poder discriminativo do benchmark. O desempenho varia significativamente entre os subconjuntos; por exemplo, os modelos se destacam em Python, mas lutam com Rust devido às regras estritas de propriedade.
• Leis de Escala: O desempenho melhora consistentemente com o tamanho do modelo e os passos de treinamento. Modelos maiores (por exemplo, 70B) demonstram maior eficiência de aprendizado e tetos de desempenho em comparação com contrapartes menores (por exemplo, 0,5B).
• Estratégias de Prompt: A Cadeia de Pensamento (CoT) e o aprendizado Few-shot geralmente melhoram o desempenho, embora sua eficácia varie conforme a tarefa. Notavelmente, a CoT pode às vezes degradar o desempenho em tarefas de otimização ao adicionar complexidade desnecessária.
• Anomalias e Limitações:
  • Superpensamento: Em alguns casos, modelos maiores performaram pior do que modelos menores ao se envolverem em raciocínio excessivamente complexo que levou a erros lógicos críticos, enquanto modelos menores compreenderam corretamente a lógica central.
  • Correlação com Tempo de Execução: A precisão da previsão cai drasticamente à medida que o tempo real de execução da CPU do programa alvo aumenta. Para tarefas que exigem >1 segundo de execução, até mesmo modelos de última geração lutam para produzir respostas corretas.
  • Previsão de Erros: No subconjunto de Matemática Formal, modelos mais fortes às vezes performaram pior ao "alucinar" ativamente erros em código correto, enquanto modelos menores assumiram que o código estava livre de erros, alcançando acidentalmente maior precisão em conjuntos de dados balanceados.
• Análise de Erros: Os principais modos de falha envolvem Processo de Cálculo e Precisão de Cálculo, particularmente em configurações CoT onde a própria cadeia de raciocínio introduz erros. Os modelos também lutam com Consciência de Contexto em tarefas de nível de repositório.

Significado e Contribuições

O artigo reivindica as seguintes contribuições principais:

1. Benchmark SURGE: A introdução do primeiro benchmark holístico especificamente projetado para avaliar LLMs como executores de código substitutos de propósito geral, cobrindo 8 aspectos diversos da execução de código.
2. Avaliação em Grande Escala: A primeira análise sistemática de 21 LLMs em tarefas de execução substituta, fornecendo dados empíricos sobre suas capacidades e limitações.
3. Insights sobre Leis de Escala: Uma investigação sobre como o tamanho do modelo e a escala dos dados de treinamento afetam as capacidades de execução substituta, descobrindo que essas tarefas seguem leis de escala semelhantes a outras tarefas de linguagem.

Os autores concluem que, embora os LLMs possuam o potencial de servir como substitutos eficientes para processos computacionais, há espaço significativo para melhoria em fundamentar esses modelos para lidar com casos extremos, comportamentos intrincados de tempo de execução e mudanças de estado dependentes de execução. O trabalho mapeia o cenário atual e sugere que pesquisas futuras devem focar em aprimorar a robustez do raciocínio e integrar LLMs com técnicas tradicionais de análise de programas.