Resumo Técnico: Avaliação e Melhoria de LLMs para Geração de Código em Linguagens Sem Recursos

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham alcançado um sucesso significativo na automação de tarefas de engenharia de software para linguagens de alto recurso (ex: Python, Java) e, em menor escala, para linguagens de baixo recurso (ex: Lua, R), eles enfrentam uma lacuna crítica quando aplicados a linguagens sem recursos. Estas são linguagens que ficam fora da distribuição de pré-treinamento dos LLMs, frequentemente surgindo como linguagens proprietárias ou de domínio específico na indústria (ex: Gleam, MoonBit). Ferramentas comerciais como o GitHub Copilot não oferecem suporte a essas linguagens, forçando organizações a desenvolver soluções internas. No entanto, a falta de dados de treinamento torna incerto como especializar LLMs de forma eficaz para esses contextos sem incorrer em custos computacionais proibitivos ou perder a capacidade de seguir instruções.

Metodologia

Contexto e Benchmarks

O estudo avalia o desempenho de geração de código em nove linguagens categorizadas por disponibilidade de recursos:

• Alto Recurso: Python, Java (>10M de repositórios no GitHub).
• Baixo Recurso: R, Lua, Haskell, Julia, Racket (22k–981k repositórios).
• Sem Recurso: Gleam e MoonBit (<3k repositórios cada, lançadas recentemente).

Para avaliar essas linguagens, os autores construíram três benchmarks traduzindo conjuntos de dados existentes (HumanEval, MBPP e um subconjeto do McEval-Hard) para Gleam e MoonBit. Uma pipeline de tradução rigorosa foi empregada, envolvendo geração automatizada seguida de inspeção manual para garantir equivalência sintática e semântica com as tarefas originais.

Modelos

Seis LLMs de última geração foram avaliados, incluindo modelos comerciais (GPT-4o, o3-mini) e modelos de código aberto (Qwen 2.5 Coder 32B, Qwen 3 32B/8B), cobrindo tanto variantes base quanto ajustadas para instrução (instruction-tuned).

Estratégias Experimentais

O estudo investiga quatro estratégias para melhorar o desempenho em linguagens sem recursos:

1. Zero-Shot: Desempenho de linha de base sem contexto adicional.
2. Aprendizado em Contexto (In-Context Learning):
   • Few-Shot: Fornecer exemplos de código na linguagem alvo.
   • Geração Aumentada por Recuperação (RAG): Injetar trechos de documentação relevantes recuperados de manuais da linguagem.
3. Abordagens Baseadas em Treinamento:
   • Ajuste Fino (Fine-Tuning): Treinar modelos ajustados para instrução em pares de função-documentação coletados.
   • Pré-treinamento Adicional (Further Pre-Training): Continuar o pré-treinamento em modelos base usando código e documentação disponíveis.
4. Transferência de Instrução (Weight Diff): Uma abordagem novel onde as capacidades de seguir instruções são transferidas de um modelo ajustado para instrução existente ($M_i$) para um modelo base especializado ($M_{bk}$), calculando a diferença de pesos ($\Delta w = M_i - M_{base}$) e adicionando-a ao modelo especializado. Isso evita o alto custo do ajuste fino de instrução completo.

Principais Resultados

RQ1: Impacto da Popularidade da Linguagem

• Alto Recurso: Os LLMs alcançam altos scores pass@1 (59–97%).
• Baixo Recurso: O desempenho permanece razoável (27–87%), muitas vezes excedendo 50% de pass@1, sugerindo que os LLMs modernos generalizam bem mesmo com dados limitados.
• Sem Recurso: O desempenho colapsa. Em um cenário zero-shot, os scores pass@1 variam de 0% a 20%, caindo para próximo de 0% em tarefas complexas (McEval-Hard).
• Análise de Erros: As falhas em linguagens sem recursos são predominantemente sintáticas (até 90% para alguns modelos), enquanto as falhas em linguagens de alto recurso são majoritariamente semânticas. Isso indica que os LLMs carecem de conhecimento gramatical básico para essas linguagens.

RQ2: Impulsionando o Desempenho

• Aprendizado em Contexto: Few-shot e RAG proporcionam melhorias marginais (ex: aumentando o pass@1 de ~1% para ~8% em tarefas difíceis), mas são insuficientes para geração complexa. O Few-shot supera o RAG, provavelmente porque exemplos de código transmitem a gramática melhor do que a documentação.
• Fine-Tuning vs. Pré-Treinamento:
  • O ajuste fino de modelos ajustados para instrução melhora o desempenho, mas é limitado pela pequena quantidade de pares função-documentação de alta qualidade disponíveis (aprox. 0.5M–3.6M de tokens).
  • O Pré-treinamento Adicional em modelos base produz os melhores resultados entre as técnicas padrão, aproveitando todo o corpus de código e documentação (aprox. 13M–28M de tokens). Ele supera significativamente o ajuste fino (ex: 12.47% vs. 3.04% de pass@1 no McEval-Hard para Gleam).
  • Limitação: Modelos base pré-treinados perdem as capacidades de seguir instruções, tornando-os inadequados como assistentes de codificação diretos.

RQ3: Transferência de Instrução

• Aplicar a técnica de transferência de diferença de pesos (weight diff transfer) a modelos base pré-treinados restaura com sucesso as capacidades de seguir instruções sem a necessidade de um novo treinamento completo.
• Esta abordagem produz os maiores ganhos de desempenho, superando tanto os modelos ajustados para instrução quanto os modelos comerciais com prompting few-shot.
  • Exemplo: Em Gleam (McEval-Hard), a transferência de instrução elevou o pass@1 de 12.47% (base pré-treinado) para 26.08%.
  • Eficiência: Um modelo menor (Qwen 3 8B) com transferência de instrução superou um modelo maior (Qwen 3 32B) ajustado via fine-tuning em vários cenários, demonstrando que a transferência estratégica de conhecimento pode ser mais eficaz do que escalar o tamanho do modelo.

Significância e Contribuições

O artigo apresenta três contribuições primárias:

1. Benchmarks: O lançamento de três benchmarks de geração de código (HumanEval, MBPP, McEval-Hard) traduzidos para duas linguagens sem recursos (Gleam e MoonBit), abordando uma lacuna nas ferramentas de avaliação públicas para linguagens proprietárias.
2. Evidência Empírica: Um estudo abrangente quantificando a lacuna de desempenho entre linguagens de alto, baixo e sem recursos, identificando erros de sintaxe como o principal modo de falha para linguagens sem recursos.
3. Solução Prática: A demonstração de que o pré-treinamento adicional combinado com a transferência de instrução é uma solução de alto desempenho e custo-benefício para empresas que precisam implantar assistentes de codificação especializados para linguagens proprietárias. Esta abordagem permite que as organizações contornem os custos computacionais do ajuste fino de instrução enquanto alcançam resultados superiores em comparação com o aprendizado em contexto padrão ou ajuste fino.

Os autores concluem que, embora as linguagens sem recursos continuem sendo um desafio significativo para os LLMs prontos para uso (out-of-the-box), a metodologia proposta oferece um caminho viável para as organizações desenvolverem assistentes de codificação de IA especializados e internos.