Multi-LCB: Extending LiveCodeBench to Multiple Programming Languages

Resumo Técnico: Multi-LCB

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades significativas em geração de código, os benchmarks existentes sofrem de limitações críticas. Conjuntos de dados padrão como HumanEval, MBPP e APPS são frequentemente estáticos, propensos à contaminação de dados de treinamento e fortemente enviesados para Python. O LiveCodeBench (LCB) abordou questões de contaminação e escopo ao curar problemas de programação competitiva com filtragem por data de lançamento; no entanto, ele permanece restrito ao Python. Esta limitação obscurece uma realidade fundamental da engenharia de software: desenvolvedores trabalham em diversas linguagens com sintaxes, semânticas e idiomatismos distintos. Consequentemente, permanece incerto se os LLMs possuem uma competência de codificação translinguística genuína ou se seu desempenho é apenas um resultado de sobreajuste (overfitting) ao Python e vazamento de dados específico da linguagem.

Metodologia

Os autores introduzem o Multi-LCB, um benchmark que estende o framework LiveCodeBench para doze linguagens de programação: C++, C#, Python, Java, Rust, Go, TypeScript, JavaScript, Ruby, PHP, Kotlin e Scala. A metodologia central envolve a transformação das tarefas existentes do LCB, centradas em Python, em tarefas equivalentes em outras linguagens, preservando estritamente os controles de contaminação e os protocolos de avaliação do LCB.

Os componentes técnicos principais incluem:

• Pipeline de Conversão de Tarefas: O benchmark converte o formato "Funcional" do LCB (específico para LeetCode, onde uma função é implementada) em um formato unificado de STDIN/STDOUT. Isso é alcançado via um pipeline automático que:
  1. Adapta as declarações de problemas em linguagem natural e exemplos para os prompts do modelo.
  2. Converte todos os casos de teste (públicos e ocultos) de asserções funcionais para fluxos de entrada/saída independentes de linguagem.
  3. Garante que as tarefas permaneçam agnósticas à linguagem, uma vez que os problemas de origem do LeetCode, AtCoder e Codeforces são elaborados para evitar ambiguidades específicas de linguagem.
• Protocolo de Avaliação: O sistema adota uma estratégia de prompting zero-shot. Os modelos são instruídos a agir como especialistas na linguagem alvo e gerar um programa completo que lê da entrada padrão e escreve na saída padrão.
• Ambiente de Execução: O código é executado em containers de sandbox isolados com limites rigorosos de recursos (6s de tempo de parede, 4GB de memória) usando compiladores/interpretadores específicos (ex: GCC 13 para C++, OpenJDK 21 para Java).
• Métricas: O desempenho é medido usando Pass@1 (a fração de tarefas resolvidas corretamente pela primeira solução gerada) através de suítes de testes ocultos, com média sobre 10 execuções.

O estudo avaliou 24 LLMs diversos (variando de 7B a 685B de parâmetros), incluindo variantes ajustadas por instrução e aumentadas por raciocínio de famílias como Qwen3, DeepSeek e GPT-OSS.

Resultados Principais

A avaliação de 24 modelos no dataset Multi-LCB (cobrindo tarefas lançadas entre fevereiro e maio de 2025) rendeu várias descobertas críticas:

1. Python Não é um Proxy Confiável: Um forte desempenho em Python não garante competência em outras linguagens. Modelos que superam outros em Python frequentemente perdem sua vantagem em linguagens como Go, Rust ou Scala. Por exemplo, o GPT-OSS-120B (Médio) superou o Qwen3-235B em diversas linguagens não-Python, apesar do score superior deste último em Python.
2. Sobreajuste ao Python (Python Overfitting): Existe um viés consistente em direção ao Python. Gráficos de dispersão de Python Pass@1 versus a média de cross-language Pass@1 mostram que quase todos os modelos situam-se acima da diagonal, com alguns modelos aumentados por raciocínio exibindo lacunas superiores a 60% em Python versus menos de 30% em outras linguagens.
3. Contaminação Específica de Linguagem: A evidência de vazamento de dados varia significamente por linguagem, refletindo distribuições desiguais nos corpora de pré-treinamento. Tarefas mais antigas (pré-cutoff) mostraram scores inflados, enquanto tarefas pós-cutoff revelaram as verdadeiras capacidades de generalização.
4. Disparidades de Desempenho: Existe um gradiente de dificuldade claro entre as linguagens. O Python alcançou o maior mean Pass@1 (48%), seguido por Java e C++ (44%). Linguagens estaticamente tipadas ou menos prevalentes, como Scala, ficaram consistentemente abaixo, com médias menores que 29%.
5. Fidelidade do Benchmark: Comparações com o leaderboard original do LiveCodeBench mostraram alta fidelidade, com diferenças tipicamente dentro de alguns pontos percentuais, confirmando que o processo de conversão não introduziu dificuldade artificial para as tarefas de Python.

Significância e Alegações

O artigo afirma que o Multi-LCB estabelece um benchmark rigoroso e consciente de contaminação para avaliar a geração de código multilíngue. Sua principal significância reside em:

• Abordar a Limitação do Python: Ele desafia diretamente a suposição de que o desempenho em Python é suficiente para mensurar a habilidade de codificação geral, expondo lacunas críticas nas capacidades atuais dos LLMs em relação à generalização entre linguagens.
• Avaliação Sistemática: Ao manter a compatibilidade com o formato e o ciclo de atualização do LCB original, o Multi-LCB permite o acompanhamento sistemático de melhorias futuras de modelos em múltiplas linguagens.
• Reprodutibilidade: Os autores liberam publicamente todos os prompts, código-fonte e configurações experimentais para facilitar pesquisas futuras.

Os autores concluem que os LLMs atuais exibem disparidades de desempenho substanciais entre as linguagens e que alcançar uma competência de codificação robusta e agnóstica à linguagem continua sendo um desafio significativo, necessitando de um aumento na cobertura de treinamento para linguagens não-Python.