CangjieBench: Benchmarking LLMs on a Low-Resource General-Purpose Programming Language

O artigo apresenta o CangjieBench, um benchmark livre de contaminação para avaliar modelos de linguagem em Cangjie, uma linguagem de programação geral de baixo recurso, revelando que a geração com restrições sintáticas oferece o melhor equilíbrio entre precisão e custo, enquanto a tradução de código para código sofre de transferência negativa.

O essencial

Imagine que os Modelos de Linguagem (LLMs), como o ChatGPT ou o Claude, são como chefes de cozinha de classe mundial. Eles são mestres em cozinhar pratos complexos com ingredientes que conhecem muito bem, como tomate, queijo e massa (que seriam linguagens de programação populares como Python ou C++). Eles podem criar receitas incríveis com esses ingredientes porque já leram milhões de livros de culinária sobre eles.

Agora, imagine que surge um novo ingrediente, totalmente desconhecido, chamado "Cangjie". Ele é a base de um novo sistema operacional (HarmonyOS) e promete ser incrível, mas ninguém no mundo já escreveu um livro de receitas sobre ele. Não há milhões de receitas na internet.

É aqui que entra o CANGJIEBENCH, o tema deste artigo.

O Problema: O Chef sem o Livro de Receitas

Os pesquisadores queriam saber: "Se dermos a esses chefs de cozinha uma receita escrita em português (Python) e pedirmos que eles a cozinhem usando o ingrediente novo Cangjie, eles conseguirão?"

O problema é que, sem um livro de receitas (dados de treinamento), os chefs tendem a:

1. Inventar ingredientes que não existem (erros de sintaxe).
2. Tentar usar o tomate de um jeito que não funciona com o Cangjie.
3. Simplesmente falhar.

A Solução: O "CANGJIEBENCH" (O Teste de Cozinha)

Os autores criaram um teste de culinária chamado CANGJIEBENCH. Em vez de tentar encontrar receitas na internet (o que é impossível, pois o Cangjie é novo demais), eles pegaram receitas famosas e testadas (do banco de dados HumanEval e ClassEval) e traduziram manualmente para o Cangjie.

É como se eles tivessem pegado 248 pratos famosos, escrito a versão original em português e depois, com muito cuidado, reescrito cada passo para usar o ingrediente Cangjie, garantindo que a receita fosse correta. Isso cria um "campo de treinamento" limpo, onde não há trapaça (os modelos não podem ter "decorado" a resposta antes).

O teste tem duas partes:

1. Do Texto para o Código: "Faça um bolo de chocolate" (descrição em texto) -> O chef tenta escrever a receita em Cangjie.
2. Do Código para o Código: "Aqui está a receita do bolo em português, agora escreva-a em Cangjie" (tradução).

O Experimento: Como os Chefes Tentaram

Os pesquisadores testaram quatro estratégias diferentes para ajudar os chefs a lidar com esse ingrediente novo:

1. Geração Direta (O "Chute"):

   • A analogia: Você pede ao chef: "Faça um bolo com Cangjie!" e espera que ele adivinhe.
   • Resultado: Foi um desastre. Quase nada funcionou. O chef não sabia nem como segurar a colher (sintaxe).

2. Geração com Restrições de Sintaxe (O "Guia Rápido"):

   • A analogia: Você entrega ao chef um pequeno cartão com as regras básicas: "No Cangjie, o açúcar vai antes da farinha, e use este tipo de panela".
   • Resultado: Surpreendente! Foi a melhor relação entre esforço e resultado. O chef já sabia cozinhar (lógica), só precisava saber as regras do novo ingrediente. Com esse cartão, a qualidade dos pratos subiu muito.

3. RAG (Recuperando Informações - O "Google"):

   • A analogia: Você diz ao chef: "Vou te dar um monte de livros de culinária antigos e páginas da internet sobre Cangjie. Procure o que precisa e use".
   • Resultado: Funcionou um pouco melhor do que o chute, mas foi confuso. O chef gastava muito tempo lendo livros ruins ou procurando a informação errada.

4. Agentes (O "Estagiário Investigador"):

   • A analogia: Você dá ao chef um computador e permissão para pesquisar. O chef pode ler o manual, tentar cozinhar, ver que errou, pesquisar de novo, corrigir e tentar de novo, sozinho.
   • Resultado: Foi o que produziu os melhores pratos (mais precisos). O chef aprendeu no processo.
   • O porém: Custou uma fortuna em tempo e energia (tokens). Foi como se o chef tivesse passado 10 horas pesquisando para fazer um bolo que o "Guia Rápido" faria em 10 minutos.

A Grande Descoberta: A "Maldição da Tradução"

Uma descoberta curiosa foi que, às vezes, traduzir uma receita existente (de Python para Cangjie) foi pior do que criar uma do zero (do texto para o código).

• Por que? O chef ficou "viciado" na forma como a receita estava escrita em português. Ele tentou copiar a estrutura do português para o Cangjie, o que estragou o prato. Quando ele teve que criar do zero (do texto), ele foi mais criativo e seguiu as regras do Cangjie com mais liberdade.

Conclusão Simples

Este estudo nos ensina duas coisas importantes para o futuro da Inteligência Artificial:

1. Não precisamos de milhões de livros para ensinar uma IA uma nova linguagem. Se a IA já é inteligente (sabe a lógica), basta dar a ela um guia de regras simples (o cartão de sintaxe) e ela aprende rápido e barato.
2. Às vezes, ter o código original atrapalha. Quando tentamos traduzir código de uma linguagem antiga para uma nova, a IA pode ficar presa nos hábitos da antiga. Às vezes, é melhor pedir para ela criar a lógica do zero na nova linguagem.

Em resumo: O CANGJIEBENCH é a prova de que, para ensinar uma IA uma nova linguagem de programação, não é necessário reescrever todo o cérebro dela. Basta dar a ela as regras do jogo e deixá-la brincar.

Resumo técnico

Resumo Técnico: CANGJIEBENCH

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram proficiência excepcional em linguagens de programação de alto recurso (como Python e C++), onde há vasta disponibilidade de dados de treinamento. No entanto, eles lutam significativamente com linguagens de baixo recurso (low-resource).

• Limitação da Pesquisa Atual: A maioria dos estudos sobre linguagens de baixo recurso foca em Linguagens Específicas de Domínio (DSLs), como Verilog ou Solidity. Isso dificulta a distinção entre falhas devido à falta de conhecimento sintático versus falta de expertise de domínio.
• O Caso do Cangjie: O Cangjie é uma linguagem de propósito geral moderna, desenvolvida pela Huawei para o ecossistema HarmonyOS. Apesar de seu potencial industrial, é uma linguagem "nascida" (lançada em julho de 2025) com escassez de dados públicos e corpora de treinamento. Isso cria um cenário ideal para testar os limites da generalização de LLMs sem contaminação de dados pré-existentes.
• Desafio de Tradução: A tradução de código de linguagens de alto recurso (ex: Python) para baixo recurso (ex: Cangjie) é um desafio industrial crítico, mas os benchmarks existentes focam principalmente em pares de linguagens de alto recurso.

2. Metodologia

Os autores introduzem o CANGJIEBENCH, o primeiro benchmark abrangente e livre de contaminação para a linguagem Cangjie.

• Construção do Dataset:

  • Devido à escassez de código aberto de alta qualidade, os autores adotaram uma estratégia de tradução manual.
  • O dataset foi derivado de dois benchmarks famosos de Python: HumanEval (tarefas de nível de função) e ClassEval (tarefas de nível de classe/POO).
  • Foram traduzidos 248 amostras de alta qualidade (164 do HumanEval e 84 do ClassEval) para Cangjie, garantindo fidelidade algorítmica, adaptação de tipos e convenções de nomenclatura.
  • O processo envolveu verificação iterativa para eliminar viés de tradução e garantir que o código gerado fosse compilável e correto.
  • Tarefas: O benchmark suporta duas tarefas principais:
    1. Text-to-Code: Geração de código Cangjie a partir de instruções em linguagem natural.
    2. Code-to-Code: Tradução de soluções Python existentes para Cangjie.

• Paradigmas de Avaliação:
  Para investigar como os LLMs podem generalizar para uma linguagem não vista sem ajuste de parâmetros (fine-tuning), quatro abordagens foram testadas:

  1. Geração Direta (Direct Generation): Zero-shot, sem assistência.
  2. Geração com Restrições Sintáticas (Syntax-Constrained): Injeção de regras gramaticais concisas e curadas por especialistas no prompt para guiar o modelo.
  3. Geração Aumentada por Recuperação (RAG): Uso de bases de conhecimento externas, incluindo documentação oficial (RAG Docs) e repositórios de código Cangjie (RAG Code).
  4. Agentes (Agent): Uso de agentes baseados em CLI que simulam um fluxo de trabalho de desenvolvimento iterativo, consultando documentação e corrigindo erros autonomamente.

• Métricas: Pass@1 (correção funcional), Taxa de Compilação (correção sintática) e Consumo de Tokens (custo computacional).

3. Principais Contribuições

1. CANGJIEBENCH: O primeiro benchmark de alta qualidade para Cangjie, garantindo zero contaminação de dados (pois foi construído via tradução manual e não raspagem da web) e cobrindo dificuldades variadas, desde funções simples até classes complexas.
2. Nova Perspectiva de Pesquisa: Trata o Cangjie como uma linguagem de propósito geral de baixo recurso, permitindo avaliar a capacidade de aprendizado de sintaxe sem interferência de conhecimento de domínio específico (diferente de DSLs).
3. Avaliação Comparativa Abrangente: Estabelece baselines sólidas comparando quatro paradigmas distintos (Geração Direta, Restrições Sintáticas, RAG e Agentes) em cenários de Text-to-Code e Code-to-Code.
4. Descoberta de Transferência Negativa: Revela que a tradução de código (Code-to-Code) pode, paradoxalmente, ter desempenho inferior à geração a partir de texto (Text-to-Code) em linguagens de baixo recurso.

4. Resultados Chave

• Desempenho da Geração Direta: Extremamente pobre. A maioria dos modelos (incluindo GPT-5, DeepSeek-V3) obteve taxas de sucesso (Pass@1) inferiores a 5%. A taxa de compilação foi quase idêntica à taxa de sucesso, indicando que o problema principal não é a lógica, mas a falta de conhecimento sintático (os modelos geram código que não compila).
• Eficácia das Restrições Sintáticas: Esta abordagem ofereceu o melhor equilíbrio entre precisão e custo. Ao injetar regras gramaticais no prompt, o desempenho do GPT-5 saltou de 4,3% para 53,8% no Pass@1. Isso sugere que os LLMs já possuem a lógica algorítmica, mas precisam apenas de "ajuda" na sintaxe superficial.
• RAG vs. Restrições Sintáticas: O RAG (tanto com documentação quanto com código) melhorou o desempenho em relação à geração direta, mas subiu inferior ao método de Restrições Sintáticas. O RAG falhou porque os modelos têm dificuldade em generalizar gramática complexa a partir de snippets isolados ou geram consultas de busca ruins para documentação.
• Agentes: Alcançaram o estado da arte (SOTA), com o agente GPT-5 (Codex CLI) atingindo 77,6% de Pass@1. No entanto, isso veio com um custo proibitivo de tokens (centenas de milhares de tokens por problema), tornando-o menos eficiente para aplicações práticas.
• Fenômeno de Transferência Negativa: No modo Code-to-Code, o desempenho foi frequentemente inferior ao modo Text-to-Code. Os modelos tendem a "superajustar" (overfit) aos padrões da linguagem fonte (Python), tentando imitar sua tipagem dinâmica e idiossincrasias, o que entra em conflito com a sintaxe estrita do Cangjie. A geração direta a partir de texto permite que o modelo construa a estrutura alvo sem a interferência da sintaxe da fonte.

5. Significado e Implicações

• Generalização de LLMs: O trabalho demonstra que a generalização para novas linguagens de propósito geral é viável através de contexto rico (in-context learning) e regras sintáticas explícitas, sem a necessidade imediata de fine-tuning massivo.
• Direção Futura para Engenharia de Software: Para linguagens emergentes, a estratégia mais eficiente de custo-benefício é fornecer regras sintáticas concisas (Syntax-Constrained). O uso de Agentes deve ser reservado para tarefas complexas onde a precisão máxima é necessária, apesar do alto custo.
• Mudança de Paradigma na Tradução: A descoberta de que a tradução direta de código pode ser prejudicial sugere que futuros sistemas de tradução devem focar em representações intermediárias semânticas, evitando a transferência direta de padrões sintáticos da linguagem fonte.
• Recurso para a Comunidade: O CANGJIEBENCH fornece um ambiente de teste rigoroso e limpo para avaliar a adaptação de modelos a linguagens de baixo recurso, preenchendo uma lacuna crítica deixada pelos benchmarks focados em DSLs.

Em suma, o artigo estabelece que, embora os LLMs atuais lutem com sintaxes desconhecidas, eles possuem a capacidade lógica subjacente para resolver problemas; a chave para o sucesso em linguagens de baixo recurso reside na orientação sintática eficiente e na mitigação da interferência da linguagem fonte durante a tradução.