CangjieBench: Benchmarking LLMs on a Low-Resource General-Purpose Programming Language

El artículo presenta CangjieBench, un nuevo benchmark libre de contaminación diseñado para evaluar el rendimiento de los modelos de lenguaje grandes en el lenguaje de programación general de bajo recurso Cangjie, revelando que la generación con restricciones sintácticas ofrece el mejor equilibrio entre precisión y costo, mientras que las tareas de traducción de código a código sufren de una transferencia negativa.

Lo esencial

¡Hola! Imagina que los Modelos de Lenguaje Grandes (LLMs), como los que usan para chatear o escribir código, son como chefes de cocina extremadamente talentosos.

Estos chefs han cocinado millones de platos de cocina italiana, francesa y china (que serían lenguajes como Python o C++). Conocen los ingredientes, las recetas y los trucos a la perfección. Pero, ¿qué pasa si de repente les pides que cocinen un plato de una cocina nueva, desconocida y con muy pocos libros de recetas disponibles?

Esa es la historia de este paper sobre CANGJIEBENCH.

Aquí te lo explico paso a paso, con analogías sencillas:

1. El Problema: El Chef y el Nuevo Libro de Recetas

El lenguaje Cangjie es como un nuevo estilo de cocina creado por Huawei para sus dispositivos (como teléfonos y relojes inteligentes). Es un lenguaje de programación "general", lo que significa que sirve para todo, no solo para una cosa específica.

El problema es que es muy nuevo y tiene pocos datos. Los chefs (las IAs) no han cocinado con él antes. Si les pides que cocinen un plato en Cangjie, suelen fallar porque no conocen las reglas básicas (la sintaxis), aunque entiendan perfectamente la lógica de la receta.

2. La Solución: CANGJIEBENCH (El Nuevo Desafío de Cocina)

Los autores crearon un examen de cocina llamado CANGJIEBENCH.

• ¿De dónde sacaron las recetas? No buscaron en internet (porque no hay muchas). En su lugar, tomaron recetas famosas y probadas en cocina italiana (Python) y las tradujeron manualmente al nuevo estilo Cangjie.
• ¿Por qué hacerlo así? Para asegurarse de que el examen sea limpio. Si los chefs hubieran visto estas recetas en internet antes, estarían "haciendo trampa" (memorizando). Al traducirlas manualmente, el examen prueba si el chef realmente puede aprender el nuevo estilo al instante.
• El examen tiene dos partes:
  1. Texto a Código: "Dime qué quieres cocinar" -> El chef escribe el código.
  2. Código a Código: "Aquí tienes la receta en italiano, tradúcela al Cangjie" -> El chef traduce.

3. Los Experimentos: ¿Cómo le va a los chefs?

Los investigadores probaron cuatro formas de ayudar a estos chefs a cocinar en Cangjie:

• A. Generación Directa (El Chef a ciegas):
  Le das la receta y el chef intenta cocinar sin ayuda.

  • Resultado: Desastre. La mayoría de los platos salen quemados o sin forma. El chef no sabe ni cómo sostener el cuchillo (la sintaxis) en este nuevo idioma.

• B. Generación con Restricciones de Sintaxis (El Chef con una "Hoja de Trucos"):
  Le das al chef una hoja pequeña y clara con las reglas básicas de Cangjie (ej: "los números van así", "los bucles se escriben así").

  • Resultado: ¡Milagro! La calidad mejora muchísimo. El chef ya sabe la lógica, solo necesitaba recordar las reglas gramaticales. Es la opción más eficiente: buena comida, poco esfuerzo.

• C. RAG (El Chef con una Biblioteca):
  Le das al chef acceso a una biblioteca gigante de libros de Cangjie para que busque información mientras cocina.

  • Resultado: Mejora un poco, pero no tanto como la "Hoja de Trucos". A veces el chef se pierde buscando en los libros y no encuentra lo que necesita rápido.

• D. Agentes (El Chef con un Ayudante de Investigación):
  Le das al chef un ayudante que puede buscar en la biblioteca, leer, escribir notas y corregir errores paso a paso.

  • Resultado: La mejor comida de todas. El plato sale perfecto. Pero... ¡cuesta una fortuna! El ayudante lee miles de páginas de libros, gasta mucho tiempo y energía (tokens). Es como contratar a un equipo entero de investigadores para cocinar una sola tortilla.

4. La Sorpresa: La Traducción es más difícil que la Invención

Encontraron algo curioso:

• Cuando les pedían crear el código desde cero (Texto a Código), los chefs lo hacían mejor.
• Cuando les pedían traducir una receta de italiano a Cangjie (Código a Código), lo hacían peor.
• ¿Por qué? Porque el chef se "enamora" de la receta original. Intenta copiar la estructura del italiano palabra por palabra, en lugar de pensar en cómo se hace en Cangjie. Es como intentar hablar español usando la gramática del chino; suena raro y no funciona.

5. Conclusión: ¿Qué aprendimos?

Este estudio nos dice que:

1. Las IAs actuales son muy inteligentes en lógica, pero débiles en gramática cuando se trata de lenguajes nuevos.
2. No hace falta reentrenar a la IA (que es caro y lento). Solo darle reglas claras y concisas (la "Hoja de Trucos") es la forma más rápida y barata de que aprenda un nuevo lenguaje.
3. Traducir código de un lenguaje conocido a uno nuevo es más difícil de lo que parece, porque la IA tiende a copiar los "vicios" del lenguaje antiguo.

En resumen: Si quieres que una IA aprenda un lenguaje de programación nuevo y raro, no le des un diccionario gigante ni la dejes sola. Dale una pequeña lista de reglas gramaticales y verás cómo cocina de maravilla.

Resumen técnico

Resumen Técnico: CANGJIEBENCH

1. El Problema

Los Modelos de Lenguaje Grande (LLMs) han demostrado un rendimiento excepcional en la generación y traducción de código para lenguajes de alto recurso (como Python o C++), donde existen vastos corpus de entrenamiento. Sin embargo, su capacidad para generalizar a lenguajes de programación de bajo recurso es limitada.

• Brecha en la investigación: La mayoría de los estudios actuales se centran en Lenguajes Específicos de Dominio (DSLs) como Verilog o Solidity. Esto dificulta distinguir si un fallo del modelo se debe a la falta de conocimiento sintáctico o a la falta de experiencia en el dominio específico.
• El caso de Cangjie: Cangjie es un lenguaje de propósito general moderno desarrollado por Huawei para el ecosistema HarmonyOS. A pesar de su importancia industrial, carece de un corpus público a gran escala, lo que lo convierte en un caso de estudio ideal para probar los límites de la generalización de los LLMs sin contaminación de datos preexistentes.
• Desafío de traducción: Traducir código de un lenguaje de alto recurso a uno de bajo recurso es más difícil que la generación desde cero, ya que requiere mapear la lógica del origen a una sintaxis estricta y desconocida del destino.

2. Metodología

Los autores presentan CANGJIEBENCH, el primer benchmark integral y libre de contaminación para el lenguaje Cangjie.

• Construcción del Dataset:

  • Dado que no existe suficiente código de alta calidad en repositorios abiertos, se adoptó una estrategia de traducción manual.
  • Se tradujeron 248 muestras de alta calidad desde los datasets estándar HumanEval (tareas a nivel de función) y ClassEval (tareas a nivel de clase) de Python a Cangjie.
  • Principios de construcción: Adaptación de tipos de datos, mantenimiento de convenciones de nomenclatura, replicación estricta del flujo algorítmico y eliminación de dependencias de bibliotecas externas que no tienen equivalente en Cangjie.
  • Garantía de calidad: El proceso fue realizado y verificado por expertos en Cangjie, asegurando cero contaminación de datos (los modelos no han visto Cangjie en su entrenamiento).

• Tareas Evaluadas:

  1. Texto-a-Código (Text-to-Code): Generación de código Cangjie a partir de instrucciones en lenguaje natural.
  2. Código-a-Código (Code-to-Code): Traducción de soluciones en Python a Cangjie.

• Paradigmas de Evaluación:
  Se evaluaron cuatro enfoques para determinar cuál permite mejor la generalización sin ajuste fino (fine-tuning):

  1. Generación Directa: Zero-shot sin asistencia adicional.
  2. Generación con Restricciones Sintácticas: Inyección de reglas gramaticales concisas y curadas por expertos en el prompt.
  3. Generación Aumentada por Recuperación (RAG): Uso de documentación oficial y fragmentos de código recuperados para proporcionar ejemplos in-context.
  4. Agentes: Uso de agentes CLI que simulan un flujo de trabajo iterativo de investigación, consulta de documentación y corrección de errores.

3. Contribuciones Clave

1. CANGJIEBENCH: Un benchmark de referencia libre de contaminación para un lenguaje de propósito general de bajo recurso, cubriendo desde funciones simples hasta clases complejas.
2. Nueva Perspectiva de Investigación: Trata Cangjie como un lenguaje de propósito general (no DSL), permitiendo evaluar la capacidad de los LLMs para aprender nueva sintaxis sin interferencia de conocimiento de dominio.
3. Evaluación Comparativa Exhaustiva: Establece líneas base sólidas comparando cuatro estrategias distintas (Directa, Restricciones, RAG, Agentes) en términos de precisión y costo computacional.
4. Descubrimiento de Transferencia Negativa: Identificó que la traducción de código (Code-to-Code) a menudo tiene un rendimiento inferior a la generación desde texto, sugiriendo que los modelos pueden sobreajustarse a los patrones del lenguaje fuente.

4. Resultados Principales

• Rendimiento de Generación Directa: Es extremadamente pobre. La mayoría de los modelos (incluidos GPT-5, DeepSeek-V3) obtienen puntuaciones Pass@1 inferiores al 5% y tasas de compilación casi nulas, confirmando que carecen de conocimiento sintáctico de Cangjie.
• Eficacia de las Restricciones Sintácticas: Este método ofrece el mejor equilibrio entre precisión y costo. Al proporcionar reglas gramaticales claras, el rendimiento de GPT-5 saltó del 4.3% al 53.8% en generación directa. Esto demuestra que los LLMs poseen la lógica algorítmica, pero necesitan ayuda sintáctica superficial.
• Agentes vs. Costo: Los agentes (especialmente GPT-5 con Codex CLI) lograron el estado del arte (77.6% de Pass@1), superando a todos los demás métodos. Sin embargo, incurrieron en un consumo de tokens masivo (cientos de miles de tokens), lo que los hace poco prácticos para aplicaciones de bajo costo.
• RAG: Aunque mejoró sobre la línea base directa, el RAG (tanto con código como con documentación) fue inferior a las restricciones sintácticas. Los modelos lucharon para generalizar gramática compleja a partir de fragmentos de código sueltos o generar consultas de búsqueda efectivas sin conocimiento previo.
• Fenómeno de Transferencia Negativa: En la tarea de traducción (Python a Cangjie), el rendimiento fue significativamente menor que en la generación desde texto. Los modelos tendieron a imitar la sintaxis dinámica de Python en lugar de generar la sintaxis estática correcta de Cangjie, lo que indica una interferencia del lenguaje fuente.

5. Significado e Impacto

• Adaptación Eficiente: El trabajo demuestra que para lenguajes nuevos, no es necesario reentrenar modelos masivamente. La inyección de reglas sintácticas contextuales es una estrategia altamente eficiente y rentable.
• Límites de la Generalización: Revela que la capacidad de los LLMs para aprender nuevos lenguajes está limitada principalmente por la sintaxis, no por la lógica.
• Guía para el Futuro: Sugiere que el futuro de la generación de código en lenguajes de bajo recurso debe centrarse en:
  • Métodos automatizados para extraer e inyectar reglas gramaticales mínimas.
  • Estrategias híbridas: usar restricciones sintácticas para tareas simples y activar agentes solo cuando sea necesario para tareas complejas o depuración.
  • Investigación en traducción semántica alineada que evite el "ruido sintáctico" del lenguaje fuente.

En conclusión, CANGJIEBENCH proporciona una herramienta crítica para evaluar cómo los modelos de IA se adaptan a la realidad de un ecosistema de software en evolución donde surgen constantemente nuevos lenguajes sin datos históricos masivos.