CangjieBench: Benchmarking LLMs on a Low-Resource General-Purpose Programming Language

Die Arbeit stellt CangjieBench vor, einen kontaminationsfreien Benchmark für die Low-Resource-Programmiersprache Cangjie, der zeigt, dass zwar Agenten die höchste Genauigkeit erreichen, aber die Syntax-gesteuerte Generierung den besten Kompromiss zwischen Genauigkeit und Kosten bietet, während Code-zu-Code-Übersetzungen aufgrund negativer Übertragung oft schlechter abschneiden als Text-zu-Code-Generierung.

Das Wesentliche

Stell dir vor, du bist ein genialer Koch (ein KI-Modell), der Millionen von Rezepten für Pizza, Sushi und Burger kennt. Du kannst diese Gerichte blindlings und perfekt zubereiten. Aber dann kommt ein neuer, exotischer Trend auf: „Cangjie". Es ist eine völlig neue Art zu kochen, die erst vor kurzem erfunden wurde. Niemand hat bisher viele Rezepte dafür geschrieben, und dein Kochbuch ist voll von den alten Klassikern, aber leer für dieses neue Ding.

Das ist genau das Problem, das die Forscher in diesem Papier mit CANGJIEBENCH untersuchen.

Hier ist die Geschichte, einfach erklärt:

1. Das Problem: Der Koch ohne Kochbuch

Die meisten KI-Modelle sind super darin, Code in Sprachen wie Python oder C++ zu schreiben, weil sie Milliarden von Beispielen dazu gelernt haben. Aber Cangjie (eine neue Programmiersprache von Huawei für das HarmonyOS-Ökosystem) ist wie ein neues Kochbuch, das noch niemand gelesen hat. Es gibt kaum Daten im Internet. Wenn man die KI einfach fragt: „Koch mir einen Cangjie-Burger", scheitert sie meistens, weil sie die „Grammatik" (die Zutaten und Anweisungen) nicht kennt.

2. Die Lösung: Ein sauberer Test (CANGJIEBENCH)

Die Forscher wollten herausfinden: Kann diese KI auch etwas Neues lernen, ohne dass man sie neu ausbilden muss?

Da es im Internet keine guten Cangjie-Rezepte gab, haben sie sich etwas Cleveres ausgedacht:

• Sie haben bekannte, einfache Aufgaben aus dem Python-Kochbuch (wie „Schreibe eine Funktion, die Zahlen addiert") genommen.
• Sie haben diese Aufgaben von Hand ins Cangjie-Format übersetzt.
• Das Ergebnis ist CANGJIEBENCH: Ein Test, der zu 100 % sauber ist. Da die KI diese spezifischen Cangjie-Aufgaben noch nie gesehen hat, kann sie sie nicht einfach auswendig gelernt haben. Es ist ein echter Test ihres Lernvermögens.

3. Die vier Strategien: Wie versucht die KI, das Problem zu lösen?

Die Forscher haben vier verschiedene Methoden ausprobiert, um der KI zu helfen, diesen neuen „Burger" zu kochen:

• Methode A: Der „Blindflug" (Direct Generation)
  Die KI bekommt nur die Frage: „Koch mir das." Ohne Hilfe.
  Ergebnis: Katastrophe. Die KI versucht, Python-Regeln auf Cangjie anzuwenden. Das Ergebnis ist wie ein Burger mit Schuhen statt Brötchen – es sieht aus wie Essen, aber es funktioniert nicht.

• Methode B: Der „Kochzettel" (Syntax-Constrained Generation)
  Die Forscher geben der KI einen kleinen Zettel mit den wichtigsten Cangjie-Regeln (z. B. „Hier benutzt man ein Komma, nicht ein Semikolon").
  Ergebnis: Das war der Gewinner! Mit nur ein paar klaren Regeln konnte die KI plötzlich sehr gute Ergebnisse liefern. Es war der beste Kompromiss zwischen Aufwand und Erfolg. Die KI wusste schon, was sie tun musste (die Logik), sie brauchte nur die Regeln, wie sie es schreibt.

• Methode C: Der „Nachschlage-Service" (RAG)
  Die KI darf in einem digitalen Wörterbuch oder einer Bibliothek nachschauen, bevor sie kocht.
  Ergebnis: Es half etwas, aber nicht so gut wie der Kochzettel. Die KI fand oft die falschen Seiten oder verstand die Hinweise nicht richtig, weil sie die Sprache gar nicht kannte.

• Methode D: Der „Auszubildende mit Werkzeugkasten" (Agent)
  Die KI bekommt einen virtuellen Assistenten. Sie darf selbstständig Befehle eingeben, um in der Dokumentation nachzuschauen, Fehler zu finden und es nochmal zu versuchen. Sie denkt nach, prüft und korrigiert sich selbst.
  Ergebnis: Die beste Qualität. Wenn die KI so viel Zeit und „Gedankenarbeit" (Token-Verbrauch) investiert, liefert sie fast perfekte Ergebnisse. Aber es ist extrem teuer und langsam, wie ein Koch, der für einen Burger drei Stunden lang alle Schränke durchsucht.

4. Die überraschende Entdeckung: „Zu viel Hilfe schadet"

Ein sehr interessanter Punkt: Wenn die KI eine Python-Lösung hat und sie einfach ins Cangjie übersetzen soll (Code-to-Code), macht sie schlechtere Fehler als wenn sie nur eine Textbeschreibung bekommt (Text-to-Code).

• Warum? Die KI versucht, die Python-Struktur zu kopieren, statt die Cangjie-Regeln zu lernen. Sie „verklebt" sich an das Alte. Es ist, als würde ein Koch versuchen, ein japanisches Gericht zu kochen, indem er einfach die Zutaten des deutschen Rezepts nimmt, aber die japanischen Namen benutzt. Das funktioniert nicht.

Fazit für den Alltag

Diese Studie zeigt uns etwas Wichtiges über die Zukunft der KI:
Wenn eine neue Technologie (wie eine neue Programmiersprache) auf den Markt kommt, müssen wir nicht unbedingt eine riesige neue KI bauen. Oft reicht es, der alten KI ein kluges Handbuch (die Syntax-Regeln) zu geben. Damit kann sie fast so gut arbeiten wie ein Experte, ohne dass wir Jahre an Daten sammeln müssen.

CANGJIEBENCH ist also wie ein neuer Fahrtest für KI-Autos: Er zeigt, dass das Auto nicht unbedingt einen neuen Motor braucht, um auf einer neuen Straße zu fahren – es braucht nur eine gute Landkarte und ein paar klare Verkehrsregeln.

Technische Zusammenfassung

1. Problemstellung und Motivation

Große Sprachmodelle (LLMs) zeigen zwar hervorragende Leistungen bei der Code-Generierung in ressourcenstarken Sprachen wie Python oder C++, scheitern jedoch oft an ressourcenarmen Programmiersprachen. Bisherige Forschung konzentrierte sich hauptsächlich auf domänenspezifische Sprachen (DSLs) wie Verilog oder Solidity. Dies erschwert die Unterscheidung, ob ein Modell aufgrund fehlender syntaktischer Kenntnisse oder mangels domänenspezifischem Fachwissen versagt.

Das Paper adressiert diese Lücke durch die Einführung von Cangjie, einer modernen, allgemeinen Programmiersprache (General-Purpose Language), die von Huawei für das HarmonyOS-Ökosystem entwickelt wurde. Cangjie ist eine ideale Testumgebung, da sie:

• Ressourcenarm ist: Es gibt kaum öffentliche Korpora, was eine Vorab-Verunreinigung (Contamination) der Trainingsdaten der LLMs ausschließt.
• Allgemein ist: Im Gegensatz zu DSLs erfordert sie keine spezifischen Domänenkenntnisse, sondern testet die Fähigkeit des Modells, neue Syntax und Algorithmen zu generalisieren.
• Industriell relevant ist: Sie wird zunehmend für Edge-Cloud-Szenarien eingesetzt.

Ein zentrales Problem ist zudem die Code-Übersetzung von ressourcenstarken Sprachen (z. B. Python) zu ressourcenarmen Sprachen, ein Szenario, das in bestehenden Benchmarks kaum abgedeckt ist.

2. Methodik: CANGJIEBENCH

Die Autoren stellen CANGJIEBENCH vor, den ersten umfassenden, verunreinigungsfreien Benchmark für Cangjie.

• Datensatz-Konstruktion:

  • Da kein großes öffentliches Cangjie-Korpus existiert, wurde ein manueller Übersetzungsansatz gewählt.
  • Die Datensätze HumanEval (Funktionsniveau) und ClassEval (Klassenniveau) wurden von Python nach Cangjie übersetzt.
  • Der Datensatz umfasst 248 hochwertige Samples (164 aus HumanEval, 84 aus ClassEval).
  • Qualitätssicherung: Die Übersetzung erfolgte unter strengen Prinzipien (Typ-Anpassung, Bezeichnungskonventionen, algorithmische Treue) und wurde von mehreren Experten mit Cangjie-Erfahrung validiert.
  • Aufgaben: Der Benchmark unterstützt zwei Aufgaben:
    1. Text-to-Code: Generierung von Cangjie-Code aus natürlichen Sprachbeschreibungen.
    2. Code-to-Code: Übersetzung von Python-Code nach Cangjie.

• Ausgewertete Methoden (Paradigmen):
  Um zu untersuchen, wie LLMs neue Sprachen ohne Fine-Tuning lernen können, wurden vier Strategien evaluiert:

  1. Direct Generation: Zero-Shot-Generierung basierend nur auf dem Prompt.
  2. Syntax-Constrained Generation: Der Prompt wird um explizite, vom Experten erstellte Grammatikregeln für Cangjie erweitert, um syntaktische Fehler zu minimieren.
  3. Retrieval-Augmented Generation (RAG): Nutzung externer Wissensquellen (offizielle Dokumentation oder gescrapte Code-Snippets) zur kontextuellen Unterstützung.
  4. Agent: Ein CLI-basierter Agent, der autonom nach Dokumentation sucht, Code schreibt, kompiliert und bei Fehlern selbst korrigiert (iterativer Workflow).

3. Wichtige Ergebnisse

Die Experimente mit verschiedenen State-of-the-Art-Modellen (u. a. GPT-5, DeepSeek-V3, Kimi-K2, Qwen3) ergaben folgende Erkenntnisse:

• Schwierigkeit der direkten Generierung: Ohne Unterstützung (Direct Generation) schneiden fast alle Modelle extrem schlecht ab (Pass@1 < 5 %). Die meisten generierten Codes lassen sich nicht kompilieren, was auf ein völliges Fehlen syntaktischen Wissens über Cangjie in den Trainingsdaten hindeutet.
• Effektivität von Syntax-Einschränkungen: Die Methode Syntax-Constrained Generation bietet den besten Kompromiss zwischen Genauigkeit und Kosten. Durch das Hinzufügen von Grammatikregeln stieg die Pass@1-Rate von GPT-5 von 4,3 % auf 53,8 %. Dies zeigt, dass LLMs die algorithmische Logik bereits beherrschen, aber an der Syntax scheitern.
• Agenten vs. Kosten: Agenten-Methoden (insbesondere mit GPT-5) erreichen die höchste Genauigkeit (bis zu 77,6 % Pass@1), verbrauchen jedoch extrem viele Tokens (oft >100.000 pro Aufgabe) aufgrund des iterativen Such- und Korrekturprozesses. Sie sind zwar präzise, aber in der Praxis oft zu teuer.
• RAG-Leistung: RAG (sowohl mit Docs als auch mit Code) verbesserte die Ergebnisse im Vergleich zur direkten Generierung, blieb aber hinter der Syntax-Constrained-Methode zurück. Dies liegt daran, dass Modelle Schwierigkeiten haben, aus fragmentierten Beispielen oder Dokumentationen eine konsistente Syntax abzuleiten.
• Negativer Transfer bei Code-zu-Code: Überraschenderweise performte die Code-to-Code-Übersetzung oft schlechter als die Text-to-Code-Generierung. Modelle neigten dazu, sich zu stark an die Syntax der Quellsprache (Python) anzupassen (Overfitting), was zu Fehlern in der Zielsprache führte. Die direkte Generierung aus Text vermied diese „Syntax-Rauschen" der Quellsprache.

4. Hauptbeiträge

1. CANGJIEBENCH: Einführung des ersten sauberen Benchmarks für eine ressourcenarme, allgemeine Programmiersprache, der Verunreinigungen ausschließt und sowohl Generierung als auch Übersetzung abdeckt.
2. Neue Perspektive: Die Betrachtung von Cangjie als allgemeine Sprache ermöglicht eine reine Evaluierung der Syntax-Lernfähigkeit von LLMs ohne Domänen-Interferenz.
3. Systematische Evaluierung: Umfassender Vergleich von vier Paradigmen (Direct, Syntax-Constrained, RAG, Agent) unter Berücksichtigung von Genauigkeit und Token-Kosten.
4. Erkenntnis zum negativen Transfer: Der Nachweis, dass die Bereitstellung von Quellcode (Python) die Leistung bei der Übersetzung in eine neue Sprache (Cangjie) verschlechtern kann.

5. Bedeutung und Ausblick

Die Arbeit liefert wichtige Erkenntnisse für die Anpassung von LLMs an neue Programmiersprachen:

• Kosten-Nutzen-Optimierung: Für die meisten Anwendungen ist die Syntax-Constrained Generation die effizienteste Methode, da sie hohe Genauigkeit bei moderaten Kosten liefert.
• Zukunft der Anpassung: Da das Fine-Tuning für neue Sprachen oft unpraktisch ist, sollte der Fokus auf Methoden liegen, die kontextuelle Grammatikregeln effektiv nutzen.
• Übersetzungsstrategien: Für Code-Übersetzungen sollte zukünftig erforscht werden, wie Modelle die Semantik der Quellsprache extrahieren können, ohne deren syntaktische Muster zu kopieren (semantisch ausgerichtete Übersetzung).

Zusammenfassend demonstriert CANGJIEBENCH, dass LLMs das Potenzial haben, neue Programmiersprachen schnell zu meistern, wenn sie durch strukturierte syntaktische Hinweise unterstützt werden, und bietet eine robuste Basis für zukünftige Forschung im Bereich der Code-Generalisierung.