CAKE: Cloud Architecture Knowledge Evaluation of Large Language Models

Das Paper stellt CAKE vor, einen Benchmark zur Evaluierung des Verständnisses von Large Language Models für Cloud-native Softwarearchitekturen, der aufzeigt, dass Multiple-Choice-Aufgaben und freie Antworten unterschiedliche Wissensaspekte messen und dass die Modellgröße sowie Augmentierungstechniken die Leistung in Abhängigkeit vom Aufgabentyp unterschiedlich beeinflussen.

Das Wesentliche

🍰 CAKE: Der große Kuchen-Test für KI-Architekten

Stellen Sie sich vor, Sie wollen ein riesiges, komplexes Wolkenkratzer-System bauen (das ist die „Cloud-Native-Architektur"). Dafür brauchen Sie einen Bauleiter. Früher waren das nur Menschen, aber heute wollen wir Künstliche Intelligenzen (LLMs) als Co-Piloten einsetzen.

Aber wie testen wir, ob diese KI wirklich versteht, wie man ein solches Gebäude plant, oder ob sie nur gut darin ist, Multiple-Choice-Fragen auswendig zu lernen? Genau dafür haben die Forscher von der Universität Süddänemark den CAKE-Benchmark entwickelt.

Der Name CAKE steht für Cloud Architecture Knowledge Evaluation (Bewertung von Cloud-Architektur-Wissen). Es ist wie ein riesiger, mehrschichtiger Kuchen, den wir den KI-Modellen servieren, um zu sehen, wer wirklich backen kann und wer nur die Zutaten auf dem Teller anstarrt.

---

🧠 Der Test: Nicht nur „Ja/Nein", sondern „Erkläre mir"

Der Test besteht aus 188 Fragen, die von echten Experten geprüft wurden. Sie sind in vier Schwierigkeitsstufen unterteilt (nach einer alten Lerntheorie namens Bloom):

1. Erinnern (Recall): „Was ist eine Pizza?" (Einfaches Faktenwissen).
2. Analysieren: „Warum passt die Pizza nicht in den Ofen?" (Zusammenhänge verstehen).
3. Entwerfen (Design): „Entwirf ein Rezept für eine Pizza, die auch bei Regen schmeckt." (Kreatives Planen).
4. Umsetzen (Implement): „Baue die Pizza jetzt!" (Praktische Anwendung).

Der Test hat zwei Arten von Fragen:

• Multiple Choice (MCQ): Wie ein Schultest. Die KI muss nur den richtigen Buchstaben (A, B, C, D) auswählen.
• Freitext (Free Response): Wie eine Hausaufgabe. Die KI muss den Plan in ganzen Sätzen erklären oder sogar Code schreiben.

---

🤖 Die Kandidaten: Von der Maus zum Elefanten

Die Forscher haben 22 verschiedene KI-Modelle getestet. Diese reichen von winzigen Modellen (0,5 Milliarden Parameter – stellen Sie sich eine kleine Maus vor) bis hin zu riesigen Giganten (70 Milliarden Parameter – ein Elefant).

Sie haben die Modelle in drei Modi getestet:

1. Basis: Die KI antwortet direkt.
2. +Think (Nachdenken): Die KI wird angewiesen, erst „nachzudenken" (wie ein Schüler, der sich Notizen macht), bevor sie antwortet.
3. +Tool (Werkzeug): Die KI darf das Internet durchsuchen oder Tools benutzen.

---

🍪 Die überraschenden Ergebnisse

Hier sind die vier wichtigsten Erkenntnisse, die wie Kekse aus dem Ofen kamen:

1. Der „Multiple-Choice-Fluch" (Das Plateau)

Bei den einfachen Multiple-Choice-Fragen passiert etwas Seltsames: Sobald die KI groß genug ist (ab ca. 3 Milliarden Parameter), wird sie perfekt.

• Die Analogie: Stellen Sie sich vor, Sie testen Schüler auf einem Quiz. Sobald der Schüler etwas größer ist als ein Kleinkind, bekommt er fast immer 100 %. Es bringt nichts mehr, einen noch größeren Schüler zu nehmen; er kann nicht „mehr als 100 %" erreichen.
• Das Problem: Das täuscht uns. Wir denken, die KI ist ein Genie, aber sie hat vielleicht nur die Muster der Antworten gelernt, ohne das Konzept wirklich zu verstehen.

2. Der Freitext-Test zeigt die Wahrheit

Wenn wir die KI bitten, ihre Gedanken in ganzen Sätzen zu erklären (Freitext), sieht die Welt ganz anders aus.

• Die Analogie: Hier ist es wie beim Kochen. Jeder kann sagen, was „Salz" ist (Multiple Choice). Aber nur ein echter Koch kann ein tolles Gericht kochen (Freitext).
• Das Ergebnis: Die kleinen Modelle (die Maus) scheitern hier kläglich. Die großen Modelle (der Elefant) werden immer besser, je größer sie sind. Der Test zeigt also: Größe zählt, aber nur wenn man wirklich „kochen" muss.

3. Nachdenken (+Think) hilft, aber Werkzeug (+Tool) kann stören

• Nachdenken: Wenn man der KI sagt „Denk erst nach", wird sie bei komplexen Aufgaben (wie dem Kochen) plötzlich viel besser. Das hilft besonders den kleineren Modellen.
• Werkzeuge: Wenn man der KI erlaubt, das Internet zu nutzen, passiert bei den kleinen Modellen oft das Gegenteil. Sie werden verwirrt, laufen in Schleifen oder machen Fehler.
• Die Analogie: Ein kleines Kind (kleines Modell) kann mit einem Taschenrechner (Werkzeug) oft schlechter rechnen als ohne, weil es den Rechner nicht richtig bedient. Ein Erwachsener (großes Modell) nutzt den Rechner perfekt.

4. Das „Vertrauens-Signal"

Die Forscher haben entdeckt, dass sie der KI mehr vertrauen können, wenn sie dreimal hintereinander die gleiche Antwort gibt.

• Die Analogie: Wenn drei Zeugen in einem Gerichtssaal alle genau dasselbe sagen, glauben wir ihnen eher als wenn einer zögert.
• Der Nutzen: Wenn eine KI bei einer Architektur-Frage dreimal unterschiedliche Antworten gibt, sollten wir als Menschen vorsichtig sein und selbst nachschauen.

---

🎯 Was bedeutet das für uns?

Die Botschaft des Papers ist klar:

1. Vertraue nicht blind auf Quiz-Ergebnisse: Wenn eine KI bei Multiple-Choice-Fragen 99 % richtig hat, heißt das noch lange nicht, dass sie ein guter Architekt ist.
2. Teste die „Kochfähigkeit": Um zu sehen, ob eine KI wirklich etwas kann, muss man sie bitten, Lösungen zu erklären oder zu bauen, nicht nur auszuwählen.
3. Die richtige Größe wählen: Für einfache Fakten reicht eine kleine KI. Für komplexe Planungen braucht man große Modelle. Und kleine Modelle sollten vorsichtig mit Werkzeugen umgehen.

Zusammenfassend: CAKE ist wie ein neuer, fairer Lehrer, der nicht nur prüft, ob die KI die Antwort auswendig gelernt hat, sondern ob sie wirklich versteht, wie man ein digitales Haus baut, ohne dass es in der Cloud zusammenfällt. 🏗️☁️🍰

Technische Zusammenfassung

1. Problemstellung

In der modernen Softwarearchitektur werden Large Language Models (LLMs) zunehmend als Co-Piloten eingesetzt, um von der Codierung bis zu architektonischen Entscheidungen zu unterstützen. Im Bereich der Cloud-Native-Architektur (Microservices, Containerisierung, Orchestrierung) haben architektonische Entscheidungen direkte Auswirkungen auf Skalierbarkeit, Resilienz und Wartbarkeit.

Bisherige Benchmarks wie SWE-bench, HumanEval oder MMLU testen entweder Code-Generierung, Code-Reasoning oder breites Allgemeinwissen. Es fehlt jedoch ein spezifischer Benchmark, der das konzeptionelle und prozedurale Verständnis von LLMs für Cloud-Native-Architekturentscheidungen bewertet. Bestehende Architekturbenchmarks (z. B. ArchCode) bleiben auf der Code-Ebene und erfassen nicht die kognitiven Ebenen des architektonischen Wissens.

2. Methodik: Der CAKE-Benchmark

Die Autoren stellen CAKE (Cloud Architecture Knowledge Evaluation) vor, einen Benchmark, der speziell für Cloud-Native-Architektur entwickelt wurde.

• Datensatz: Der Benchmark besteht aus 188 expertenvalidierten Fragen, die fünf Cloud-Native-Themen abdecken:
  1. Architekturmuster (Architectural Patterns)
  2. Qualitätsattribute (Quality Attributes)
  3. Zerlegungsstrategien (Decomposition Strategies)
  4. Cloud-Deployment
  5. Technischer Schulden (Technical Debt)
• Kognitive Ebenen: Die Fragen sind nach der revidierten Bloom'schen Taxonomie in vier Ebenen unterteilt:
  • Recall (Erinnern): 50 Fragen
  • Analyze (Analysieren): 60 Fragen
  • Design (Entwerfen): 50 Fragen
  • Implement (Implementieren): 28 Fragen (ausschließlich als Freitext)
• Validierung: Die Fragen wurden von vier Domänenexperten unabhängig auf Klarheit, Korrektheit und Schwierigkeitsgrad bewertet (Durchschnittswerte > 4,6 von 5).
• Evaluierte Modelle: Es wurden 22 Modellkonfigurationen aus vier Familien (Qwen, Llama, Mistral, GPT) getestet, mit Parametern von 0,5B bis 70B.
  • Drei Betriebsmodi wurden verglichen: Basis (Base), reasoning-erweitert (+think, Chain-of-Thought) und tool-erweitert (+tool, Web-Suche/Browsing).
• Evaluations-Pipeline:
  • Multiple Choice (MCQ): Jede Frage wurde dreimal mit gemischten Optionen gestellt. Die Auswertung nutzt eine Mehrheitsentscheidung (Majority Voting). Eine einstimmige Antwort (100% Übereinstimmung) dient als Vertrauenssignal.
  • Freitext (Free-Response, FR): Antworten werden von einem „LLM-as-a-Judge" (DeepSeek-R1:32B) auf einer deterministischen Skala von 0 bis 5 bewertet.

3. Wichtige Ergebnisse

Die Evaluation ergab vier zentrale Erkenntnisse:

1. Plateau bei MCQ-Accuracy: Die Genauigkeit bei Multiple-Choice-Fragen erreicht bei Modellen mit über 3 Milliarden Parametern ein Plateau. Die besten Modelle erreichen hier fast 100% (z. B. 99,2% für Qwen3-Coder 30B und GPT-Modelle). Kleinere Modelle (<3B) zeigen große Lücken, aber darüber hinaus bringt eine Vergrößerung der Parameter kaum noch Gewinne bei MCQs.
2. Skalierung bei Freitext: Im Gegensatz zu MCQs steigen die Scores bei Freitextantworten (Free-Response) über den gesamten Parametebereich hinweg stetig an. Dies deckt Kompetenzlücken auf, die MCQs verbergen. Besonders die Ebene „Implement" dient als starker Differenzierer.
3. Komplementäre Formate: MCQ und Freitext messen unterschiedliche Aspekte des Wissens. Während MCQs bei großen Modellen an ein „Ceiling" stoßen, können Freitextantworten auch bei großen Modellen noch Unterschiede in der architektonischen Kompetenz aufzeigen.
4. Effekte von Augmentations-Strategien:
   • +think (Reasoning): Verbessert die Qualität der Freitextantworten konsistent, kann aber bei MCQs die Leistung verschlechtern (Overthinking), insbesondere bei Modellen, die bereits nahe am Plateau sind. Bei sehr kleinen Modellen (z. B. Llama 1B) kann es die MCQ-Accuracy jedoch drastisch steigern.
   • +tool (Tools): Führt bei kleinen Modellen (<8B Parametern) zu einer signifikanten Leistungsverschlechterung (falsche Tool-Aufrufe, Endlosschleifen). Erst ab ca. 8B Parametern wird der Tool-Einsatz stabil und nützlich.

4. Schlüsselbeiträge

1. CAKE-Benchmark: Der erste spezialisierte Benchmark für Cloud-Native-Architekturwissen, der kognitive Ebenen (Bloom) und verschiedene Antwortformate kombiniert.
2. Empirische Erkenntnisse: Eine umfassende Analyse von 22 Modellkonfigurationen, die zeigt, dass die reine MCQ-Accuracy die Fähigkeiten von LLMs in komplexen Architekturaufgaben überschätzt.
3. Vertrauensmetrik (Conviction): Die Einführung der „Conviction"-Metrik (basierend auf der Übereinstimmung bei Mehrfachläufen) als praktisches Signal für die Zuverlässigkeit von Architekturvorschlägen in der Produktion.
4. Open Source: Die Veröffentlichung des gesamten Datensatzes und der Evaluations-Pipeline.

5. Signifikanz und Implikationen

• Für Praktiker: Die Wahl des Modells sollte nicht nur auf MCQ-Ergebnissen basieren. Für generative Aufgaben (Design, Implementierung) sind Freitext-Evaluierungen aussagekräftiger. Die „Conviction"-Metrik kann genutzt werden, um unsichere Architekturvorschläge für menschliche Prüfung zu markieren.
• Für die Forschung: Die Studie zeigt, dass Benchmarks, die nur auf Multiple-Choice basieren, die Fähigkeiten von LLMs in Domänen mit prozeduralem und Design-Wissen überschätzen.
• Für Tool-Entwickler: LLMs sind effektiv für erste Entwürfe von Architekturartefakten, benötigen aber bei Implementierungsaufgaben menschliche Aufsicht, da die Scores hier stark variieren.
• Limitationen: Der Fokus liegt auf Cloud-Native-Architektur; klassische Muster sind weniger abgedeckt. Zudem gab es technische Probleme mit MCQs auf Implementierungsebene, die zu deren Ausschluss führten.

Zusammenfassend demonstriert CAKE, dass die Evaluierungsform (MCQ vs. Freitext) fundamental beeinflusst, wie wir architektonisches Wissen in LLMs messen, und dass Freitext-Aufgaben notwendig sind, um die wahre Kompetenz von Modellen in komplexen Ingenieursaufgaben zu erfassen.