💻 computer science

Computer Science Achievement and Writing Skills Predict Vibe Coding Proficiency

Eine prämigistrierte Studie an 100 Studierenden zeigt, dass sowohl Schreibfähigkeiten als auch Informatikerfolge signifikante Prädiktoren für die Leistung beim „Vibe Coding" sind, wobei der Informatikerfolg auch nach Kontrolle allgemeiner kognitiver Fähigkeiten relevant bleibt.

Ursprüngliche Autoren: Sverrir Thorgeirsson, Theo B. Weidmann, Zhendong Su

Veröffentlicht 2026-03-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sverrir Thorgeirsson, Theo B. Weidmann, Zhendong Su

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🧠 Das große "Vibe Coding"-Experiment: Wer kann mit KI am besten reden?

Stellt euch vor, Programmieren ist wie ein Kochkurs.
Früher musste man jedes Rezept (den Code) selbst schreiben, Zutat für Zutat, mit dem richtigen Messer und der perfekten Temperatur. Das war harte Arbeit und erforderte viel Fachwissen.

Heute gibt es einen super-intelligenten Koch-Assistenten (eine KI). Ihr müsst nicht mehr selbst kochen. Ihr sagt ihm einfach: "Mach mir eine Suppe, die warm ist, aber nicht zu salzig." Der Koch-Assistent kocht, ihr probiert, sagt: "Nicht salzig genug, mach noch etwas Salz rein" oder "Zu dickflüssig, gib mehr Wasser dazu." Ihr redet euch durch das Essen, ohne jemals selbst einen Löffel in die Hand zu nehmen.

Das nennt man "Vibe Coding". Man schreibt keine Code-Zeilen, sondern gibt nur Anweisungen in normaler Sprache.

Die Forscher von der ETH Zürich haben sich gefragt: Wer ist eigentlich der beste "Chef" für diesen KI-Koch?
Ist es jemand, der schon immer gut kochen konnte (ein erfahrener Programmierer)? Oder ist es jemand, der einfach super gut erklären kann, was er will (ein guter Schriftsteller)?

🧪 Was haben die Forscher gemacht?

Sie haben 100 Studenten eingeladen. Diese Studenten mussten drei Dinge tun:

Ein Essay schreiben: Über ein technisches Thema, damit man sieht, wie gut sie ihre Gedanken strukturieren und erklären können (Schreibskills).
Ein Logik-Test machen: Um zu sehen, wie allgemein intelligent und logisch sie denken (kognitive Fähigkeiten).
Eine App mit der KI bauen: Sie sollten eine kleine Webseite erstellen (z. B. einen Stundenplan oder einen Speiseplan), indem sie nur mit dem KI-Chatbot sprachen. Sie durften den Code nicht sehen oder anfassen. Nur das Ergebnis auf dem Bildschirm zählte.

🏆 Was kam heraus? (Die Ergebnisse)

Das Ergebnis ist überraschend und wichtig:

1. Es ist eine Teamarbeit aus "Kopf" und "Mund".
Beide Fähigkeiten waren entscheidend.

Der "Kopf" (Informatik-Wissen): Wer schon viel Informatik gelernt hat, war besser im Vibe Coding. Warum? Weil diese Leute besser verstehen, wie eine App "im Kopf" funktioniert. Sie wissen, dass man erst die Zutaten sammeln muss, bevor man kocht. Sie können die KI besser anleiten, weil sie die Logik hinter dem Ganzen verstehen.
Der "Mund" (Schreibskills): Wer gut schreiben und erklären kann, war ebenfalls besser. Warum? Weil die KI nur das tut, was man ihr sagt. Wenn man vage sagt: "Mach was Schönes", bekommt man ein Chaos. Wenn man präzise sagt: "Mach einen Button blau, der beim Klicken eine rote Zahl anzeigt", bekommt man genau das.

2. Das Schreiben ist der "Klebstoff".
Die Forscher haben herausgefunden, dass gute Schreibfähigkeiten direkt damit zusammenhängen, wie gut die Studenten ihre Anweisungen (Prompts) an die KI formuliert haben.

Vergleich: Ein guter Autor baut einen klaren, gut strukturierten Brief. Ein schlechter Autor schreibt ein wirres Kauderwelsch. Die KI ist wie ein sehr fleißiger, aber etwas sturer Sekretär. Wenn der Brief klar ist, erledigt er die Aufgabe perfekt. Wenn der Brief wirr ist, macht er Fehler.
Die Studie zeigte: Die Fähigkeit, klare Anweisungen zu schreiben, war der Schlüssel, um die KI zum Erfolg zu führen.

3. Intelligenz allein reicht nicht.
Man könnte denken: "Wenn jemand sehr intelligent ist, kann er das schon." Aber die Studie zeigte: Selbst wenn man die allgemeine Intelligenz herausrechnet, bleiben Informatikwissen und Schreibfähigkeiten als eigenständige, wichtige Faktoren übrig. Man braucht beides.

🤔 Was bedeutet das für uns?

Für Schulen und Universitäten: Früher hat man nur darauf geachtet, dass Schüler gut programmieren können. In Zukunft müssen wir vielleicht auch mehr Wert darauf legen, dass sie gut schreiben und erklären können. Denn wenn die KI den Code schreibt, muss der Mensch die Idee perfekt formulieren können.
Für die Zukunft: Es wird nicht mehr nur darum gehen, wer die kompliziertesten Formeln auswendig kann. Es wird darum gehen, wer die beste "Kommunikation" mit der Maschine hat. Wer kann seine Vision so klar in Worte fassen, dass die KI sie versteht?

🎯 Das Fazit in einem Satz

Um mit einer KI erfolgreich Software zu bauen, braucht man nicht nur den technischen Verstand eines Ingenieurs, sondern auch die klare Ausdrucksweise eines guten Erzählers. Wer beides kombiniert, wird der Chef der KI-Küche.

1. Problemstellung und Hintergrund

Die Integration von Large Language Models (LLMs) in Softwareentwicklungsumgebungen hat einen neuen Arbeitsstil hervorgebracht, der als „Vibe Coding" bezeichnet wird. Dieser Ansatz (geprägt von Andrej Karpathy) ermöglicht es Entwicklern, Programme ausschließlich durch natürliche Sprache zu spezifizieren und durch Beobachtung des Verhaltens zu iterieren, ohne den zugrunde liegenden Quellcode direkt zu bearbeiten oder zu verstehen.

Trotz der rasanten Adoption dieser Technologie (z. B. durch Plattformen wie Replit, Lovable, Cursor) ist unklar, welche Fähigkeiten zukünftige Entwickler benötigen, um in diesem Workflow erfolgreich zu sein. Es stellt sich die Frage:

Wie stark beeinflussen Schreibfähigkeiten (die Fähigkeit, Absichten präzise in Text zu fassen) den Erfolg beim Vibe Coding?
Wie verhält sich dieser Einfluss im Vergleich zu traditionellem Informatik-Wissen (CS-Achievement)?
Werden diese Fähigkeiten durch allgemeine kognitive Fähigkeiten (Domain-General Cognitive Skills) getrieben oder sind sie eigenständige Prädiktoren?

Die Autoren untersuchen diese Fragen, um Implikationen für die Gestaltung von Entwicklungstools und Lehrplänen abzuleiten.

2. Methodik

Die Studie ist eine vorregistrierte, querschnittliche Laborstudie mit N = 100 Studierenden (Tertiärstufe) an Schweizer Universitäten.

A. Versuchsaufbau und Plattform

Die Autoren entwickelten eine maßgeschneiderte Vibe-Coding-Plattform, um die Kontrolle über den Experimentierprozess zu gewährleisten und die „Pure"-Definition von Vibe Coding (kein Code-Einsehen) strikt einzuhalten.

Umgebung: Die Plattform ähnelt kommerziellen Tools (Chat-Interface links, Live-Vorschau der App rechts), blendet den generierten Code jedoch vollständig aus.
Modell: Es wurde das Modell Anthropic Claude Sonnet 4 verwendet, da es in Vorversuchen die beste Leistung zeigte.
Aufgaben: Die Teilnehmer mussten drei GUI-basierte Webanwendungen erstellen/verfeinern:
1. Replikation: Nachbauen einer existierenden App basierend auf Beobachtung.
2. Feature-Erweiterung: Hinzufügen neuer Funktionen zu einer bestehenden App.
3. Dekontextualisierte Aufgabe: Erstellen einer App ohne klaren semantischen Kontext (kein „Essensplaner", sondern ein abstraktes GUI-Tool), um die Fähigkeit zur reinen Spezifikation zu testen.

B. Erhobene Metriken

Neben der Vibe-Coding-Leistung (bewertet durch menschliche Gutachter basierend auf funktionaler Korrektheit) wurden folgende Konstrukte gemessen:

Schreibfähigkeiten (Written Communication): Ein selbst entwickelter, expertenbasierter Test, bei dem Teilnehmer einen technischen Begriff für Laien in 300–450 Wörtern erklären mussten. Bewertung erfolgte blind durch zwei unabhängige Gutachter nach einem detaillierten Rubrik (Struktur, Kohärenz, Syntax).
Informatik-Leistung (CS Achievement): Ein 12-teiliger Ausschnitt aus dem validierten, sprachunabhängigen Test SCS1 (Parker et al.), der Wissen zu Code-Tracing, Definitionen und Code-Vervollständigung prüft.
Allgemeine kognitive Fähigkeiten (Domain-General Reasoning): Der ICAR16-Test (16 Fragen zu verbalen, matrix- und räumlichen Reasoning-Aufgaben) diente als Kontrollvariable.

C. Design

Die Teilnehmer durchliefen die Tests in counterbalancierter Reihenfolge. Die Vibe-Coding-Aufgaben wurden von einem Expertengremium (8 Personen) mittels Delphi-Methode entwickelt, um Authentizität, interdisziplinären Bezug und faire Vergleichbarkeit sicherzustellen.

3. Schlüsselbeiträge

Empirische Evidenz: Die Studie quantifiziert erstmals den Einfluss von Schreibfähigkeiten und CS-Wissen auf die Vibe-Coding-Leistung unter Kontrolle kognitiver Fähigkeiten.
Bewertungssuite: Vorstellung eines validierten, expertenkonsolidierten Sets von Aufgaben für GUI-orientiertes Vibe Coding mit klaren Bewertungskriterien.
Forschungsplattform: Ein neues, kontrolliertes Umfeld für LLM-native Softwareentwicklung, das reproduzierbare Experimente ohne Code-Exposure ermöglicht.

4. Ergebnisse

Die statistische Analyse (Korrelationen und hierarchische OLS-Regressionen) ergab folgende Hauptbefunde:

Signifikante Prädiktoren: Sowohl CS-Achievement als auch Schreibfähigkeiten sind signifikante, positive Prädiktoren für die Vibe-Coding-Leistung.
- Korrelation CS-Achievement: $r = 0,39$ ( $p < .001$ )
- Korrelation Schreibfähigkeiten: $r = 0,29$ ( $p = .003$ )
Unabhängigkeit von kognitiven Fähigkeiten: Auch nach statistischer Kontrolle der allgemeinen kognitiven Fähigkeiten (ICAR16) bleibt CS-Achievement ein signifikanter Prädiktor ( $r_{partial} = 0,281, p = .005$ ). Der Zusammenhang zwischen Schreibfähigkeiten und Vibe Coding wurde nach Kontrolle der kognitiven Fähigkeiten jedoch nicht-signifikant ( $p = .066$ ).
Relative Vorhersagekraft: In einem gemeinsamen Modell trägt CS-Achievement etwa doppelt so viel zur einzigartigen Varianz bei wie Schreibfähigkeiten. Dennoch leistet Schreiben einen unabhängigen, signifikanten Beitrag.
Aufgabentypen: Es gab keinen signifikanten Unterschied darin, ob Schreibfähigkeiten bei dekontextualisierten Aufgaben stärker korrelierten als bei kontextreichen Aufgaben (Hypothese RQ1 wurde nicht bestätigt).
Mechanismus (Mediationsanalyse): Die Analyse der Prompt-Qualität zeigt, dass Prompt-Qualität ein vermittelnder Faktor ist. Bessere Schreibfähigkeiten führen zu klareren, besser strukturierten Prompts, was wiederum zu besseren Ergebnissen führt. Dies erklärt ca. 52 % des Zusammenhangs zwischen Schreibfähigkeiten und Vibe-Coding-Erfolg.
Interessante Nebenbefunde:
- Es gab eine negative Korrelation zwischen der Häufigkeit der LLM-Nutzung und sowohl Schreibfähigkeiten als auch Vibe-Coding-Leistung (möglicherweise ein Hinweis darauf, dass weniger versierte Nutzer LLMs häufiger nutzen oder LLMs die Schreibfähigkeiten beeinträchtigen).
- CS-Achievement korrelierte nicht mit der Häufigkeit der LLM-Nutzung.

5. Bedeutung und Implikationen

Die Studie hat weitreichende Konsequenzen für die Informatik-Ausbildung und Tool-Design:

Lehrplangestaltung: Da CS-Wissen auch beim „No-Code"-Ansatz (ohne Code-Einsehen) der stärkste Prädiktor bleibt, sind fundamentale Informatikkonzepte (Algorithmen, Problemlösung, Zustandsmanagement) weiterhin essenziell. Gleichzeitig unterstreicht die Rolle der Schreibfähigkeiten, dass technisches Schreiben und präzise Kommunikation als Kernkompetenz der Softwareentwicklung etabliert werden müssen.
Tool-Design: Entwicklungstools sollten nicht nur die Code-Generierung optimieren, sondern auch Nutzer dabei unterstützen, ihre Absichten präziser zu formulieren (z. B. durch Feedback zu Prompt-Klarheit).
Validität des Konstrukts: Die Ergebnisse stützen die Validität von Vibe Coding als eigenständige Fähigkeit, die sowohl technisches Verständnis als auch sprachliche Präzision erfordert.

Fazit: Vibe Coding ist nicht einfach nur „Programmieren ohne Code". Es ist ein komplexer Workflow, der stark von der Fähigkeit abhängt, Probleme zu dekomponieren (CS-Wissen) und diese De-Komposition präzise in natürlicher Sprache zu kommunizieren (Schreibfähigkeiten). Während CS-Wissen die Basis bildet, ist die Qualität der sprachlichen Spezifikation der Hebel, der den Erfolg im Umgang mit LLMs bestimmt.