Hardening vibe-coded web applications with an automated security-audit skill: a controlled comparison of two builds of the same app

Stellen Sie sich vor, Sie bauen ein Haus, aber anstatt die Ziegel selbst zu legen, bitten Sie einen superschnellen, unglaublich talentierten Roboter darum. Sie geben dem Roboter einen einfachen Satz wie: „Baue mir ein gemütliches Cottage mit einer roten Tür“, und innerhalb von Sekunden überreicht er Ihnen ein perfekt aussehendes Heim. Dies ist die Welt des „Vibe Coding“, in der künstliche Intelligenz (KI) ganze funktionierende Apps aus kurzen Prompts schreibt. Es ist wie Magie: Sie erhalten sofort ein fertiges Produkt. Aber hier ist der Haken: Der Roboter ist großartig darin, Dinge gut aussehen zu lassen und schnell funktionieren zu lassen, aber er vergisst oft die langweiligen, unsichtbaren Sicherheitsaspekte. Er lässt vielleicht die Haustür unverschlossen, vergisst die Rauchmelder zu installieren oder lässt das Hintertor weit offen, weil diese Dinge bei einer schnellen Besichtigung des Hauses nicht besonders schön aussehen.

In der Welt der Computersicherheit werden diese unsichtbaren Lücken als Schwachstellen bezeichnet. Denken Sie an sie als versteckte Risse im Fundament oder Fenster, die man nicht abschließt. Für ein professionelles Team gibt es Sicherheitskräfte (menschliche Experten), die diese Dinge prüfen, bevor jemand einzieht. Aber für den Solo-Entwickler, der mit KI baut, gibt es niemanden sonst, der nachsieht. Der Roboter überreicht einfach die Schlüssel, und der Entwickler weiß vielleicht gar nicht, dass das Haus unsicher ist. Dieses Paper stellt eine einfache, entscheidende Frage: Wenn wir exakt dasselbe Haus zweimal bauen – einmal mit dem Roboter allein und ein anderes Mal mit dem Robotter plus einem speziellen „Sicherheitsinspektor-Roboter“, der seine eigene Arbeit überprüft – wie viel sicherer wird das zweite Haus dadurch? Die Forscher wollten sehen, ob das Hinzufügen einer einfachen, automatisierten Prüfung ein wackeliges, unsicheres App in eine Festung verwandeln kann, ohne den Spaß und das schnelle Tempo des Bauens zu bremsen.

Das Experiment: Zwei Apps, ein großer Unterschied

Die Forscher gestalteten ein kontrolliertes Experiment unter Verwendung eines fiktiven Online-Shops namens „Northwind“. Sie baten eine KI, diesen Shop zweimal zu bauen. Die erste Version, nennen wir sie App A, wurde mit dem Roboter allein gebaut. Die zweite Version, App B, wurde mit demselben Roboter gebaut, aber dieses Mal hatte der Roboter eine spezielle „Sicherheitsaudit-Fähigkeit“ angehängt. Diese Fähigkeit ist wie ein unermüdlicher Inspektor, der eine fünfstufige Schleife durchläuft: Er scannt den Code, markiert Probleme, behebt sie und scannt dann erneut, um sicherzustellen, dass die Behebung tatsächlich funktioniert hat.

Der entscheidende Punkt dieses Experiments war, dass der einzige Unterschied zwischen den beiden Apps diese Sicherheitsfähigkeit war. Der Prompt, der an die KI gegeben wurde, war identisch, und die Kernfunktionen (die Produkte, der Warenkorb, der Checkout) waren exakt dieselben. Dies stellte sicher, dass etwaige Unterschiede in der Sicherheit nicht darauf zurückzuführen waren, dass die KI Glück hatte oder das Design änderte, sondern rein auf den Sicherheitsinspektor zurückzuführen waren.

Die Ergebnisse: Eine massive Sicherheitssteigerung

Die Ergebnisse waren dramatisch. Als sie beide Apps auf einer Skala von 100 basierend auf 16 verschiedenen Sicherheitsregeln bewerteten (wie etwa einer „Content Security Policy“, was eine Regelbuch ist, das dem Browser sagt, welche Skripte er ausführen darf, und einer „Referrer Policy“, die verhindert, dass die App Ihre Browserhistorie an andere Seiten weitergibt), war der Unterschied gewaltig.

• App A (Ohne Sicherheitsfähigkeit): Sie erreichte eine Punktzahl von 58 von 100. Sie wies 16 Sicherheitsprobleme auf, darunter vier „hochkritische“ Lücken. Dies waren die gefährlichen Löcher, wie etwa fehlende Schlösser an der Haustür. Das gesamte „Risiko“ wurde mit 100 Einheiten gemessen.
• App B (Mit Sicherheitsfähigkeit): Sie erreichte eine Punktzahl von 99 von 100. Die Sicherheitsfähigkeit behob fast alles. Sie eliminierte alle vier hochkritischen Lücken und reduzierte die Gesamtzahl der Probleme von 16 auf nur noch 1. Das Gesamtrisiko sank von 100 Einheiten auf 1 Einheit.

In einfachen Zahlen ausgedrückt: Die Sicherheitsfähigkeit senkte das ungemilderte Risiko um 99,0 %. Das einzige verbleibende Risiko war eine spezifische Prüfung, die einen echten Backend-Server erfordert (den diese Demo nicht hatte), sodass die Fähigkeit dies ehrlich als etwas markierte, das noch menschliche Aufmerksamkeit erfordert, anstatt vorzugeben, es sei behoben.

Warum das wichtig ist: Der „Glitch“-Bonus

Eine der interessantesten Erkenntnisse war nicht nur die Verhinderung von Hackern, sondern auch die Vermeidung davon, dass die App sich selbst kaputt macht. Die Forscher fanden heraus, dass eine App oft kaputt geht, wenn man einfach nur strenge Sicherheitsregeln zu einer unordentlichen App hinzufügt. Wenn Sie zum Beispiel dem Browser sagen: „Keine externen Skripte erlaubt“, aber die App Code enthält, der versucht, externe Skripte zu nutzen, hört die App auf zu funktionieren.

Die Sicherheitsfähigkeit war klug genug, dies zu erkennen. Bevor sie die strengen Regeln hinzufügte, ging sie zurück und bereinigte den Code, indem sie Styles und Skripte an die richtigen Stellen verschob, sodass die App weiterhin perfekt aussah und funktionierte. Sie verhinderte „Glitches“ (Fehler), die ein menschlicher Erbauer erst bemerkt hätte, wenn es zu spät war. Sie hat nicht nur Löcher gestopft; sie hat die gesamte Struktur verstärkt, damit die Sicherheitsregeln nicht zum Einsturz des Hauses führen würden.

Was das Paper sagt (und nicht sagt)

Das Paper ist sehr deutlich darüber, was es nicht beweist. Es behauptet nicht, dass die App nun „unverwundbar“ ist oder dass man sich völlig um Sicherheit sorgen kann. Die Autoren betonen, dass dies eine statische Demo (ein fiktiver Shop mit fiktiven Zahlungen) ist und dass reale Apps mit echtem Geld und echten Nutzerdaten immer noch professionelle menschliche Sicherheitsexperten für tiefgehende Penetrationstests benötigen. Die 99-prozentige Verbesserung bezieht sich spezifisch auf die Kontrollen, die die Fähigkeit in dieser Art von App automatisieren kann.

Das Paper legt jedoch nahe, dass für die Millionen kleiner Apps, die von Hobbyisten und Solo-Entwicklern mit KI gebaut werden, diese Art von automatisierter, eingebauter Prüfung ein Game-Changer ist. Es legt nahe, dass wir durch das Einbetten von Sicherheitsprüfungen direkt in den Workflow der KI die „Sicherheitsuntergrenze“ von Software massiv anheben können, indem wir das, was früher eine gefährliche Angewohnheit des „Vibe Codings“ war, in etwas viel Zuverlässigeres verwandeln. Die Studie kommt zu dem Schluss, dass dieser Ansatz ein kostengünstiger, hochwirksamer Schritt ist, der KI-generierte Software um etwa zwei Größenordnungen sicherer macht, indem er den sicheren Weg zum Standardweg macht.