Can Developers rely on LLMs for Secure IaC Development?
Diese Studie evaluiert GPT-4o und Gemini 2.0 Flash im Hinblick auf die sichere Entwicklung von Infrastructure as Code und stellt fest, dass geführte Prompts zwar die Erkennung von Security Smells sowohl in vereinfachten Snippets als auch in realen Repositories verbessern, die Modelle jedoch weiterhin Schwierigkeiten bei der Generierung von sicherem Code haben, wobei selbst bei expliziter Anweisung nur ein kleiner Bruchteil der Ausgaben den Sicherheitsstandards entspricht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bauen ein Haus, aber anstatt Ziegel und Mörtel zu verwenden, nutzen Sie Code, um Ihre Wände, Fenster und Sicherheitssysteme automatisch zusammenzustellen. Dies nennt man Infrastructure as Code (IaC). Es ist so, als hätten Sie einen Roboter, der Ihr digitales Fundament für Sie baut.
Das Problem ist: Wenn Sie dem Roboter einen schlechten Bauplan geben, baut er vielleicht ein Haus mit unverschlossenen Türen, Fenstern, die zur Straße zeigen, oder einem Tresor, bei dem der Schlüssel an der Vordertür klebt. Diese Fehler werden als „Security Smells“ (Sicherheitsgerüche) bezeichnet.
Die Autoren dieser Arbeit haben eine große Frage gestellt: Können wir KI-Chatbots (wie GPT-4o und Gemini) vertrauen, uns beim sicheren Schreiben dieser Baupläne zu helfen oder die Fehler darin zu finden?
Hier ist das, was sie herausgefunden haben, unterteilt in einfache Geschichten:
1. Der „Finde den Fehler“-Test (Detektion)
Die Forscher gaben der KI zwei Arten von Aufgaben: das Finden von Fehlern in kurzen Code-Schnipseln (wie sie auf Stack Overflow vorkommen) und das Finden von Fehlern in vollständigen, realen Projektdateien (von GitHub).
- Das Szenario „Vage Anfrage“: Stellen Sie sich vor, Sie fragen einen Sicherheitswachmann: „Schau dir dieses Haus an und sag mir, ob es sicher ist.“
- Das Ergebnis: Die KI war ganz gut darin, offensichtliche Probleme in kurzen Schnipseln zu entdecken (etwa 70–80 % Erfolgsquote). Aber wenn sie sich vollständige, komplexe Projekte ansah, übersah die KI mehr als die Hälfte der gefährlichen Mängel. Es war, als würde der Wachmann nur die unverschlossene Haustür bemerken, aber das kaputte Fenster auf der Rückseite übersehen.
- Das Szenario „Schritt für Schritt“: Die Forscher gaben der KI dann eine spezifische Checkliste: „Prüfe zuerst die Schlösser. Zweitens: Prüfe die Fenster. Drittens: Suche nach Notizen des Vorbesitzers.“
- Das Ergebnis: Das funktionierte viel besser. Die Fähigkeit der KI, Fehler zu finden, stieg signifikant an (sie erreichte fast 90 % bei einem Modell).
- Der Haken: Selbst wenn die KI den Fehler fand, bot sie selten eine spezifische Lösung an. Es war, als würde der Wachmann sagen: „Hey, das Fenster ist kaputt“, aber Ihnen nicht das Glas zum Austauschen in die Hand drücken.
2. Der „Baue es“-Test (Generierung)
Als Nächstes baten sie die KI, neue Baupläne von Grund auf neu zu erstellen, bas basierend auf spezifischen Anfragen, von denen einige darauf ausgelegt waren, die KI zu Fehlern zu verleiten (z. B. „Verwende ein schwaches Schloss“ oder „Lasse das Passwort im Code“).
- Das Ergebnis: Hier hatte die KI am meisten zu kämpfen.
- Wenn sie gebeten wurde, ein sicheres Haus zu bauen, baute die KI nur in 7 % der Fälle ein sicheres Haus.
- In den anderen 93 % der Fälle baute sie Häuser mit versteckten Fallen (Sicherheitslücken) und warnte oft nicht einmal davor, dass diese Fallen existierten.
- Selbst wenn die Forscher explizit riefen: „Mache es SICHER!“, baute die KI immer noch in etwa 80 % der Fälle unsichere Häuser.
3. Der „Nachahmer“-Effekt
Die Forscher prüften auch, ob die KI einfach nur schlechte Beispiele kopiert, die sie zuvor gesehen hatte. Sie fanden heraus, dass der von der KI generierte Code oft eher wie anderer KI-generierter Code aussah als die „korrekten“ Antworten, die in von Menschen geschriebenen Foren zu finden sind. Es ist, als hätte die KI von einer Gruppe von Menschen gelernt, die alle dieselben Fehler machen, anstatt von den Experten zu lernen.
Das Fazate
Das Paper kommt zu dem Schluss, dass die KI zwar ein mächtiges Werkzeug ist, man sich ihr jedoch derzeit nicht allein anvertrauen kann, um seine digitale Infrastruktur sicher zu halten.
- Beim Finden von Fehlern: Sie hilft, aber nur, wenn man ihr sehr spezifische, schrittweise Anweisungen gibt. Oh ohne diese Anleitung übersieht sie zu viele Gefahren.
- Beim Schreiben von Code: Es ist derzeit zu riskant, sie den Sicherheitscode von Grund auf schreiben zu lassen. Sie baut häufig „Häuser“ mit unverschlossenen Türen und warnt einen nicht einmal darüber.
Die Analogie: Betrachten Sie die KI als einen sehr schnellen, sehr selbstbewussten Lehrlings-Bauarbeiter. Wenn Sie sie bitten: „Repariere das“, findet sie vielleicht einige Risse. Aber wenn Sie sie bitten: „Baue eine Festung“, wird sie wahrscheinlich ein Pappschloss mit einem Papierschloss bauen – und sie wird Ihnen nicht sagen, dass es nicht wirklich sicher ist. Sie benötigen immer noch einen menschlichen Experten, der alles überprüft.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.