Persistent Human Feedback, LLMs, and Static Analyzers for Secure Code Generation and Vulnerability Detection

Technische Zusammenfassung: Persistentes menschliches Feedback, LLMs und statische Analysatoren für die sichere Codegenerierung und Schwachstellenerkennung

Problemstellung
Die Arbeit befasst sich mit der wachsenden Abhängigkeit von Large Language Models (LLMs) für die sichere Codegenerierung und Schwachstellenerkennung und hebt eine kritische Lücke in aktuellen Evaluierungsmethoden hervor. Während LLMs zunehmend in der Softwareentwicklung eingesetzt werden, generieren sie häufig unsicheren Code, selbst wenn sie explizit angewiesen werden, dies nicht zu tun. Die bestehende Literatur bewertet diese Modelle überwiegend unter Verwendung automatisierter statischer Analysewerkzeuge (z. B. CodeQL, Semgrep) als alleinige Grundwahrheit (ground truth). Die Autoren argumentieren, dass dieser Ansatz fehlerhaft ist, da statische Analysatoren hohe Falsch-Positiv-Raten aufweisen und oft nicht mit dem Urteil menschlicher Experten hinsichtlich tatsächlicher Sicherheitslücken übereinstimmen. Darüber hinaus mangelt es aktuellen Frameworks an Mechanismen zur persistenten Speicherung und Wiederverwendung von Expertenfeedback, was die Fähigkeit von LLMs einschränkt, aus vergangenen Korrekturen zu lernen.

Methodik
Die Studie verwendet eine zweigleisige Methodik: eine umfassende Literaturrecherche und eine empirische Validierungsstudie.

1. Literaturrecherche: Die Autoren haben 2025 Publikationen aus erstklassigen Software-Engineering-Veranstaltungen (A/A*) untersucht, um aktuelle Forschungstrends zu charakterisieren. Sie analysierten Benchmarks, Zielsprachen, Modellfamilien und die in Studien zur sicheren Codegenerierung und Schwachstellenerkennung verwendeten Evaluierungswerkzeuge.
2. Empirische Validierung:
   • Datensatzkonstruktion: Unter Verwendung der Recursive Critiques Improvement (RCI)-Prompting-Technik mit GPT-4o generierten die Autoren 1.080 Code-Proben basierend auf 108 einzigartigen Aufgaben, die auf die CWE Top 25 abgebildet wurden.
   • Erstellung der Grundwahrheit (Ground Truth): Zwei geschulte Reviewer (ein Ph.D.- und ein M.Sc.-Student) inspizierten die Proben unter Aufsicht einer Fakultät manuell und etikettierten sie hinsichtlich der spezifischen Ziel-CWE als verwundbar oder sicher. Unstimmigkeiten wurden durch Diskussion oder Expertenarbitration gelöst, wobei eine hohe Inter-Rater-Übereinstimmung (Cohen's $\kappa = 0,94$) erreicht wurde.
   • Werkzeugvergleich: Die manuell validierte Grundwahrheit wurde mit den Ausgaben zweier weit verbreiteter statischer Analysewerkzeuge, CodeQL und Semgrep, verglichen.
   • Framework-Vorschlag: Basierend auf den Ergebnissen schlagen die Autoren ein konzeptionelles Framework vor, das menschliches Feedback in eine Retrieval-Augmented Generation (RAG)-Pipeline integriert.

Wichtigste Ergebnisse
Die empirische Studie zeigte signifikante Diskrepanzen zwischen automatisierten Werkzeugen und menschlichen Experten auf:

• Grundwahrheit: 61 % der generierten Proben waren tatsächlich sicher, während 39 % Schwachstellen enthielten.
• Werkzeugleistung: Semgrep klassifizierte 60 % der Proben als sicher und CodeQL klassifizierte 80 % als sicher. Während die aggregierte Rate von Semgrep nahe an der menschlichen Beurteilung lag, zeigte die Analyse pro Probe erhebliche Diskrepanzen.
• Genauigkeitsmetriken: Nur 65 % der Semgrep-Berichte und 61 % der CodeQL-Berichte stimmten korrekt mit den Ground-Truth-Labels überein.
• CWE-Abdeckung: Beide Werkzeuge erkannten die Ziel-CWEs in einem erheblichen Bruchteil der Ground-Truth-Fälle nicht und meldeten häufig Befunde für Nicht-Ziel-CWEs (deren Gültigkeit in dieser Studie ungeklärt blieb).
• Selbstkritik: Die Studie beobachtete, dass LLMs, die „spezifische“ Selbstkritik (gezieltes, handlungsorientiertes Feedback) lieferten, sichereren Code produzierten (64 % sicher) im Vergleich zu „generellen“ Kritiken (56 % sicher).

Vorgeschlagenes Framework: Persistentes menschliches Feedback
Um die Einschränkungen statischer Werkzeuge und die transiente Natur aktueller Feedbackschleifen zu adressieren, schlagen die Autoren ein konzeptionelles Framework vor (illustriert in Abbildung 3), das einen Human-in-the-Loop (HIL)-Agenten in eine dynamische RAG-Pipeline integriert. Das Framework besteht aus vier Agenten:

1. Prompt-Agent: Orchestriert die Codegenerierung durch Abruf relevanter Sicherheitsleitlinien aus einer Dual-Source RAG (menschliches Feedback und externes Wissensmanagement über Schwachstellen), um den Prompt des Entwicklers zu verfeinern.
2. Security-Agent: Evaluiert den generierten Code mittels statischer Analysatoren und LLMs und erstellt maschinenlesbare sowie menschenlesbare Berichte.
3. Human-in-the-Loop (HIL)-Agent: Fungiert als finaler Entscheidungsträger. Experten überprüfen die Berichte des Security-Agents. Im Falle von Unstimmigkeiten wird das Expertenfeedback persistent in der RAG gespeichert.
   • Vertrauensgewichtung (Trust Weighting): Das System weist Feedback dynamische Vertrauensgewichte zu, basierend auf dem Konsens der Reviewer und dem historischen empirischen Erfolg (unter Verwendung eines exponentiellen gleitenden Durchschnitts).
   • Doppelprüfung (Dual Review): Um Data Poisoning zu verhindern, erfordert neues Feedback die Genehmigung durch zwei verschiedene Reviewer, bevor es in den aktiven Retrieval-Pool aufgenommen wird.
4. Dual-Source RAG: Ein gemeinsamer Wissensdienst, der menschlich verifiziertes Feedback (HF) gegenüber allgemeinem externem Wissen (EVK) unter Verwendung einer zusammengesetzten Scoring-Funktion priorisiert, welche Widersprüche zwischen allgemeiner Beratung und Expertenfeedback bestraft.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass die ausschließliche Abhängigkeit von statischen Analysewerkzeugen zur Evaluierung von LLM-generiertem Code unzuverlässig ist und Risiken für die Validität der Sicherheitsforschung birgt. Die Autoren betonen, dass Expertenfeedback nicht nur für einzelne Instanzen notwendig ist, sondern sich auch auf ähnliche zukünftige Fälle generalisieren lässt. Folglich zielt das vorgeschlagene Framework darauf ab, LLMs zu ermöglichen, vorheriges menschliches Feedback dynamisch wiederzuverwenden, um sowohl die sichere Codegenerierung als auch die Erkennung von Schwachstellen zu verbessern. Die Studie kommt zu dem Schluss, dass die Software-Engineering-Community über automatisierte Evaluierungen hinausgehen und persistente, Experten-gesteuerte Feedbackschleifen integrieren muss, um die Zuverlässigkeit von LLMs in sicherheitskritischen Kontexten zu gewährleisten.

Einschränkungen (Gültigkeitshinweise)
Die Autoren räumen mehrere Einschränkungen ein:

• Konstruktvalidität: Die Literaturrecherche beschränkte sich auf 20-25 Publikationen in Software-Engineering-Veranstaltungen, wodurch potenziell Muster in sicherheitsspezifischen Publikationen (z. B. USENIX Security, CCS) übersehen wurden.
• Interne Validität: Die Ground-Truth-Labels beruhen auf manueller Bewertung, die trotz hoher Inter-Rater-Übereinstimmung anfällig für menschliche Voreingenommenheit ist.
• Externe Validität: Die Experimente konzentrierten sich auf Python-Code, der mittels RCI-Prompting von GPT-4o generiert wurde. Die Ergebnisse lassen sich möglicherweise nicht auf andere Sprachen (insbesondere niederebene Sprachen wie C/C++), andere Domänen oder andere LLMs und statische Analysewerkzeuge übertragen.