Leveraging Large Language Models to Obscure Code Stylometry: A Comparative Study of GPT-3.5 and GPT-4
Diese Studie bewertet die Wirksamkeit von GPT-3.5 und GPT-4 bei der Verschleierung der Code-Stylometrie zur Umgehung von Klassifikatoren zur Urheberzuordnung und zeigt auf, dass Multi-Shot-Prompting und detaillierte Anweisungen die stilistische Verschleierung signifikant verbessern, während sie gleichzeitig die inhärenten Herausforderungen bei der Erhaltung der Code-Funktionalität während solcher Modifikationen hervorheben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, einen Verdächtigen nicht anhand seines Gesichts, sondern durch seine Handschrift zu identifizieren. In der Welt der Computerprogrammierung wird diese „Handschrift“ als Code-Stylometrie bezeichnet. Jeder Programmierer hat einzigartige Gewohnheiten: wie er Zeilen setzt, welche Namen er seinen Variablen gibt und die spezifische Art und Weise, wie er seine Logik strukturiert. Genau wie ein Detektiv eine Notiz einem Verdächtigen zuordnen kann, nutzen Cybersicherheitsexperten diese digitalen Fingerabdrücke, um herauszufinden, wer eine Software geschrieben hat, was entscheidend ist, um die Autoren bösartiger Programme zu fassen.
Doch ein neuer Akteur ist in das Spiel eingetreten: Large Language Models (LLMs) wie GPT-3.5 und GPT-4. Betrachten Sie diese KI-Modelle als unglaublich talentierte Geisterfahrer. Sie können einen Code lesen, genau verstehen, was er tut, und ihn dann von Grund auf neu schreiben, wobei sie eine völlig andere „Handschrift“ verwenden, während die Anweisungen der Maschine identisch bleiben.
Dieses Forschungspapier ist im Wesentlichen ein Test dazu, wie gut diese KI-Geisterfahrer darin sind, die Identität des ursprünglichen Autors zu verbergen, ohne den Code zu beschädigen.
Das Experiment: Eine „Stilwechsel“-Herausforderung
Die Forscher richteten einen Wettbewerb mit zwei Hauptteams auf:
- Die Detektive: Ein Computermodell (ein Random Forest Classifier), das darauf trainiert ist, die einzigartige „Handschrift“ verschiedener Programmierer zu erkennen.
- Die Geisterfahrer: Die KI-Modelle (GPT-3.5 und GPT-4), die versuchen, den Code zu tarnen.
Die Forscher gaben der KI 10 verschiedene Java-Code-Stücke und baten sie, diese unter Verwendung von vier verschiedenen Strategien neu zu schreiben:
- Der „Mach es einfach“-Ansatz: Ein einfacher Befehl: „Ändere den Stil dieses Codes.“
- Der „Imitator“-Ansatz: „Schreibe diesen Code um, sodass er aussieht, als wäre er von [Berühmtem Programmierer X] oder aus [Bestimmter Region] geschrieben worden.“
- Der „Nachahmer“-Ansatz: „Hier ist ein Beispiel für einen bestimmten Stil; schreibe den Code um, um diesem Beispiel zu entsprechen.“
- Der „Übersetzer“-Ansatz: „Übersetze diesen Java-Code in C++, dann übersetze ihn zurück in Java.“ Die Idee hinter der Übersetzung ist, dass der Übersetzungsprozess die KI zu neuen stilistischen Entscheidungen zwingt.
Sie testeten diese Strategien mit zwei Methoden:
- Single-Shot: Die KI die gesamte Aufgabe in einem Schritt erledigen zu lassen.
- Multi-Shot: Die Aufgabe in kleine, schrittweise Anweisungen zu unterteilen (z. B. „Analysiere zuerst den Code, liste dann Änderungen auf, schreibe dann um“).
Die Ergebnisse: Wer hat das Spiel gewonnen?
1. Die KI wurde besser im Verstecken
Die Studie ergab, dass die KI-Modelle überraschend gut darin waren, die „Handschrift“ zu ändern.
- GPT-4 war der bessere Geisterfahrer: Es erledigte im Allgemeinen die Aufgabe, die Identität des ursprünglichen Autors zu verbergen, besser als GPT-3.5.
- Schritt-für-Schritt-Anweisungen funktionierten am besten: Wenn die Forscher der KI detaillierte, mehrstufige Anweisungen gaben (Multi-Shot), war sie viel erfolgreicher darin, den Code zu tarnen, als wenn sie ihr nur einen einfachen einzeiligen Befehl gaben (Single-Shot). Es ist wie einem Schüler zu sagen: „Schreibe eine Geschichte“ gegenüber „Erstelle zuerst den Plot, dann schreibe die Charaktere, dann schreibe den Dialog“. Die zweite Methode lieferte bessere Ergebnisse.
- Der „Übersetzer“-Trick war der stärkste: Die Strategie, den Code in eine andere Sprache zu übersetzen und wieder zurück (Strategie 4), war der effektivste Weg, um die stilistischen Fingerabdrücke zu verwirren.
2. Das „Broken Code“-Problem
Es gab jedoch einen Haken. Während die KI gut darin war, den Stil zu ändern, war sie nicht perfekt darin, den Code funktionsfähig zu halten.
- Stellen Sie sich vor, Sie bitten einen Geisterfahrer, einen Roman umzuschreiben, aber die Handlung exakt gleich zu halten. Manchmal ändern sie einen Charakterenamen so sehr, dass die Geschichte nicht mehr Sinn ergibt.
- In der Studie, als sie versuchten, den umgeschriebenen Code auszuführen, konnte 41 % davon nicht kompiliert werden (er startete gar nicht erst). Weitere 1 % startete, scheiterte aber bei den Tests.
- Nur 58 % des umgeschriebenen Codes funktionierten tatsächlich perfekt.
- Von dem Code, der tatsächlich funktionierte, konnte nur 17 % das Detektiv-Programm täuschen. Das bedeutet, dass von jeweils 100 Versuchen nur etwa 10 zu Code führten, der sowohl funktionsfähig als auch erfolgreich getarnt war.
Das Fazit
Dieses Papier kommt zu dem Schluss, dass KI-Modelle wie GPT-4 zwar mächtige Werkzeuge zur Änderung von Codestilen sind und die Identität eines Autors erfolgreich verbergen können, sie aber noch keine perfekten „Tarnkappen“ sind.
- Sie brauchen Hilfe: Sie funktionieren am besten, wenn man ihnen detaillierte Schritt-für-Schritt-Anweisungen gibt, anstatt nur einfache Befehle.
- Sie machen Dinge kaputt: Es besteht ein hohes Risiko, dass die KI im Prozess der Stiländerung versehentlich die Funktionalität des Codes beschädigt.
- Das Katz-und-Maus-Spiel geht weiter: Da KI besser darin wird, Codestile zu verbergen, müssen auch die „Detektive“ (Cybersicherheits-Tools) klüger werden, um sie zu fangen.
Die Forscher betonen, dass diese Studie eine Momentaufnahme der aktuellen Fähigkeiten ist. Sie fanden, dass die KI zwar die „Handschrift“ verschleiern kann, dies aber ohne die Beschädigung der „Geschichte“ (der Funktion des Codes) eine erhebliche Herausforderung bleibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.