Detection of LLM-assisted Code Plagiarism Using k-gram Software Birthmarks
Diese Arbeit zeigt, dass auf Java-Opcodes basierende k-Gramm-Software-Birthmarks weiterhin effektiv bei der Erkennung von LLM-gestütztem Code-Plagiat über verschiedene Modelle und Ähnlichkeitsmaße hinweg sind, trotz der Herausforderungen durch Code-Paraphrasierung.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten ein geheimes Rezept für einen köstlichen Kuchen. In den alten Zeiten, wenn jemand Ihr Rezept stehlen wollte, hätte er es Wort für Wort kopieren müssen. Es war einfach, sie zu erwischen, weil die Handschrift oder die Schreibweise exakt gleich aussah.
Aber heute stellen Sie sich vor, ein superintelligenter Roboterkoch (eine KI) kann sich Ihr Rezept ansehen, es völlig umschreiben und eine neue Version liefern, die exakt genauso schmeckt, aber ganz anders aussieht. Er ändert die Schriftart, ersetzt „Zucker“ durch „Süßungsmittel“, ordnet die Schritte neu an und verwendet andere Messbecher. Für das menschliche Auge sieht es wie ein brandneues Rezept aus. Das ist das, was die Arbeit als LLM-gestützten Code-Plagiatismus bezeichnet.
Hier ist, wie die Forscher in dieser Arbeit dieses Problem angegangen sind, um die „Roboterkoch“-Diebe zu überführen, einfach erklärt:
Das Problem: Das „magische“ Umschreiben
Softwareentwickler schreiben Code (Anweisungen für Computer). Large Language Models (LLMs) sind KI-Werkzeuge, die bestehenden Code nehmen und ihn „paraphrasieren“ können. Sie ändern das Aussehen und die Struktur des Codes so stark, dass traditionelle Plagiatsdetektoren (die nach identischen Wörtern oder Zeilen suchen) getäuscht werden. Das Programm macht immer noch genau das Gleiche, aber es sieht so aus, als wäre es von einer anderen Person geschrieben worden.
Die Lösung: Der „Software-Geburtsmal“-Fingerabdruck
Die Forscher versuchten nicht, den umgeschriebenen Code wie ein Mensch zu lesen. Stattdessen verwendeten sie etwas, das man Software-Birthmarks (Software-Geburtsmale) nennt.
Stellen Sie sich ein Geburtsmal wie einen einzigartigen Fingerabdruck vor. Selbst wenn Sie die Kleidung, die Frisur oder die Brille wechseln, bleibt Ihr Fingerabdruck gleich.
- Wie sie es herstellten: Sie nahmen das „Rezept“ des Computers (den Code), übersetzten es in eine Liste von grundlegenden Maschinenbefehlen (genannt Opcodes) und hackten diese in kleine Stücke von jeweils 2 bis 6 Anweisungen auf.
- Die Analogie: Stellen Sie sich vor, Sie haben den Satz: „Die Katze saß auf der Matte.“
- Ein 1-Gram (ein Stück von 1) ist einfach nur die Wörter: „Die“, „Katze“, „saß“... (Zu häufig; viele Sätze enthalten „die“).
- Ein 2-Gram (Stück von 2) sind Paare: „Die Katze“, „Katze saß“, „saß auf“... (Mehr einzigartig).
- Ein 3-Gram sind Triplets: „Die Katze saß“, „Katze saß auf“... (Noch einzigartiger).
Sie verwandelten das gesamte Programm in einen „Beutel“ dieser Stücke. Selbst wenn die KI die Sätze neu anordnet, wäre die spezifische Art der Stücke (der Fingerabdruck) wahrscheinlich immer noch vorhanden.
Das Experiment: Wer ist der beste Dieb?
Die Forscher testeten drei verschiedene „Roboterköche“ (KI-Modelle):
- ChatGPT-5.1-Codex-Mini
- DeepSeek-V4-Flash
- Claude-Haiku-4.5
Sie nahmen echte Open-Source-Java-Programme, baten diese KIs, sie umzuschreiben, und versuchten dann, die KIs mit ihrer „Fingerabdruck“-Methode zu überführen. Sie testeten auch verschiedene Wege, die Fingerabdrücke zu vergleichen (wie zum Beispiel zu zählen, wie viele Stücke übereinstimmen vs. wie nah die Reihenfolge beieinander liegt).
Die Ergebnisse: Was hat funktioniert?
1. Die Größe des Stücks zählt (Die „Goldlöckchen“-Zone)
- Zu klein (1 Stück): Es war, als würde man versuchen, eine Person nur anhand des Wortes „die“ zu identifizieren. Zu viele Menschen benutzen es, also war es kein guter Fingerabdruck.
- Zu groß (6 Stücke): Es war, als würde man versuchen, einen ganzen Absatz abzugleichen. Wenn die KI nur einen Satz verschob, passte der ganze Absatz nicht mehr, und der Fingerabdruck zerbrach.
- Genau richtig (2 oder 3 Stücke): Dies war der „Sweet Spot“. Diese kleinen Gruppen von Anweisungen waren einzigartig genug, um den ursprünglichen Code zu identifizieren, aber robust genug, um das Umschreiben durch die KI zu überstehen.
2. Wie man vergleicht, zählt
- Die Reihenfolge spielt keine Rolle: Die Forscher fanden heraus, dass es eine schlechte Idee war, auf die Reihenfolge der Anweisungen zu achten (wie bei der Prüfung, ob die Schritte in der exakt gleichen Sequenz ablaufen). Die KI hat die Reihenfolge so stark durcheinandergebracht, dass diese Methode scheiterte.
- Das Zählen zählt: Die beste Methode war schlichtweg zu zählen, wie viele eindeutige Stücke sowohl im Original- als auch im umgeschriebenen Code vorkommen, unabhängig von der Reihenfolge. Es ist wie zu sagen: „Enthalten beide Rezepte ‚Mehl‘ und ‚Eier‘?“ statt „Wurde das Ei vor dem Mehl hinzugefügt?“.
3. Welche KI war am schwersten zu überführen?
- ChatGPT-5.1-Codex-Mini war am heimlichsten. Es schaffte es, den Code so gründlich umzuschreiben, dass es am schwersten zu entdecken war, und produzierte dennoch Code, der tatsächlich funktionierte (ohne Fehler kompiliert wurde).
- Die beiden anderen KIs (DeepSeek und Claude) waren leichter zu überführen, da ihre Umschreibungen offensichtlichere „Fingerabdrücke“ hinterließen.
Das Fazit
Obwohl eine KI Code umschreiben kann, sodass er völlig anders aussieht, kann sie nicht die grundlegende „DNA“ dessen ändern, wie der Computer denkt. Indem wir auf kleine, einzigartige Muster von Maschinenanweisungen (Geburtsmale) schauen und zählen, wie viele davon übereinstimmen, können wir den Dieb trotzdem fassen, selbst wenn er einen superintelligenten Roboter benutzt, um das Verbrechen zu tarnen.
Die Arbeit kommt zu dem Schluss, dass diese Methode gut gegen modernen KI-Plagiatismus funktioniert, insbesondere wenn man kleine Code-Stücke (2 oder 3 Anweisungen) verwendet und sich darauf konzentriert, was im Code enthalten ist, anstatt darauf, wo es sich befindet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.