Robust and Secure Code Watermarking for Large Language Models via ML/Crypto Codesign
Das Paper stellt RoSeMary vor, ein neuartiges ML/Krypto-Codesign-Framework, das End-to-End-Training mit CodeT5 und Zero-Knowledge-Proofs nutzt, um robuste, funktionale und datenschutzwahrende Wasserzeichen in von LLMs generierten Code einzubetten, wodurch die Herausforderungen der geringen Entropie und der sicheren Verifizierung effektiv adressiert werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer nicht nur mit uns chatten, sondern tatsächlich die Blaupausen für unser digitales Leben schreiben. Dies ist das Reich der Large Language Models (LLMs) für Code, der superintelligenten KI-Assistenten, die Softwarefunktionen generieren, Fehler beheben und ganze Programme erstellen können, indem sie lediglich einen Prompt lesen. Aber hier liegt der Haken: Wenn diese KIs Code schreiben, ist es oft schwer zu sagen, wem er wirklich gehört. Hat ein menschlicher Ingenieur ihn geschrieben oder eine KI? Und wenn es eine KI war, welche Firma hinter dieser KI steht? Das ist eine große Sache, denn Code ist wertvolles geistiges Eigentum, wie ein geheimes Rezept oder eine patentierte Erfindung.
Um dies zu lösen, haben Wissenschaftler versucht, KI-Code zu „wasserzeichen“. Denken Sie dabei an eine Art digitale unsichtbare Tinte oder ein verstecktes Wasserzeichen auf einem Banknotenschein. Man möchte beweisen können: „Hey, dieser Code wurde von meiner KI erstellt“, ohne dabei die Funktionsweise des Codes zu verändern. Aber es gibt ein kniffliges Problem: Code ist sehr starr. Im Gegensatz zu einer Geschichte, bei der man Wörter durch Synonyme ersetzen kann, muss Code strengen Regeln folgen, um ausführbar zu sein. Wenn man zu viel verändert, um eine geheime Botschaft zu verbergen, bricht das Programm ab. Zudem muss man, um in einem Gerichtsverfahren Eigentumsrechte nachzuweisen, normalerweise den geheimen Schlüssel (das Wasserzeichen) einem Richter zeigen. Aber wenn man den Schlüssel zeigt, können Bösewichte ihn stehlen und später ihre eigenen Wasserzeichen fälschen. Es ist ein frustrierendes Spiel aus „Verstecken und Suchen“, bei dem die Regeln des Spiels es nahezu unmöglich machen, zu gewinnen, ohne etwas anderes zu verlieren.
Hier kommt ein neues Framework namens RoSeMary ins Spiel, das wie ein geschickter Magier agiert, der eine geheime Botschaft in einer verschlossenen Box verstecken kann, ohne jemals den Schlüssel zu zeigen. Die Forscher, ein Team der University of California, San Diego und der San Diego State University, haben ein System entwickelt, das maschinelles Lernen (den KI-Teil) mit Kryptographie (der geheimen Mathematik) kombiniert. Sie haben herausgefunden, wie man eine versteckte Signatur in KI-generierten Code einbettet, die schwer zu entfernen ist, den Code perfekt am Laufen hält und – was am wichtigsten ist – es einem Richter ermöglicht, die Eigentumsverhältnisse zu verifizieren, ohne dass dieser die eigentliche geheime Signatur jemals zu Gesicht bekommt.
So vollbringt RoSeMary diesen Zaubertrick. Zuerst nutzt es ein vortrainiertes KI-Modell namens CodeT5, das wie ein Meisterkoch ist, der Millionen von Rezepten gekostet hat. Anstatt den Code einfach nur zufällig zu verändern, versteht dieser Chefkoch den „Geschmack“ des Codes. Er nimmt den ursprünglichen Code und eine geheime Nachricht (das Wasserzeichen) und entscheidet, wie er den Code minimal anpassen kann – etwa indem er eine Variable von x in item umbenennt oder eine while-Schleife in eine for-Schleife ändert – damit die geheime Nachricht in diesen winzigen Änderungen verborgen bleibt. Da der Chefkoch die Regeln des Kochens (der Programmierung) kennt, schmeckt der Code immer noch exakt gleich (funktioniert perfekt), selbst wenn die geheime Zutat hinzugefügt wurde.
Doch die wahre Magie geschieht, wenn es Zeit ist, die Authentizität des Codes zu prüfen. Normalerweise müsste man dem Richter das geheime Rezept übergeben. RoSeMary nutzt ein kryptographisches Werkzeug namens Zero-Knowledge Proof (ZKP). Stellen Sie sich vor, Sie möchten einem Freund beweisen, dass Sie die Kombination zu einem Tresor kennen, aber Sie wollen ihm nicht die Zahlen verraten. Sie könnten den Tresor vor ihm öffnen, den Schatz darin zeigen und ihn dann wieder schließen. Er weiß nun, dass Sie die Kombination kennen, aber er hat die Zahlen nie gesehen. RoSeMary macht etwas Ähnliches. Der KI-Besitzer führt einen komplexen mathematischen Schaltkreis aus, der prüft, ob die versteckte Signatur vorhanden ist. Dabei generiert er einen winzigen, digitalen „Beweis“, der besagt: „Ja, die Signatur ist gültig“, ohne dabei zu enthüllen, was die Signatur tatsächlich ist.
Das Team testete dieses System an tausenden Code-Beispielen in Sprachen wie Python, Java und C++. Sie fanden heraus, dass RoSeMary seine Aufgabe unglaublich gut erfüllt. Es konnte das Wasserzeichen in 97,64 % der Fälle erfolgreich verstecken (das heißt, der Code funktionierte weiterhin) und konnte das Wasserzeichen mit einem Genauigkeitswert von 0,97 detektieren (wobei 1,0 perfekt ist). Selbst als Akteure mit bösen Absichten versuchten, das Wasserzeichen durch Umbenennung von Variablen oder die Nutzung anderer KIs zur Umschreibung des Codes zu brechen, fand RoSeMary die versteckte Nachricht zu 98 %.
Vielleicht der beeindruckendste Teil ist die Geschwindigkeit und Privatsphäre. Das System kann einen Eigentumsnachweis in etwa 7,15 Sekunden generieren, und ein Richter kann diesen Beweis in nur 118,6 Millisekunden verifizieren (weniger als ein Augenzwinkern). Entscheidend ist, dass der Richter während des gesamten Prozesses das eigentliche geheime Wasserzeichen niemals sieht. Das bedeutet, dass der Besitzer dasselbe Wasserzeichen immer wieder verwenden kann, ohne befürchten zu müssen, dass jemand es stiehlt und einen gefälschten Anspruch auf Eigentum erhebt.
Kurz gesagt: RoSeMary löst ein Drei-Wege-Tauziehen, das Forscher schon lange vor Herausforderungen stellt. Es schafft es, den Code funktionsfähig zu halten (Fidelity), das Wasserzeichen leicht auffindbar zu machen (Detektierbarkeit) und es schwer brechbar zu machen (Robustheit) – und das alles, während der geheime Schlüssel vor neugierigen Blicken geschützt bleibt. Es ist ein bedeutender Schritt nach vorn beim Schutz des geistigen Eigentums der KI-Revolution und stellt sicher, dass, wenn eine KI ein Meisterwerk schreibt, der Künstler die Anerkennung und den Schutz erhält, den er verdient.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.