Technische Samenvatting: PromptMark

Probleemdefinitie

De proliferatie van Large Language Models (LLM's) in softwareontwikkeling heeft een kritieke behoefte gecreëerd aan code-provenance—het vermogen om de oorsprong en auteurschap van door AI gegenereerde broncode te verifiëren. Hoewel watermarking een standaardtechniek is voor digitale inhoud, brengt het toepassen ervan op broncode unieke uitdagingen met zich mee:

1. Structurele Rigiditeit: In tegenstelling tot natuurlijke taal is broncode syntactisch strikt; kleine wijzigingen kunnen de compilatie breken of de programmalogica veranderen.
2. Black-Box Beperkingen: De meeste ontwikkelaars interageren met commerciële LLM's via API's waarbij de interne werking van het model (logits, decoderingsstrategieën) ontoegankelijk is. Bestaande watermarkingmethoden vereisen vaak "white-box" toegang om token-waarschijnlijkheden te manipuleren, wat ze onpraktisch maakt voor real-world implementatie.
3. Balansact: Effectieve watermarking moet detecteerbare signalen inbedden zonder de functionele correctheid of leesbaarheid van de code in gevaar te brengen.

Het kernprobleem dat dit artikel aanpakt, is het ontwerpen van een black-box, prompt-gestuurd watermarking-framework dat onzichtbare, statistisch detecteerbare signalen in broncode kan inbedden zonder toegang tot de interne werking van het model, terwijl de functionaliteit van de code behouden blijft.

Methodologie: PromptMark

De auteurs stellen PromptMark voor, een driefasig framework dat gebruikmaakt van de instructievolgende capaciteiten van LLM's om generatie te sturen naar specifieke patronen.

1. Cryptografische Constructie van de Green List

In plaats van de logits van het model te manipuleren, beïnvloedt PromptMark het model via systeem-prompts.

• Green/Red Lists: Het framework definieert een "Green List" (toegestane begintekens voor identifiers/comments) en een "Red List" (verboden tekens).
• Frequentie-gebaseerde Stratificatie: Om natuurlijkheid te garanderen, wordt de Green List afgeleid van de frequentieverdeling van de beginletters van identifiers in door mensen geschreven code (met behulp van de MBPP en HumanEval datasets). Het systeem selecteert de top-$K$ meest frequente letters ($K \in [10, 12]$) om een kandidaat-pool te vormen.
• Cryptografische Afleiding: Om voorspelbaarheid te voorkomen, worden de specifieke grootte en samenstelling van de Green List deterministisch afgeleid van een 128-bit geheime sleutel met behulp van SHA-256 hashing en Fisher-Yates shuffling. Dit zorgt voor reproduceerbaarheid bij detectie terwijl de beveiliging behouden blijft.

2. Iteratieve Feedbackloop

In het besef dat een enkele prompt mogelijk niet leidt tot code die zowel functioneel correct als voldoende watermarked is, gebruikt PromptMark een iteratief proces:

• Generatie: De LLM genereert code op basis van een systeem-prompt die de instructie geeft om Green List-tekens te gebruiken voor identifiers en comments.
• Evaluatie: De output wordt geëvalueerd op twee metrieken:
  • Functionele Correctheid ($c_i$): Bepaald door de uitvoering van unit tests (Pass/Fail).
  • Watermark Fidelity ($p_i$): Een statistische p-waarde die de afwijking van de Green List karakterfrequentie ten opzichte van de verwachte baseline meet.
• Feedback: Als de code de tests niet doorstaat, worden foutlogs teruggekoppeld. Als de code slaagt maar de watermark zwak is, wordt de prompt bijgewerkt om striktere naleving van de Green List af te dwingen. Deze loop gaat door totdat beide criteria zijn behaald of een maximaal aantal iteraties is bereikt.

3. Statistische Detectie

Detectie wordt behandeld als een eenzijdige hypothesetest:

• Nulhypothese ($H_0$): De code is gegenereerd zonder kennis van de sleutel (Green List frequentie $\le$ baseline).
• Alternatieve Hypothese ($H_1$): De code is watermarked (Green List frequentie $>$ baseline).
• Adaptieve P-waarde: De detector berekent een adaptieve p-waarde, waarbij wordt geschakeld tussen een exacte binomiale test (voor korte code, $N < 30$) en een normale benadering (voor langere code, $N \ge 30$). Code wordt pas als watermarked beschouwd als deze functioneel correct is en de p-waarde onder een significantiedrempel valt.

Belangrijkste Bijdragen

1. Black-Box Watermarking Framework: PromptMark is het eerste framework dat betrouwbare zero-bit watermarking voor broncode demonstreert met behulp van enkel prompt engineering, waardoor de noodzaak voor model-internals wordt geëlimineerd.
2. Iteratieve Feedback-mechanisme: Het artikel introduceert een zelf-verfijningsloop die de balans tussen watermark-sterkte en code-correctheid dynamisch beheert, waarmee het de trade-off aanpakt die vaak bij single-pass prompting wordt gevonden.
3. Adaptive Green List Strategy (AGL): Door de watermark-tokens af te leiden van hoogfrequente menselijke identifier-beginletters, behoudt de methode de semantische natuurlijkheid van de code, waardoor de "geforceerde" uitstraling wordt vermeden die vaak detectie door ontwikkelaars triggert of de leesbaarheid vermindert.
4. Cryptografische Beveiliging: Het gebruik van een geheime sleutel om de Green List deterministisch te genereren, zorgt ervoor dat de watermark reproduceerbaar is voor verificatie, maar veilig tegen voorspelling zonder de sleutel.

Experimentele Resultaten

Het framework werd geëvalueerd op de MBPP en HumanEval datasets met behulp van Gemini 2.5 Flash en Claude Sonnet 4.

• Effectiviteit (RQ1):

  • PromptMark bereikte sterke detecteerbaarheid, met AUROC-scores variërend van 0,90 tot 0,99 over verschillende configuraties.
  • De Iterative-AGL variant (Adaptive Green List) presteerde het best, met een AUROC van 0,994 op Gemini/MBPP en 0,987 op Claude/MBPP.
  • Bij een lage False Positive Rate (1%–5%) overschreed de True Positive Rate de 90%, en bereikte zelfs meer dan 95% in gunstige settings.
  • Baseline-methoden zoals SWEET (white-box) verslechterden de code-correctheid aanzienlijk, terwijl In-Context Watermarking (ICW) zonder iteratie een lage detecteerbaarheid vertoonde (AUROC ~0,51).

• Codekwaliteit (RQ2):

  • Functionele Correctheid: PromptMark behield hoge Pass%-percentages, met ~97% op HumanEval en ~99% op MBPP, vergelijkbaar met niet-watermarked baselines.
  • Structurele Gelijkenis: CodeBLEU-scores bleven stabiel en consistent met niet-watermarked code, wat aangeeft dat het watermarkingproces de control flow of data-afhankelijkheden niet verstoort.

• Robuustheid:

  • De watermark toonde veerkracht tegen verwijdering van comments (AUROC daalde slechts ~3,8%).
  • Echter, geautomatiseerde parafrasering (het hernoemen van variabelen) veroorzaakte significante degradatie (AUROC daalde naar ~0,71), wat de trade-off tussen natuurlijkheid en robuustheid tegen agressieve semantisch-behoudende aanvallen benadrukt.

Betekenis en Claims

Het artikel claimt dat PromptMark erin slaagt broncode-watermarking te herformuleren als een prompt-gestuurde taak, waardoor het haalbaar wordt voor commerciële, black-box LLM's.

• Praktiseerbaarheid: Het biedt een levensvatbare oplossing voor attributie in omgevingen waar de interne werking van het model ontoegankelijk is, waarmee een gat wordt gedicht dat door white-box-only onderzoek is achtergelaten.
• Balans: Het iteratieve feedbackmechanisme bewijst dat hoge watermark-sterkte en hoge codekwaliteit niet wederzijds uitsluitend zijn; het framework kan beide bereiken door dynamische verfijning.
• Attributie: Hoewel de huidige implementatie zero-bit detectie ondersteunt (aanwezigheid/afwezigheid), merkt de auteur op dat de cryptografische sleutel-scheiding de potentie biedt voor model-specifieke attributie indien verschillende sleutels aan verschillende modellen worden toegewezen.

De auteurs concluderen dat hoewel deze aanpak een fundament legt voor zero-bit watermarking, toekomstig werk nodig is om multi-bit encodeerbare watermarks te ontwikkelen voor black-box settings en om de robuustheid tegen systematische hernaamingsaanvallen te verbeteren via multi-channel embedding strategieën.