Riepilogo Tecnico: PromptMark

Definizione del Problema

La proliferazione dei Large Language Models (LLM) nello sviluppo software ha creato un bisogno critico di provenance del codice — la capacità di verificare l'origine e l'autorialità del codice sorgente generato dall'IA. Sebbene il watermarking sia una tecnica standard per i contenuti digitali, applicarlo al codice sorgente presenta sfide uniche:

1. Rigidità Strutturale: A differenza del linguaggio naturale, il codice sorgente è sintatticamente rigoroso; modifiche minime possono interrompere la compilazione o alterare la logica del programma.
2. Vincoli Black-Box: La maggior parte degli sviluppatori interagisce con gli LLM commerciali tramite API in cui gli interni del modello (logits, strategie di decoding) sono inaccessibili. I metodi di watermarking esistenti richiedono spesso l'accesso "white-box" per manipolare le probabilità dei token, rendendoli poco pratici per l'implementazione nel mondo reale.
3. Equilibrio: Un watermarking efficace deve incorporare segnali rilevabili senza compromettere la correttezza funzionale o la leggibilità del codice.

Il problema centrale affrontato da questo articolo è la progettazione di un framework di watermarking black-box guidato dai prompt che possa incorporare segnali invisibili e statisticamente rilevabili nel codice sorgente senza accesso agli interni del modello, preservando al contempo la funzionalità del codice.

Metodologia: PromptMark

Gli autori propongono PromptMark, un framework in tre fasi che sfrutta le capacità di seguire le istruzioni degli LLM per guidare la generazione verso pattern specifici.

1. Costruzione della Green List Crittografica

Invece di manipolare i logit del modello, PromptMark influenza il modello tramite system prompt.

• Green/Red List: Il framework definisce una "Green List" (caratteri iniziali consentiti per identificatori/commenti) e una "Red List" (caratteri proibiti).
• Stratificazione basata sulla frequenza: Per garantire la naturalezza, la Green List è derivata dalla distribuzione di frequenza delle iniziali degli identificatori nel codice scritto da umani (utilizzando i dataset MBPP e HumanEval). Il sistema seleziona i primi-$K$ caratteri più frequenti ($K \in [10, 12]$) per formare un pool di candidati.
• Derivazione Crittografica: Per evitare la prevedibilità, la dimensione specifica e la composizione della Green List sono derivate deterministicamente da una chiave segreta a 128 bit utilizzando l'hashing SHA-256 e lo shuffling di Fisher-Yates. Ciò garantisce la riproducibilità per il rilevamento mantenendo la sicurezza.

2. Ciclo di Feedback Iterativo

Riconoscendo che un singolo prompt potrebbe non produrre codice che sia sia funzionalmente corretto che sufficientemente watermarked, PromptMark impiega un processo iterativo:

• Generazione: L'LLM genera il codice basandosi su un system prompt che istruisce l'uso di caratteri della Green List per identificatori e commenti.
• Valutazione: L'output viene valutato su due metriche:
  • Correttezza Funzionale ($c_i$): Determinata dall'esecuzione di unit test (Pass/Fail).
  • Fedeltà del Watermark ($p_i$): Un p-value statistico che misura la deviazione della frequenza dei caratteri della Green List rispetto alla baseline attesa.
• Feedback: Se il codice fallisce i test, i log di errore vengono reinseriti. Se il codice passa ma il watermark è debole, il prompt viene aggiornato per imporre un'aderenza più stretta alla Green List. Questo ciclo continua finché entrambi i criteri non sono soddisfatti o viene raggiunto un limite massimo di iterazioni.

3. Rilevamento Statistico

Il rilevamento è trattato come un test di ipotesi a una sola coda:

• Ipotesi Nulla ($H_0$): Il codice è stato generato senza la conoscenza della chiave (frequenza della Green List $\le$ baseline).
• Ipotesi Alternativa ($H_1$): Il codice è watermarked (frequenza della Green List $>$ baseline).
• P-Value Adattivo: Il detector calcola un p-value adattivo, passando tra un test binomiale esatto (per codice breve, $N < 30$) e un'approssimazione normale (per codice lungo, $N \ge 30$). Un codice è considerato watermarked solo se è funzionalmente corretto e il p-value scende sotto una soglia di significatività.

Contributi Chiave

1. Framework di Watermarking Black-Box: PromptMark è il primo framework a dimostrare un affidabile watermarking zero-bit per il codice sorgente utilizzando solo il prompt engineering, eliminando la necessità di accedere agli interni del modello.
2. Meccanismo di Feedback Iterativo: Il paper introduce un ciclo di auto-raffinamento che bilancia dinamicamente la forza del watermark con la correttezza del codice, affrontando il trade-off spesso presente nel prompting a passaggio singolo.
3. Strategia Adaptive Green List (AGL): Derivando i token del watermark dalle iniziali ad alta frequenza degli identificatori umani, il metodo preserva la naturalezza semantica del codice, evitando l'aspetto "forzato" che spesso innesca il rilevamento da parte dei programmatori o riduce la leggibilità.
4. Sicurezza Crittografica: L'uso di una chiave segreta per generare deterministicamente la Green List assicura che il watermark sia riproducibile per la verifica ma sicuro contro la prevedibilità senza la chiave.

Risultati Sperimentali

Il framework è stato valutato sui dataset MBPP e HumanEval utilizzando Gemini 2.5 Flash e Claude Sonnet 4.

• Efficacia (RQ1):

  • PromptMark ha ottenuto una forte rilevabilità, con punteggi AUROC compresi tra 0.90 e 0.99 attraverso le configurazioni.
  • La variante Iterative-AGL (Adaptive Green List) ha performato meglio, ottenendo un AUROC di 0.994 su Gemini/MBPP e 0.987 su Claude/MBPP.
  • Con un basso tasso di Falsi Positivi (1%–5%), i tassi di Veri Positivi hanno superato il 90%, raggiungendo oltre il 95% in condizioni favorevoli.
  • Metodi baseline come SWEET (white-box) hanno degradato significativamente la correttezza del codice, mentre l'In-Context Watermarking (ICW) senza iterazione ha mostrato una scarsa rilevabilità (AUROC ~0.51).

• Qualità del Codice (RQ2):

  • Correttezza Funzionale: PromptMark ha preservato alti tassi di Pass%, raggiungendo circa il 97% su HumanEval e il 99% su MBPP, comparabile ai baseline non watermarked.
  • Similarità Strutturale: I punteggi CodeBLEU sono rimasti stabili e coerenti con il codice non watermarked, indicando che il processo di watermarking non ha distorto il flusso di controllo o le dipendenze dei dati.

• Robustezza:

  • Il watermark ha mostrato resilienza alla rimozione dei commenti (l'AUROC è sceso solo di circa il 3.8%).
  • Tuttavia, il parafrasaggio automatizzato (rinomina delle variabili) ha causato una degradazione significativa (l'AUROC è sceso a circa 0.71), evidenziando un trade-off tra naturalezza e robustezza contro attacchi semantici aggressivi.

Significato e Rivendicazioni

Il paper sostiene che PromptMark riesce a inquadrare il watermarking del codice sorgente come un compito guidato dai prompt, rendendolo fattibile per gli LLM commerciali black-box.

• Praticità: Offre una soluzione vitale per l'attribuzione in ambienti in cui gli interni del modello sono inaccessibili, colmando una lacuna lasciata dalla ricerca focalizzata solo sul white-box.
• Equilibrio: Il meccanismo di feedback iterativo dimostra che l'alta forza del watermark e l'alta qualità del codice non sono mutuamente esclusive; il framework può ottenere entrambi attraverso il raffinamento dinamico.
• Attribuzione: Sebbene l'attuale implementazione supporti il rilevamento zero-bit (presenza/assenza), gli autori notano che la separazione della chiave crittografica permette la potenziale attribuzione specifica del modello se vengono assegnate chiavi distinte a modelli diversi.

Gli autori concludono che, sebbene l'approccio stabilisca una base per il watermarking zero-bit, sono necessari lavori futuri per sviluppare watermark codificabili multi-bit per contesti black-box e per migliorare la robustezza contro attacchi di rinomina sistematica attraverso strategie di embedding multi-canale.