Efficient and Scalable Provenance Tracking for LLM-Generated Code Snippets

Riepilogo Tecnico: Tracciamento della Provenienza Efficiente e Scalabile per Frammenti di Codice Generati da LLM

Enunciato del Problema
La proliferazione dei Modelli Linguistici di Grande Dimensione (LLM) per il completamento e la generazione di codice (ad esempio, Codex, CodeLlama, StarCoder) ha introdotto sfide legali ed etiche significative riguardanti il plagio e la conformità alle licenze. Gli LLM possono "recitare" i dati di addestramento, riproducendo il codice in modo verbatim o con adattamenti minori (ad esempio, la rinomina degli identificatori) senza attribuzione. Sebbene le tecniche di impronta digitale classiche come Winnowing (utilizzate nel sistema MOSS) siano efficaci per il rilevamento del plagio, esse si basano su algoritmi di ricerca a tempo lineare. Questo approccio è computazionalmente impraticabile per i moderni corpus di pre-addestramento, che spesso superano miliardi di campioni. Le soluzioni scalabili esistenti, come il recupero infinity-gram, offrono una complessità temporale logaritmica ma rimangono altamente sensibili al rumore e all'adattamento del codice, fallendo nel rilevare somiglianze non verbatim comuni negli output degli LLM.

Metodologia
Gli autori propongono HYBRIDSOURCETRACKER (HST), una pipeline ibrida a due stadi per il tracciamento della provenienza, progettata per bilanciare la scalabilità con un'alta accuratezza di rilevamento. Il sistema integra il recupero tramite database vettoriale con l'impronta digitale tradizionale:

1. SOURCETRACKER (Stadio 1): Un encoder bidirezionale da 300 milioni di parametri, fine-tuned utilizzando la funzione di perdita Contrastive Language-Image Pre-training (CLIP). Il modello è addestrato ad allineare le rappresentazioni vettoriali di piccoli frammenti di codice con i rispettivi snippet di origine completi. Utilizza un dataset di 10 milioni di snippet di codice provenienti da THESTACKV2. Durante l'addestramento, il modello è esposto sia a copie verbatim (cloni di Tipo 1) sia a frammenti "adattati" in cui gli identificatori frequenti sono sostituiti probabilisticamente con stringhe casuali (cloni di Tipo 2) per simulare l'adattamento di dominio.

   • Recupero: All'inferenza, un frammento di codice viene codificato e interrogato contro un database vettoriale Qdrant (utilizzando l'indicizzazione HNSW) per recuperare i 100 snippet candidati più simili. Questa stadio opera con complessità temporale logaritmica ($O(\log N)$) rispetto alla dimensione del dataset.

2. Riordinamento con Winnowing (Stadio 2): I 100 candidati recuperati da SOURCETRACKER sono sottoposti all'algoritmo Winnowing. Questa fase genera impronte digitali sintattiche (hash) per i candidati e per il frammento interrogato, riordinandoli in base alla similarità Jaccard esatta dei loro insiemi di impronte. Limitando il processo Winnowing a un insieme di candidati di dimensione fissa (100 elementi), l'intero sistema mantiene una complessità temporale logaritmica, sfruttando al contempo la resilienza al rumore dell'impronta digitale.

Contributi Chiave

• Modello SOURCETRACKER: Il rilascio di un encoder da 300 milioni di parametri specificamente fine-tuned per recuperare snippet di codice completi da piccoli frammenti, capace di gestire sia codice verbatim sia adattato.
• Pipeline HST: L'introduzione di una metodologia ibrida che combina sequenzialmente la ricerca vettoriale e Winnowing. Questo approccio fornisce garanzie teoriche di complessità temporale logaritmica nella ricerca, ottenendo al contempo prestazioni di rilevamento paragonabili o superiori ai metodi tradizionali di impronta digitale.
• Framework di Valutazione Duale: Il documento adotta una strategia di valutazione duale:
  • Metriche Ground Truth: Utilizzo di Recall@N e Mean Reciprocal Rank (MRR) rispetto a un sottoinsieme noto di THESTACKV2.
  • Giudice basato su LLM: Utilizzo di un LLM (Qwen3 Coder) per valutare la similarità semantica degli snippet recuperati che non erano ground truth, riconoscendo che gli "errori" in un recupero rigoroso potrebbero comunque rappresentare fonti di ispirazione rilevanti.

Risultati
Il sistema è stato valutato su un sottoinsieme di 10 milioni di snippet di THESTACKV2, con spazi di ricerca che vanno da 1.000 a 100.000 campioni.

• Prestazioni vs Dimensione della Finestra: Per piccoli frammenti (≤30 token), Winnowing da solo rimane altamente efficace. Tuttavia, per dimensioni della finestra ≥60 token, HST e SOURCETRACKER superano costantemente Winnowing da solo, con HST che mostra un miglioramento fino al 5,4% nel Mean Reciprocal Rank (MRR).
• Scalabilità: Mentre Winnowing presenta una complessità temporale lineare, creando un collo di bottiglia per dataset di grandi dimensioni, HST mantiene una complessità logaritmica. I risultati estrapolati suggeriscono che le latenze di query rimangono nell'ordine dei millisecondi anche per dataset contenenti miliardi di campioni.
• Robustezza: L'approccio ibrido dimostra resilienza alla rinomina degli identificatori (cloni di Tipo 2). La valutazione tramite giudice basato su LLM ha rivelato che, anche quando il sistema non riesce a recuperare la fonte "golden" esatta, spesso recupera snippet con alta similarità semantica (con punteggi da 2,0 a 2,6 su una scala a 5 punti per finestre più ampie), suggerendo che il sistema identifica influenze rilevanti anche quando le corrispondenze esatte sono oscurate.
• Confronto con OLMOTRACE: Gli autori hanno rilevato che, sebbene OLMOTRACE (un approccio basato su array di suffissi) sia efficiente, fatica con finestre di contesto superiori a 15 token, non riuscendo a catturare similarità contestuali che HST identifica con successo.

Significato e Affermazioni
Il documento afferma che l'integrazione della ricerca vettoriale con l'impronta digitale abilita un tracciamento della provenienza scalabile e ad alta precisione per il codice prodotto da LLM. Gli autori sostengono che questo approccio affronta la necessità critica di trasparenza e attribuzione etica nello sviluppo software.

Tuttavia, gli autori mantengono un tono modesto riguardo alle limitazioni e alle implicazioni più ampie:

• Dipendenza dai Dati di Addestramento: L'applicabilità del sistema è condizionata dalla disponibilità del dataset di addestramento specifico utilizzato per generare il codice.
• Natura degli "Errori": Il documento evidenzia che gli snippet recuperati non etichettati come ground truth potrebbero essere comunque altamente simili alla fonte, suggerendo che una valutazione rigorosa basata sul ground truth potrebbe sottostimare l'utilità del sistema per gli utenti finali alla ricerca di fonti di ispirazione.
• Richiesta di Trasparenza: Gli autori concludono che fare affidamento esclusivamente sulle tendenze di memorizzazione interna degli LLM è precario. Essi sostengono il rilascio dei dataset di addestramento e delle loro fonti sottostanti come un requisito di fatto per abilitare un tracciamento efficace della provenienza e l'attribuzione della paternità.