🤖 AI

Efficient and Scalable Provenance Tracking for LLM-Generated Code Snippets

Ce papier présente SOURCETRACKER et son pipeline hybride en deux étapes, HYBRIDSOURCETRACKER, qui combine la recherche vectorielle et l'empreinte digitale classique pour permettre un suivi de provenance évolutif et de haute précision des codes générés par les LLM en identifiant efficacement les sources d'entraînement potentielles au sein de corpus à l'échelle du milliard.

Auteurs originaux : Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef qui vient de créer un plat délicieux et nouveau. Vous voulez savoir si votre recette a été inspirée par un livre de cuisine spécifique, ou si vous avez accidentellement copié le travail d'un chef célèbre mot pour mot. Maintenant, imaginez que, au lieu d'un chef humain, le « cuisinier » est une IA ultra-intelligente (un grand modèle de langage) qui a lu des milliards de livres de cuisine.

Le problème est le suivant : si l'IA copie une recette, elle modifie souvent les noms des ingrédients (comme remplacer « sucre » par « édulcorant ») ou réorganise légèrement les étapes. Les méthodes traditionnelles de vérification du plagiat sont comparables à un bibliothécaire qui doit lire chaque page de chaque livre de cuisine dans le monde pour trouver une correspondance. Si la bibliothèque contient des milliards de livres, ce bibliothécaire mettrait des années à trouver la réponse.

Ce papier présente un nouveau système ultra-rapide appelé SOURCETRACKER et un processus en deux étapes appelé HYBRIDSOURCETRACKER (HST) pour résoudre ce problème. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : L'Aiguille dans une Pile de Foin à un Milliard de Pailles

Les auteurs expliquent que les modèles d'IA « mémorisent » parfois des parties des données sur lesquelles ils ont été entraînés. Lorsqu'ils génèrent du code, ils peuvent produire un extrait presque identique à un morceau de code issu de leurs données d'entraînement, même s'ils ont modifié quelques noms de variables.

L'Ancienne Méthode (Winnowing) : Imaginez essayer de trouver une phrase spécifique dans une bibliothèque de milliards de livres en lisant chaque livre de la première à la dernière page. C'est précis, mais incroyablement lent. Si la bibliothèque grandit, le temps nécessaire augmente avec elle (temps linéaire).
Le Nouveau Défi : Les ensembles de données d'entraînement des IA modernes sont si vastes (des milliards d'extraits) que l'ancienne méthode de « tout lire » est trop lente pour être utile.

2. La Solution : Une Équipe de Détectives en Deux Étapes

Les auteurs ont créé un système hybride qui agit comme une équipe de détectives en deux étapes pour trouver rapidement et précisément la source originale du code.

Étape 1 : Le « Renifleur Intelligent » (SOURCETRACKER)

D'abord, ils ont construit un modèle d'IA spécialisé appelé SOURCETRACKER. Imaginez cela comme un chien hautement dressé capable de sentir une odeur spécifique.

Au lieu de lire chaque mot, ce modèle transforme un morceau de code en un « profil olfactif » (un vecteur mathématique).
Il utilise une base de données haute technologie (Qdrant) qui agit comme une carte ultra-rapide. Au lieu de fouiller toute la bibliothèque, le chien renifle l'air et pointe instantanément les 100 livres les plus susceptibles de correspondre à l'odeur.
Vitesse : Cette étape est incroyablement rapide, ne prenant que quelques millisecondes même avec des milliards de livres, car elle utilise une recherche « logarithmique » (comme trouver un livre dans une bibliothèque en vérifiant l'index, puis l'étagère, puis le livre, plutôt que de lire chaque page).

Étape 2 : L'« Examinateur Forensique » (Winnowing)

Une fois que le « Renifleur Intelligent » a réduit le champ aux 100 candidats principaux, le second détective intervient. Il s'agit de l'algorithme classique Winnowing.

Imaginez cela comme un expert forensique qui examine les 100 meilleurs livres et vérifie les empreintes digitales sur les pages.
Il compare la structure exacte du code pour voir s'il y a correspondance, même si certains mots ont été modifiés.
Parce qu'il doit seulement vérifier 100 livres au lieu de milliards, cette étape est également très rapide.

3. Les Résultats : Rapide et Précis

Le papier a testé ce système sur un ensemble de données massif de 10 millions d'extraits de code. Voici ce qu'ils ont découvert :

Extraits Courts : Si l'extrait de code est très court (comme une phrase unique), le « Renifleur Intelligent » n'est pas parfait, et l'ancien « Examinateur Forensique » (Winnowing) reste meilleur pour trouver la correspondance exacte.
Extraits Plus Longs : Si l'extrait de code est plus long (60 mots ou plus), le Système Hybride (HST) fonctionne mieux que l'ancienne méthode seule. Il trouve la bonne source plus souvent tout en restant ultra-rapide.
Les Correspondances « Presque Justes » : Les auteurs ont également utilisé une autre IA pour évaluer les résultats. Ils ont constaté que même lorsque le système ne trouvait pas le code original exact (la « Vérité Terrain »), il trouvait souvent du code très similaire. Cela est utile car cela indique à l'utilisateur : « Hé, ce code semble provenir de cette famille de code, même s'il n'est pas l'original exact. »

4. Pourquoi Cela Compte

Le papier soutient que pour que le code généré par l'IA soit éthique et légal, nous devons savoir d'où il vient.

Transparence : Ce système aide les utilisateurs à voir si leur code généré par l'IA n'est qu'une copie du travail de quelqu'un d'autre.
Évolutivité : Il prouve que l'on peut vérifier le plagiat dans une bibliothèque de milliards de livres en le temps qu'il faut pour cligner des yeux, plutôt que d'attendre des années.

Le Bémol

Les auteurs sont honnêtes sur les limites :

Vous avez besoin de la bibliothèque : Pour utiliser ce système, vous devez avoir accès aux données d'entraînement originales (la bibliothèque de livres). Si l'IA a été entraînée sur des données secrètes que vous ne pouvez pas voir, vous ne pouvez pas tracer la source.
Modifications créatives : Si l'IA modifie trop le code (pas seulement en renommant des variables, mais en réécrivant complètement la logique), le système pourrait avoir du mal à trouver le lien.

En résumé : Le papier présente une équipe « Renifleur Intelligent » + « Examinateur Forensique » capable de scanner instantanément des milliards d'extraits de code pour trouver la source originale du code généré par l'IA, alliant vitesse et haute précision, en particulier pour les extraits de code plus longs.

Résumé technique : Suivi de provenance efficace et évolutif pour les extraits de code générés par les LLM

Énoncé du problème
La prolifération des modèles de langage de grande taille (LLM) pour la complétion et la génération de code (par exemple, Codex, CodeLlama, StarCoder) a introduit des défis juridiques et éthiques majeurs concernant le plagiat et la conformité aux licences. Les LLM peuvent « réciter » les données d'entraînement, reproduisant le code mot pour mot ou avec de légères adaptations (par exemple, le renommage d'identifiants) sans attribution. Bien que les techniques classiques d'empreinte digitale comme Winnowing (utilisé dans le système MOSS) soient efficaces pour la détection de plagiat, elles reposent sur des algorithmes de recherche linéaires. Cette approche est computationnellement peu pratique pour les corpus d'entraînement modernes, qui dépassent souvent plusieurs milliards d'échantillons. Les solutions évolutives existantes, telles que la recherche par n-grammes infinis, offrent une complexité temporelle logarithmique mais restent très sensibles au bruit et à l'adaptation du code, échouant à détecter les similitudes non littérales courantes dans les sorties des LLM.

Méthodologie
Les auteurs proposent HYBRIDSOURCETRACKER (HST), un pipeline hybride de suivi de provenance en deux étapes conçu pour équilibrer l'évolutivité avec une haute précision de détection. Le système intègre la recherche dans une base de données vectorielle avec l'empreinte digitale traditionnelle :

SOURCETRACKER (Étape 1) : Un encodeur bidirectionnel de 300 millions de paramètres, affiné à l'aide de la fonction de perte Contrastive Language-Image Pre-training (CLIP). Le modèle est entraîné à aligner les représentations vectorielles de petits fragments de code avec leurs extraits de source complets correspondants. Il utilise un ensemble de données de 10 millions d'extraits de code provenant de THESTACKV2. Pendant l'entraînement, le modèle est exposé à la fois à des copies mot pour mot (clones de type 1) et à des fragments « adaptés » où les identifiants fréquents sont remplacés de manière probabiliste par des chaînes aléatoires (clones de type 2) pour simuler l'adaptation de domaine.
- Récupération : À l'inférence, un fragment de code est encodé et interrogé contre une base de données vectorielle Qdrant (utilisant l'indexation HNSW) pour récupérer les 100 extraits candidats les plus similaires. Cette étape opère avec une complexité temporelle logarithmique ( $O(\log N)$ ) par rapport à la taille de l'ensemble de données.
Reclassement par Winnowing (Étape 2) : Les 100 meilleurs candidats récupérés par SOURCETRACKER sont soumis à l'algorithme Winnowing. Cette étape génère des empreintes digitales syntaxiques (hachages) pour les candidats et le fragment de requête, les reclasse en fonction de la similarité de Jaccard exacte de leurs ensembles d'empreintes. En limitant le processus Winnowing à un ensemble de candidats de taille fixe (100 éléments), le système global maintient une complexité temporelle logarithmique tout en tirant parti de la résistance au bruit de l'empreinte digitale.

Contributions clés

Modèle SOURCETRACKER : La mise à disposition d'un encodeur de 300 millions de paramètres spécifiquement affiné pour récupérer des extraits de code complets à partir de petits fragments, capable de gérer à la fois le code mot pour mot et le code adapté.
Pipeline HST : L'introduction d'une méthodologie hybride combinant séquentiellement la recherche vectorielle et Winnowing. Cette approche fournit des garanties théoriques de complexité temporelle de recherche logarithmique tout en atteignant des performances de détection comparables, voire supérieures, aux méthodes traditionnelles d'empreinte digitale.
Cadre d'évaluation dual : L'article emploie une stratégie d'évaluation double :
- Métriques de vérité terrain : Utilisation du Rappel@N et du Réciproque Moyen des Rangs (MRR) par rapport à un sous-ensemble connu de THESTACKV2.
- Juge basé sur un LLM : Utilisation d'un LLM (Qwen3 Coder) pour évaluer la similarité sémantique des extraits récupérés qui ne sont pas de vérité terrain, reconnaissant que les « erreurs » dans une récupération stricte peuvent toujours représenter des sources d'inspiration pertinentes.

Résultats
Le système a été évalué sur un sous-ensemble de 10 millions d'extraits de THESTACKV2, avec des espaces de recherche allant de 1 000 à 100 000 échantillons.

Performance vs Taille de fenêtre : Pour les petits fragments (≤30 tokens), Winnowing seul reste très efficace. Cependant, pour des tailles de fenêtre ≥60 tokens, HST et SOURCETRACKER surpassent systématiquement Winnowing seul, HST montrant une amélioration allant jusqu'à 5,4 % du Réciproque Moyen des Rangs (MRR).
Évolutivité : Alors que Winnowing présente une complexité temporelle linéaire, créant un goulot d'étranglement pour les grands ensembles de données, HST maintient une complexité logarithmique. Les résultats extrapolés suggèrent que les latences de requête restent dans la plage des millisecondes, même pour des ensembles de données contenant des milliards d'échantillons.
Robustesse : L'approche hybride démontre une résilience au renommage d'identifiants (clones de type 2). L'évaluation par le juge basé sur un LLM a révélé que même lorsque le système échoue à récupérer la source exacte « idéale », il récupère souvent des extraits avec une forte similarité sémantique (obtenant un score de 2,0 à 2,6 sur une échelle de 5 points pour les grandes fenêtres), suggérant que le système identifie des influences pertinentes même lorsque les correspondances exactes sont obscurcies.
Comparaison avec OLMOTRACE : Les auteurs ont constaté que bien qu'OLMOTRACE (une approche basée sur les tableaux de suffixes) soit efficace, il peine avec des fenêtres de contexte supérieures à 15 tokens, échouant à capturer les similitudes contextuelles que HST identifie avec succès.

Importance et revendications
L'article revendique que l'intégration de la recherche vectorielle avec l'empreinte digitale permet un suivi de provenance évolutif et de haute précision pour le code produit par les LLM. Les auteurs soutiennent que cette approche répond au besoin critique de transparence et d'attribution éthique dans le développement logiciel.

Cependant, les auteurs restent modestes concernant les limites et les implications plus larges :

Dépendance aux données d'entraînement : L'applicabilité du système est conditionnée par la disponibilité de l'ensemble de données d'entraînement spécifique utilisé pour générer le code.
Nature des « erreurs » : L'article souligne que les extraits récupérés non étiquetés comme vérité terrain peuvent toujours être très similaires à la source, suggérant qu'une évaluation stricte de la vérité terrain pourrait sous-estimer l'utilité du système pour les utilisateurs finaux recherchant des sources d'inspiration.
Appel à la transparence : Les auteurs concluent que se fier uniquement aux tendances de mémorisation interne des LLM est précaire. Ils préconisent la publication des ensembles de données d'entraînement et de leurs sources sous-jacentes comme une exigence de facto pour permettre un suivi de provenance efficace et une attribution de paternité.