Résumé technique : Détection de la mémorisation fonctionnelle dans les modèles de langage de code

Énoncé du problème

Les grands modèles de langage (LLM) entraînés sur des corpus de code sont de plus en plus utilisés pour la génération de code. Les recherches antérieures ont largement étudié l'« extraction de données d'entraînement », où les modèles reproduisent des exemples d'entraînement de manière textuelle ou quasi textuelle. Cependant, les méthodes d'audit existantes reposent presque exclusivement sur des métriques de similitude textuelle (ex. : BLEU, distance d'édition). Cette approche ne parvient pas à capturer un risque critique : la mémorisation fonctionnelle.

Le code peut être fonctionnellement équivalent tout en étant textuellement dissimilar. Les variables peuvent être renommées, le flux de contrôle restructuré, des commentaires ajoutés ou supprimés, ou des algorithmes entièrement différents employés pour parvenir à la même logique. Si un LLM intériorise une logique fonctionnelle propriétaire (ex. : algorithmes de trading, règles de recommandation) de ses données d'entraînement et la reproduit sous une forme restructurée, les métriques textuelles standards ne parviendront pas à détecter cette fuite. Ce document traite de la lacune dans la détection et la quantification de cette « mémorisation fonctionnelle » au-delà du simple chevauchement de jetons de surface.

Méthodologie

Les auteurs proposent une configuration contrefactuelle pour distinguer la mémorisation de la généralisation, en exploitant la transparence de l'entraînement du modèle open-source Olmo-3-32B.

1. Configuration expérimentale

• Modèle cible ($M_T$) : Le checkpoint de milieu d'entraînement (midtrained) d'Olmo-3-32B, qui a été exposé aux données cibles (CraneCode, un sous-ensemble filtré de the-stack-v2-smol).
• Modèle de référence ($M_R$) : Le checkpoint de pré-entraînement d'Olmo-3-32B, qui partage la même architecture et le même pré-entraînement mais n'a pas été exposé aux données de mid-entraînement spécifiques.
• Données : 7 422 fonctions Python issues du corpus CraneCode, filtrées pour contenir une « logique fonctionnelle significative » (règles métier, algorithmes propriétaires) via un LLM-as-a-judge (LLM comme juge).
• Procédure : Les deux modèles sont sollicités avec des signatures de fonctions et jusqu'à 250 jetons précédents. Les modèles génèrent des continuations en utilisant le décodage glouton (greedy decoding). La sortie générée ($x^*$) est comparée à la vérité terrain des données d'entraînement ($x$).

2. Définition de la mémorisation fonctionnelle contrefactuelle

Un échantillon est défini comme mémorisé fonctionnellement de manière contrefactuelle si :

1. Faible chevauchement textuel : La génération cible présente une faible similitude textuelle avec la vérité terrain ($SIM_{text} < \tau_{text}$).
2. Haut chevauchement fonctionnel : La génération cible est fonctionnellement équivalente à la vérité terrain ($SIM_{func} \ge \tau_{func}$).
3. Divergence contrefactuelle : Le modèle de référence (non exposé) ne produit pas une sortie fonctionnellement équivalente pour le même prompt.

3. Métriques d'évaluation

L'étude utilise une suite complète de métriques pour mesurer la similitude, classées comme suit :

• Métriques textuelles : Correspondance exacte, BLEU, similitude d'édition et plus longue sous-chaîne commune (LCS).
• Métriques structurelles : CodeBLEU (variantes syntaxe et flux de données) et distance d'édition d'arbre (TSED).
• LLM-as-a-Judge : Trois prompts distincts (Song et al., Nikiema et al., et un prompt personnalisé d'équivalence fonctionnelle) pour évaluer la similitude sémantique.
• Basée sur l'exécution : HyClone, un détecteur à deux étapes qui génère des entrées de test, exécute les deux fonctions et compare les sorties pour vérifier l'équivalence fonctionnelle.

Contributions clés

1. Formalisation de la mémorisation fonctionnelle : Le papier définit et opérationnalise le concept d'extraction de logique fonctionnelle à partir des LLM sans copie verbatim, en distinguant la mémorisation de la généralisation.
2. Cadre contrefactuel pour le code : Il adapte le cadre de mémorisation contrefactuelle (précédemment utilisé pour le langage naturel) au code, en utilisant la transparence spécifique de l'entraînement d'Olmo-3 pour créer une comparaison rigoureuse « exposé vs non exposé ».
3. Suite de métriques complète : Le travail évalue un large spectre de métriques de similitude, démontrant que les métriques textuelles sont insuffisantes pour détecter la fuite fonctionnelle.
4. Preuves empiriques : Ce travail fournit la première preuve à grande échelle que les modèles de langage de code présentent une mémorisation fonctionnelle à un taux significatif, même lorsque le chevauchement textuel est faible.

Résultats

L'étude analyse 7 422 fonctions et constate des changements systématiques de similitude du modèle de référence vers le modèle cible à travers toutes les métriques.

• Mémorisation verbatim : Conformément aux travaux antérieurs, le modèle cible produit des correspondances exactes (0,11 %) et des correspondances quasi verbatim (BLEU $\ge$ 0,75, 0,58 %) que le modèle de référence ne produit pas.
• Mémorisation fonctionnelle :
  • Métriques structurelles : CodeBLEU (DFG) et TSED ont identifié respectivement 1,8 % et 2,1 % des échantillons comme étant contrefactuellement mémorisés, malgré des scores BLEU faibles.
  • LLM-as-a-Judge : En utilisant le prompt d'équivalence fonctionnelle conservateur des auteurs, 3,9 % des échantillons ont été identifiés comme mémorisés fonctionnellement (BLEU bas, haute similitude fonctionnelle et divergence contrefactuelle). D'autres prompts ont produit des taux plus élevés (jusqu'à 14,0 %), suggérant une sensibilité à la conception du prompt.
  • Basée sur l'exécution : Sous le test HyClone le plus strict, 0,28 % des générations ont été vérifiées comme étant fonctionnellement identiques aux données d'entraînement alors que le modèle de référence échouait à le faire. Cela est considéré comme une limite inférieure en raison des défis d'exécution (ex. : dépendances manquantes, état de classe).
• Corrélation des métriques : Les métriques textuelles (BLEU, Édition) sont fortement corrélées entre elles mais faiblement corrélées avec les métriques basées sur l'exécution (HyClone), confirmant qu'elles capturent des signaux distincts.

Exemple : Le papier met en évidence un cas où le modèle cible a reproduit une logique de commission codée en dur issue de l'entraînement en utilisant une implémentation restructurée (noms de variables et flux de contrôle différents), tandis que le modèle de référence a halluciné une logique non liée. Les métriques textuelles (BLEU = 0,26) n'ont pas réussi à signaler cela, tandis que les métriques fonctionnelles (LLM-judge = 0,8, Exécution = 0,95) ont réussi.

Signification et affirmations

Le papier affirme que les régimes d'audit actuels reposant uniquement sur le chevauchement textuel sont insuffisants pour les modèles de code. Les résultats démontent que la mémorisation fonctionnelle se produit à un ordre de grandeur similaire à la mémorisation quasi verbatim lorsqu'elle est mesurée par des métriques fonctionnelles appropriées.

Les auteurs affirment que :

• Les modèles peuvent intérioriser et reproduire une logique propriétaire même lorsque la forme de surface est considérablement altérée.
• Les protections actuelles de la vie privée et de la propriété intellectuelle basées sur la similitude textuelle sont probablement en train de sous-estimer le risque de fuite des données d'entraînement.
• Il y a un besoin urgent de métriques d'audit qui vont au-delà du chevauchement textuel, en incorporant l'analyse structurelle, le jugement sémantique par LLM et la vérification basée sur l'exécution.

Le travail conclut en motivant le développement de régimes d'audit plus robustes et de meilleures techniques de mesure de la similitude fonctionnelle, notant que les méthodes actuelles basées sur l'exécution sont encore limitées par la complexité des environnements de code du monde réel.