Résumé technique : Tracer la piste des données : Une étude sur la provenance, la transparence et la traçabilité des données dans les LLM

1. Énoncé du problème

Les modèles de langage étendus (LLM) sont de plus en plus déployés à grande échelle, pourtant le cycle de vie de leurs données d'entraînement reste largement opaque. Les principaux créateurs gardent souvent les origines des données et les processus d'entraînement secrets pour des raisons économiques et propriétaires, ce qui donne lieu à des modèles de type « boîte noire ». Cette opacité crée des défis importants :

• Incapacité de traçage : Les LLM ne peuvent pas actuellement retracer les sorties générées jusqu'aux sources de données originales.
• Qualité et biais des données : L'échelle massive des données d'entraînement (par exemple, FineWeb avec 15 billions de jetons) dépasse les capacités de vérification humaine. L'utilisation de données synthétiques générées par des LLM pour entraîner de nouveaux modèles introduit des risques de propagation de biais et d'hallucinations.
• Confidentialité et conformité légale : Le « droit à l'oubli » et les réglementations telles que le RGPD et l'IA Act de l'UE sont difficiles à appliquer lorsque les données sont intégrées dans les paramètres du modèle sans lignage clair.
• Écart de transparence : Il existe un décalage fondamental entre les poids du modèle (paramètres) et les données brutes d'entraînement, ce qui entrave l'interprétabilité, l'explicabilité et la responsabilité.

L'article soutient que sans traiter la provenance, la transparence et la traçabilité des données, le domaine ne pourra pas atténuer efficacement les problèmes tels que les hallucinations, les biais et les violations de la vie privée.

2. Méthodologie

Les auteurs ont mené une revue systématique de la littérature pour synthétiser la recherche des dix dernières années (janvier 2016 – mars 2025).

• Stratégie de recherche : Une requête a été construite à l'aide de la base de données Scopus avec trois filtres : (1) Données (provenance, lignage, gouvernance), (2) Modèles de langage (LLM, grand modèle de langage), et (3) Attributs (transparence, traçabilité, auditabilité, reproductibilité).
• Processus de sélection : La recherche initiale a produit 129 résultats. Après une revue manuelle, le filtrage des doublons et l'application de critères de pertinence (implication de l'utilisation de données avec les LLM, génération de données par/pour les LLM, ou provenance des données dans le ML/IA), 34 articles ont été exclus.
• Corpus final : L'analyse finale repose sur 95 publications.
• Construction de la taxonomie : Les auteurs ont développé une taxonomie organisant le domaine autour de trois axes principaux et de trois piliers de soutien, visualisée dans la Figure 2 de l'article.

3. Contributions clés et taxonomie

La contribution centrale de l'article est une taxonomie proposée définissant les domaines de la provenance des données des LLM et énumérant les artefacts correspondants. Le cadre est structuré autour de :

Trois axes principaux

1. Provenance des données : Suivi de l'origine des sources de données (licences, attribution, extraction, génération et annotation).
2. Traçabilité et responsabilité : Liaison des données sources sous-jacentes aux sorties générées (journalisation, tatouage numérique, attribution de la prédiction du modèle).
3. Transparence : Le degré d'ouverture concernant l'architecture du modèle, les paramètres et les procédures d'entraînement (distinction entre les modèles à poids ouverts et à poids fermés).

Trois piliers de soutien

1. Biais et incertitude : Analyse de la manière dont le biais dans les données d'entraînement se propage aux modèles et quantification de l'incertitude du modèle/des hallucinations.
2. Confidentialité des données : Traitement de la protection des données personnelles et propriétaires dans le contexte de l'entraînement des LLM et du « droit à l'oubli ».
3. Outils et techniques : Opérationnalisation des concepts ci-dessus via des logiciels, des bibliothèques et des approches méthodologiques spécifiques.

4. Principaux résultats et conclusions

Provenance des données et attribution

• Licences : De nombreux jeux de données publics manquent de licences claires, créant une « zone grise » pour l'usage commercial. Des outils comme DPExplorer émergent pour auditer l'origine des jeux de données.
• Attribution : Deux approches existent : la préservation de la provenance (ex: systèmes RAG où le contexte est explicitement transmis) et l'inférence de provenance (recherche post-hoc des sources, qui peut simuler plutôt que tracer les origines).
• Données synthétiques : L'utilisation de LLM pour l'annotation et la génération de données (ex: cadre START, FuxiTranyu) crée des pipelines traçables mais risque de propager les biais et les hallucinations si elle n'est pas supervisée.

Traçabilité et responsabilité

• Journalisation (Logging) : Les pratiques de journalisation du ML diffèrent de l'ingénierie logicielle générale, manquant souvent de permanence lors des phases de déploiement. La journalisation des états du modèle et des transformations de données est cruciale pour l'auditabilité.
• Tatouage numérique (Watermarking) : Des techniques comme TimeMarker permettent une traçabilité temporelle et une protection du droit d'auteur en intéçant des tatouages distincts dans les sorties du modèle pour détecter l'extraction ou l'usage abusif.
• Attribution de la prédiction du modèle : Des cadres comme WrapperBox enveloppent les représentations des LLM dans des modèles classiques (kNN, DT) pour retracer les prédictions vers des échantillons d'entraînement spécifiques.

Transparence et opacité

• Poids ouverts vs Poids fermés : L'article distingue les modèles à poids ouverts et transparents (permettant l'inspection des poids et de l'architecture) des modèles à poids fermés et opaques (boîtes noires).
• Interprétabilité vs Explicabilité : Les auteurs clarifient une distinction croissante :
  • Interprétabilité : Une propriété passive où la structure interne peut être directement comprise (ex: couches de décision éparses).
  • Explicabilité : Un processus actif produisant des raisons compréhensibles par l'humain pour les décisions (ex: attribution de caractéristiques post-hoc).
• Domaines : La recherche sur les modèles à poids ouverts s'étend à l'informatique, la biomédecine et le droit, tandis que la recherche sur les modèles à poids fermés se concentre souvent sur les applications éducatives et les implications philosophiques de la confiance.

Biais, incertitude et confidentialité

• Biais : Le biais inhérent aux données rédigées par l'humain se propage aux LLM. L'utilisation de données générées par des LLM pour l'entraînement crée des boucles de rétroaction qui peuvent amplifier le biais.
• Incertitude : Distinguée en Aléatoire (ambiguïté des données) et Épistémique (manque de compétence du modèle). Les états internes des LLM peuvent parfois être exploités pour détecter les hallucinations.
• Confidentialité : Le « droit à l'oubli » est difficile à appliquer dans les LLM. Bien que l'édition de modèle (désapprentissage/unlearning) soit étudiée, aucune solution générale n'existe pour effacer des données spécifiques des paramètres entraînés.

Outils et techniques

L'étude identifie des outils spécifiques (ex: t5x, seqio, Data Provenance Explorer) et des techniques (ex: distillation Trace-of-Thought, traçage de circuit, TuneTables) qui opérationnalisent le suivi de la provenance.

5. Signification et affirmations

L'article affirme que la provenance, la transparence et la traçabilité des données sont inextricablement liées ; il est impossible de tracer les flux de données à travers des systèmes non transparents, et impossible de faire correspondre les origines des données aux résultats sans traçabilité.

Affirmations de signification clé :

• Analyse rétrospective : L'étude fournit une revue complète de la dernière décennie de recherche sur les LLM concernant l'utilisation des données.
• Définition du domaine de recherche : Elle étabète un nouveau domaine de recherche en explorant les environnements LLM spécifiquement pour les capacités de provenance des données.
• Identification des lacunes : Elle identifie des lacunes critiques, notamment l'absence de solutions générales pour le « droit à l'oubli », les risques de propagation du biais via la génération de données synthétiques et la rareté des données étiquetées.
• Feuille de route future : L'article trace des directions futures, telles que l'étude de la propagation des classes de données dans les paramètres du modèle, le traitement de la contamination des données (données de test présentes dans les ensembles d'entraînement) et le développement de méthodes pour détecter et supprimer les informations privées des modèles.

Les auteurs concluent que le suivi des origines des sources de données entrant dans les LLM est essentiel pour attribuer les décisions du modèle, accroître la transparence et assurer la reproductibilité dans la recherche en IA. Ils soulignent que sans processus actifs pour maintenir la provenance, l'information est perdue lors de la paramétrisation, rendant les sorties générées impossibles à attribuer à leurs sources originales.