🤖 machine learning

Bergson: An Open Source Library for Data Attribution

Bergson est une bibliothèque open-source développée par EleutherAI qui adapte les techniques d'attribution de données aux grands modèles de langage et aux jeux de données de pré-entraînement en prenant en charge nativement le stockage de gradients sur disque, l'entraînement distribué multi-nœuds, et en fournissant les premières implémentations open-source des méthodes MAGIC, SOURCE et TrackStar.

Auteurs originaux : Lucia Quirke, Louis Jaburi, David Johnston, William Z. Li, Gonçalo Paulo, Guillaume Martres, Girish Gupta, Stella Biderman, Nora Belrose

Publié 2026-06-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lucia Quirke, Louis Jaburi, David Johnston, William Z. Li, Gonçalo Paulo, Guillaume Martres, Girish Gupta, Stella Biderman, Nora Belrose

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez construit un robot chef géant et incroyablement intelligent. Ce chef a appris à cuisiner en lisant des millions de livres de cuisine (les données d'entraînement). Parfois, le chef prépare un plat qui a un goût terrible, ou il apprend une astuce bizarre qu'il ne devrait pas connaître. Vous voulez savoir : « Quelle page spécifique dans quel livre de cuisine spécifique a causé cela ? »

C'est le problème de l'attribution de données. C'est comme essayer de remonter la trace d'une saveur spécifique dans une soupe jusqu'à la pincée de sel exacte ajoutée il y a trois heures.

Le document présente Bergson, une nouvelle « boîte à outils de cuisine » en open-source conçue pour aider les chercheurs à résoudre ce problème de traçage pour les modèles d'IA géants. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : La cuisine « Boîte Noire »

Habituellement, lorsqu'une IA apprend, c'est une boîte noire. Vous introduisez des données, et un modèle en ressort. Si le modèle fait quelque chose d'étrange, vous ne pouvez pas facilement dire pourquoi.

Le Défi : Les modèles d'IA modernes sont si énormes (comme une bibliothèque de milliards de livres) et le processus d'entraînement est si complexe qu'il est incroyablement difficile de déterminer quel « livre » a causé un comportement spécifique. Cela nécessitait auparavant tellement de mémoire informatique que c'était impossible à réaliser pour de grands modèles. De plus, beaucoup des meilleurs outils pour faire cela étaient verrouillés derrière des portes closes (non open-source).

2. La Solution : La boîte à outils Bergson

Bergson est une bibliothèque (une collection d'outils logiciels) qui agit comme un kit de détective surpuissant pour l'IA. Elle permet aux chercheurs de « rembobiner » l'entraînement de l'IA pour voir quels points de données ont eu le plus d'impact.

Considérez cela comme une caméra de voyage dans le temps pour le processus d'entraînement. Elle offre trois façons de regarder en arrière dans le temps :

La « Relecture Parfaite » (MAGIC) : Imaginez que vous puissiez enregistrer chaque seconde de l'entraînement du chef. Ensuite, vous pourriez appuyer sur « retour » et la rejouer exactement, étape par étape, pour voir précisément ce qui s'est passé. C'est la méthode la plus précise, mais elle nécessite beaucoup d'espace de stockage. Bergson rend cela possible même pour de très grands modèles grâce à une astuce ingénieuse : elle n'enregistre que des « instantanés » (checkpoints) à des moments spécifiques et comble les lacunes mathématiquement, économisant ainsi de l'espace tout en gardant une image claire.
L'« Approximation par Instantané » (SOURCE) : Parfois, on ne peut pas enregistrer chaque seconde. Au lieu de cela, on prend une photo toutes les heures. On suppose que le chef n'a pas beaucoup changé entre les photos. C'est plus rapide et utilise moins de mémoire, mais c'est un peu moins précis. Bergson inclut également cette méthode.
Le « Scanner d'Empreintes Digitales » (TrackStar & Influence Functions) : Au lieu de rejouer tout le film, cette méthode examine l'« empreinte digitale » laissée sur le cerveau du modèle à la toute fin. Elle demande : « Si je retire cet ingrédient spécifique, à quel point le plat final change-t-il ? » C'est très rapide et fonctionne bien pour les jeux de données géants, bien qu'il s'agisse d'une estimation plutôt que d'une relecture parfaite.

3. Caractéristiques Clés de la Boîte à Outils

Le document souligne plusieurs fonctionnalités de « qualité de vie » qui rendent cet outil facile à utiliser :

L'astuce du « Disque Dur » : Au lieu d'essayer de stocker toutes les données dans la mémoire minuscule et rapide de l'ordinateur (RAM), Bergson stocke les « empreintes digitales » sur le disque dur. Cela signifie que vous pouvez analyser des modèles massifs sans faire planter votre ordinateur.
Le « Moteur de Recherche » (FAISS) : Quand vous demandez : « Quelles données ont causé cette erreur ? », Bergson ne vérifie pas chaque livre un par un. Il utilise un moteur de recherche ultra-rapide (comme un Google pour les données) pour trouver instantanément les dix coupables les plus probables.
Le raccourci « Adaptateur » : Parfois, vous n'avez pas besoin de réentraîner tout le chef ; vous avez juste besoin d'ajuster une petite partie de la recette. Bergson prend en charge le « LoRA » (Low-Rank Adaptation), qui vous permet de tracer l'impact d'un petit ajout au modèle, rendant le processus beaucoup moins coûteux et plus rapide.
La fonctionnalité « Juge » : Et si vous voulez savoir pourquoi le chef est impoli ? Vous ne pouvez pas mesurer la « malpolitesse » avec une simple formule mathématique. Bergson vous permet d'utiliser une seconde IA (un « Juge ») pour évaluer le comportement du chef, puis de remonter cette évaluation jusqu'aux données d'entraînement.

4. Ce qu'ils ont réellement testé (Les Études de Cas)

Les auteurs n'ont pas seulement construit l'outil ; ils l'ont utilisé pour résoudre trois énigmes spécifiques :

L'énigme de la « Biosécurité » : Ils voulaient trouver les mots spécifiques dans les données d'entraînement qui ont enseigné à l'IA des connaissances biologiques dangereuses (comme la fabrication d'un virus). Ils ont utilisé Bergson pour mettre en évidence ces mots spécifiques. Lorsqu'ils ont réentraîné l'IA en ignorant ces mots spécifiques, l'IA est devenue beaucoup plus sûre.
L'énigme du « Robot Impoli » : Ils ont utilisé la fonctionnalité « Juge » pour trouver les données qui ont généré un comportement mal aligné ou étrange. En filtrant ces données, ils ont fait en sorte que l'IA se comporte mieux.
L'énigme du « Style » : Ils voulaient savoir si l'IA apprenait les faits (comme « Alice travaille à Fermilab ») séparément du style qu'elle utilisait pour les dire (comme l'anglais shakespearien vs le jargon juridique). Ils ont découvert que Bergson pouvait ignorer avec succès le style et trouver les données d'entraînement spécifiques qui ont enseigné le fait, prouvant que l'outil peut séparer le « quoi » de ce qui a été appris du « comment » il a été dit.

5. L'Essentiel

Le document affirme que Bergson est la première bibliothèque open-source capable de gérer ces tâches de traçage de « voyage dans le temps » pour les plus grands modèles d'IA existants. Elle combine les méthodes les plus précises (relectures parfaites) avec les méthodes les plus rapides (balayage d'empreintes digitales) et donne aux chercheurs les outils pour déboguer, comprendre et organiser les données qui rendent l'IA intelligente.

En bref : Bergson transforme le mystère du « Pourquoi l'IA a-t-elle fait ça ? » en une histoire de détective soluble.

Résumé Technique : Bergson : Une bibliothèque open source pour l'attribution de données

Énoncé du Problème

L'attribution de données vise à expliquer le comportement d'un modèle en déterminant l'effet causal d'éléments individuels d'entraînement sur des sorties spécifiques du modèle. Bien que ce domaine offre des applications pour le débogage, la curation de jeux de données et la compréhension de la mémorisation ou du raisonnement, le passage à l'échelle de ces techniques vers les modèles de langage de grande taille (LLM) modernes présente des défis d'ingénierie importants. L'application naïve des méthodes d'attribution de données entraîne souvent des exigences de mémoire irréalistes, particulièrement lors du traitement de jeux de données de pré-entraînement à grande échelle ou de modèles nécessitant un support multi-nœuds. De plus, de nombreuses méthodes de pointe, telles que celles atteignant de hautes corrélations Leave-One-Out (LOO), manquent d'implémentations open source, ce qui entrave la reproductibilité et le progrès.

Méthodologie et Architecture de la Bibliothèque

Bergson est introduit comme une bibliothèque open source conçue pour permettre un progrès plus rapide dans l'attribution de données en fournissant une architecture composable et évolutive. La bibliothèque prend en charge un large éventail de techniques, incluant la différenciation à travers des trajectoires d'entraînement complètes, la différenciation déroulée approximative et les fonctions d'influence.

Composants Fondamentaux

Pipeline Composable : Bergson utilise une architecture de pipeline de données (Figure 1) où les composants tels que les approximations de Hessienne, les normalisateurs, les constructeurs d'index et les scoreurs d'attribution sont interopérables. Les flux de travail peuvent être définis via une interface de ligne de commande (CLI) ou de manière programmatique à l'aide de fichiers de configuration YAML.
Stockage et Indexation des Gradients : La bibliothèque prend en charge des magasins de gradients sur disque indexés par module (incluant les têtes d'attention divisées) et supporte la collecte par jeton (token) ou par séquence. Pour gérer les index volumineux, Bergson s'intègre à FAISS pour les recherches de plus proches voisins approximatifs (ANN), tout en supportant également les recherches exactes top-k.
Entraînement Distribué : Bergson implémente un parallélisme répliqué et partagé (DDP, FSDP) pour porter l'attribution à des modèles allant jusqu'à 405 milliards de paramètres. Il supporte les opérations multi-nœuds où les groupes FSDP peuvent traiter indépendamment des fragments (shards) de jeux de données.
Intégration PEFT : L'intégration native avec la bibliothèque PEFT permet une attribution de données restreinte aux paramètres d'adaptateur (ex: LoRA), réduisant l'empreinte de gradient par exemple de plusieurs ordres de grandeur.
Objectifs Non-Différentiables : Pour les tâches évaluées via "LLM-as-a-judge", Bergson supporte l'attribution via la perte Group Relative Policy Optimization (GRPO), permettant l'attribution de comportements qui ne sont pas capturés par les pertes de cross-entropy standards.

Algorithmes Implémentés

Bergson fournit les premières implémentations open source de trois méthodes de pointe :

MAGIC : Un algorithme pour la différenciation exacte à travers des boucles d'entraînement déroulées utilisant le checkpointing. Il atteint une complexité de $O(N \log N)$ en calcul et $O(\log N)$ en espace disque (ou un nouveau compromis $O(N)$ calcul / $O(\sqrt{N})$ disque).
SOURCE : Une méthode de différenciation déroulée approximative qui divise la trajectoire d'entraînement en segments, traitant les Hessiennes et les gradients comme constants au sein de chaque segment.
TrackStar : Une méthode d'approximation scalable pour les fonctions d'influence qui projette les gradients par exemple dans un espace de faible dimension via des projections aléatoires et utilise des approximations de Hessienne par autocorrélation.

La bibliothèque supporte également les variantes standards de fonctions d'influence (K-FAC, EK-FAC, TK-FAC/Shampoo) et les stratégies de normalisation de gradient (Adam, Adafactor, normalisation unitaire).

Contributions Clés

Implémentation Open Source : Bergson introduit les premières implémentations publiques de MAGIC, SOURCE et TrackStar, comblant un vide dans les outils pour les méthodes d'attribution de données de pointe.
Scalabilité : La bibliothèque est conçue pour gérer des modèles de plusieurs milliards de paramètres et des jeux de données massifs, supportant des magasins de gradients sur disque, l'intégration FAISS et l'entraînement distribué multi-nœuds.
Guide de Sélection de Méthodes : L'article fournit un guide pour aider les praticiens à choisir des méthodes en fonction des contraintes de ressources, du volume de requêtes et du besoin de précision (ex: recommandant la différenciation déroulée pour le filtrage critique en matière de sécurité et les index compressés pour le débogage à haute fréquence de requêtes).
Cadre d'Évaluation : Bergson inclut des outils pour la validation via le Linear Data Modeling Score (LDS) et ses variantes pour le filtrage top-k/bottom-k, ainsi qu'un support pour les expériences de ré-entraînement leave-k-out.

Résultats Expérimentaux

L'article présente plusieurs expériences de validation et études de cas :

Validation de l'Exactitude : Sur un modèle GPT-2 (124M) affiné sur WikiText-2, MAGIC (différenciation déroulée) a obtenu la corrélation de Spearman la plus élevée (0,979) avec les effets réels de leave-one-out, suivi de EK-FAC (0,318) et TrackStar (0,164). Cependant, dans les évaluations leave-k-out sur sous-ensembles triés (plus pertinentes pour le filtrage de données), toutes les méthodes ont atteint des corrélations supérieures à 0,7.
Attribution au Niveau du Jeton (Biosecurité) : En utilisant le benchmark WMDP Bio, les auteurs ont affiné un modèle de 7B avec LoRA et utilisé la différenciation déroulée par jeton pour identifier les jetons influents. Le ré-entraînement avec une augmentation des poids d'importance sur les 10 % de jetons les plus influents a amélioré la précision de l'évaluation de 1,5 point de pourcentage supplémentaire par rapport au ré-entraînement non pondéré.
Traçage de Faits à travers les Styles : Dans une expérience synthétique impliquant des faits biographiques écrits dans des styles "Shakespearean" vs "Legalese", TrackStar a réussi à faire émerger les promoteurs factuels corrects dans 15,26 % des 5 premiers résultats, contre 0,80 % pour une ligne de base de produit scalaire de gradient brut. TrackStar a également considérablement réduit la "fuite de style" (correspondance avec le style de la requête plutôt qu'avec la source du fait).
Performance de Mise à l'Échelle : Le temps de collecte des gradients passe à l'échelle efficacement avec le nombre de GPU (1 à 16 A100) pour des modèles allant de 160M à 12B de paramètres, en utilisant des stratégies FSDP et de parallélisme de données pour minimiser l'overhead de communication.

Signification et Revendications

Les auteurs affirment que Bergson abaisse la barrière à l'entrée pour la recherche en attribution de données en fournissant une infrastructure unifiée et scalable. En offrant les premières implémentations de MAGIC, SOURCE et TrackStar, la bibliothèque permet aux praticiens d'expérimenter des techniques de pointe qui étaient auparavant inaccessibles ou nécessitaient un effort d'ingénierie considérable pour être construites.

L'article souligne qu'une attribution de données efficace peut aider à comprendre les comportements des modèles, déboguer les générations inattendues et curer les jeux de données d'entraînement pour la sécurité et l'alignement. Les auteurs notent que si la curation de données est à double usage (capable d'amplifier ou de réduire les comportements), la spécificité de l'attribution de données devrait bénéficier de manière différentielle aux efforts d'alignement et de sécurité en permettant un ciblage précis des données pertinentes. La bibliothèque est positionnée comme un outil pour permettre à davantage de chercheurs d'étudier les comportements intéressants des modèles via l'attribution de données, particulièrement dans le contexte des modèles à grande échelle où une telle analyse était auparavant impraticable.