Résumé technique : Dévoiler les stratégies de traitement des modèles de langage avec la factorisation de Fisher par exemple non négative

Énoncé du problème

Comprendre les heuristiques et les algorithmes qui constituent le comportement d'un modèle de langage est crucial pour un déploiement sûr et fiable. Bien que les travaux précédents sur les circuits de Transformers aient réussi à identifier des graphes de calcul interprétables pour des comportements spécifiques et pré-spécifiés (par exemple, l'identification de l'objet indirect), ces approches exigent que les chercheurs définissent au préalable les comportements d'intérêt, ce qui introduit un biais et risque d'omettre des stratégies de modèle contre-intuitives.

Des méthodes non supervisées récentes, telles que le clustering de gradients, tentent de découvrir les comportements des modèles en regroupant les exemples sur la base des gradients de la perte par rapport aux paramètres du modèle. Cependant, ces méthodes souffrent de deux limitations principales :

1. Hypothèse monogénique : Elles opèrent sous l'hypothide qu'un module interne unique pilote le comportement pour chaque exemple. En réalité, les comportements des modèles sont souvent « polygéniques », ce qui signifie qu'ils sont influencés simultanément par plusieurs facteurs (par exemple, des contextes ambigus impliquant plusieurs continuations possibles). Le clustering de gradients impose une assignation à un facteur unique, échouant ainsi à capturer cette complexité.
2. Portée limitée des gradients : Les gradients d'une probabilité logarithmique unique (ou d'une perte) ne capturent qu'une tranche étroite de la distribution prédictive du modèle. Ils sont biaisés vers la classe spécifique étant prédite, ce qui les rend peu adaptés pour capturer les facteurs qui influencent les prédictions à travers différentes classes, particulièrement dans des scénarios à haute entropie ou multi-classes.

Méthodologie : NPEFF

Les auteurs introduisent la NPEFF (Non-Negative Per-Example Fisher Factorization), une méthode d'interprétabilité conçue pour découvrir des facteurs comportementaux polygéniques sans les spécifier au préalable.

1. Matrices de Fisher par exemple (PEF)

Au lieu d'utiliser les gradients de la perte, la NPEFF utilise la matrice Per-Example Fisher (PEF), $F(x)$, définie comme :
$$F(x) = \mathbb{E}_{y \sim p_\theta(y|x)} [\nabla_\theta \log p_\theta(y|x) \nabla_\theta \log p_\theta(y|x)^T]$$
La PEF est une matrice semi-définie positive (PSD) qui relie les perturbations des paramètres aux changements de l'ensemble de la distribution prédictive du modèle. Contrairement aux gradients, qui se concentrent sur un seul résultat, la PEF capture la sensibilité à travers toutes les prédictions potentielles, ce qui la rend adaptée à l'analyse des comportements polygéniques où plusieurs facteurs influencent la distribution.

2. Calcul efficace via des projections aléatoires

Les matrices PEF sont informatiquement intratables pour les modèles modernes en raison de leur taille (quintillions d'entrées). Pour y remédier, les auteurs emploient des projections aléatoires (Achlioptas, 2003) pour approximer la PEF. Ils construisent une représentation matricielle de rang faible (LRM-PEF) et appliquent des projections aléatoires pour réduire la dimensionnalité. Crucialement, ils démontrent que ces projections peuvent être « inversées » à l'aide de techniques de traitement de signal compressé (Donoho, 2006) pour récupérer des vecteurs d'espace de paramètres creux, permettant l'identification de directions de modèle spécifiques correspondant aux facteurs comportementaux.

3. Décomposition non négative

Le cœur de la NPEFF est un algorithme de décomposition qui approxime un ensemble de PEF comme une combinaison non négative de matrices PSD de rang 1 :
$$\min \sum_{i=1}^m \| G_i^T G_i - \sum_{j=1}^C W_{ij} h_j h_j^T \|_F^2 \quad \text{sous la contrainte} \quad W_{ij} \geq 0$$
Ici, $h_j h_j^T$ représente la « pseudo-Fisher » du composant $j$, et $W_{ij}$ sont des coefficients non négatifs. Cette formulation permet à chaque exemple d'être expliqué par une combinaison pondérée de multiples facteurs, modélisant directement la polygénicité. L'algorithme alterne entre la mise à jour des coefficients (en utilisant des mises à jour multiplicatives similaires à la NMF) et la mise à jour des vecteurs de pseudo-Fisher (en utilisant la descente de gradient).

4. Variante G-NPEFF

Pour réduire les coûts de calcul, les auteurs proposent la G-NPEFF, qui applique le même algorithme de décomposition à des matrices de rang 1 construites à partir du gradient de la probabilité logarithmique de la classe/du jet prédit. Bien que moins coûteuse, la G-NPEFF s'avère moins efficace pour capturer les facteurs polygéniques à mesure que le nombre de classes augmente, car elle reste biaisée vers la classe prédite dominante.

Contributions clés et résultats

1. Découverte de facteurs polygéniques interprétables

À travers des évaluations humaines et par LLM sur des tâches telles que l'analyse de sentiment (SST2), l'identification de sujets (Yahoo Answers Topics) et la classification d'intentions (CLINC150), les auteurs démontrent que les composants de la NPEFF correspondent à des thèmes interprétables (par exemple, « questions sur la perte de poids rapide » ou « descriptions positives d'acteurs »).

• Polygénicité : Contrairement au clustering de gradients, qui récupère presque exclusivement des comportements « monogéniques » (à facteur unique), la NPEFF récupère avec succès une fraction significative de facteurs polygéniques. Cela est mis en évidence par un pourcentage élevé de composants qui sont ajustés aux étiquettes de vérité terrain mais pas aux prédictions spécifiques du modèle (LnP-tuned), indiquant qu'ils capturent des facteurs influençant la distribution au-delà de la prédiction principale.
• Comparaison : La NPEFF surpasse les bases de référence, incluant le clustering de gradients, les auto-encodeurs creux d'activations (SAEs) et la SVD sur les gradients/activations, dans l'identification de ces comportements nuancés et multi-facteurs.

2. Validation causale via des perturbations de paramètres

Les auteurs valident l'importance causale des composants NPEFF en reconstruisant des vecteurs d'espace de paramètres à partir de pseudo-Fishers projetés via le traitement de signal compressé. Ils appliquent des perturbations le long de ces directions et observent que :

• Les perturbations perturbent de manière significative les prédictions du modèle sur les exemples où le composant possède un coefficient élevé.
• La perturbation est sélective, affectant les exemples ciblés bien plus que les exemples aléatoires.
• Cela confirme que les directions découvertes par la NPEFF sont liées causalement au traitement par le modèle de facteurs comportementaux spécifiques.

3. Analyse de l'apprentissage en contexte (ICL)

Les auteurs appliquent la NPEFF pour analyser l'ICL. Ils construisent un classificateur linéaire basé sur les ajustements de composants zero-shot de la NPEFF. Ce classificateur atteint une précision comparable à un ICL à 6 exemples (6-shot) et fait des prédictions très similaires.

• Constat : Cela suggère qu'une grande partie du gain de performance de l'ICL provient du fait que le modèle repondère ses facteurs comportementaux zero-shot existants pour s'adapter à la formulation de la tâche, plutôt que d'apprendre de nouveaux comportements entièrement nouveaux à partir du contexte.

4. Efficacité et scalabilité

• G-NPEFF : L'article montre que pour les tâches avec peu de classes, la G-NPEFF fonctionne de manière similaire à la pleine NPEFF, offrant une alternative rentable.
• Ablations : Les expériences sur les tailles de projection aléatoire et le nombre de composants indiquent que la méthode est robuste. Même avec une réduction agressive de la dimensionnalité, la décomposition conserve une information significative sur le comportement du modèle.

Signification et affirmations

L'article affirme que la NPEFF représente une méthode nouvelle et bien adaptée pour découvrir les facteurs des comportements de modèles polygéniques, comblant une lacune critique laissée par les méthodes de clustering basées sur les gradients.

• Nouveauté méthodologique : En utilisant des matrices de Per-Example Fisher et une décomposition non négative sur des matrices PSD de rang 1, la NPEFF fournit un cadre qui respecte la nature multi-factorielle du traitement par les modèles de langage.
• Interprétabilité causale : La capacité de mapper les composants vers des directions de l'espace de paramètres et de les perturber sélectivement fournit une preuve causale forte que ces composants représentent de véritables stratégies de traitement utilisées par le modèle.
• Utilité pratique : La méthode permet de disséquer des comportements complexes (comme l'ICL) en leurs facteurs constitutifs, offrant une voie vers une modification plus ciblée des modèles et des interventions de sécurité.

Les auteurs restent modestes quant à la portée de leurs travaux, notant que si la NPEFF identifie les directions dans l'espace de paramètres importantes pour certains comportements, la construction des algorithmes explicites ou des circuits de calcul correspondants à ces directions reste le domaine de futures recherches sur les circuits de Transformers. Ils avertissent également que si leur code de perturbation permet la perturbation, la modification sophistiquée du comportement du modèle à grande échelle comporte des risques de supprimer par inadvertance des comportements rares mais contextuellement appropriés.