💬 NLP

Where Does Authorship Signal Emerge in Encoder-Based Language Models?

Ce papier démontre que, bien que les caractéristiques stylistiques d'attribution d'auteur soient disponibles à toutes les couches des modèles basés sur un encodeur, le choix du mécanisme de notation (moyenne de regroupement versus interaction tardive) détermine causalement la couche spécifique où le modèle consolide ces signaux, expliquant ainsi des différences de performance significatives entre des modèles par ailleurs identiques.

Auteurs originaux : Francis Kulumba, Guillaume Vimont, Laurent Romary, Florian Cafiero

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Francis Kulumba, Guillaume Vimont, Laurent Romary, Florian Cafiero

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une équipe de détectives experts (le codeur) très doués pour lire des livres et remarquer des détails subtils comme la longueur des phrases, les habitudes de ponctuation et les mots favoris. Ces détectives peuvent identifier qui a écrit un texte simplement en examinant ces indices.

Maintenant, imaginez deux façons différentes de demander à ces détectives leur verdict final :

La méthode « Résumé » (Moyenne de pooling) : Vous demandez aux détectives de rédiger une seule phrase de résumé courte qui capture l'intégralité du livre. Ensuite, vous comparez ces phrases de résumé pour décider si les livres ont été écrits par la même personne.
La méthode « Vérification ponctuelle » (Interaction tardive) : Au lieu de demander un résumé, vous demandez aux détectives d'examiner des phrases ou des mots spécifiques dans le Livre A et de trouver la phrase ou le mot le plus similaire dans le Livre B. Vous leur permettez de comparer les détails directement, pièce par pièce.

La Grande Surprise
L'article révèle un fait choquant : même si les détectives (le modèle d'IA) sont exactement les mêmes et qu'ils sont entraînés sur exactement les mêmes livres, la méthode « Vérification ponctuelle » est quatre fois plus efficace pour résoudre l'énigme que la méthode « Résumé ».

Pourquoi ? Les auteurs voulaient savoir : Est-ce que la méthode « Résumé » rend les détectives « plus bêtes » ou « oublieux » pendant l'entraînement ?

L'Enquête : Ce que l'article a découvert

1. Les Indices sont Toujours Là (Disponibilité des Caractéristiques)
Les chercheurs ont utilisé un outil spécial (comme une loupe) pour vérifier si les détectives avaient réellement vu les indices (longueur des mots, ponctuation, etc.) à chaque étape de leur processus de réflexion.

Le Résultat : Ils ont découvert que les deux méthodes voyaient parfaitement les indices. Les détectives « Résumé » ne manquaient rien. Les indices étaient disponibles dans la première couche, la couche intermédiaire et la dernière couche. Le problème n'était pas que les détectives avaient échoué à apprendre les indices ; c'est que la méthode « Résumé » les forçait à jeter les détails trop tôt.

2. Le Goulot d'Étranglement : Quand Décider ? (Consolidation)
C'est la découverte centrale. La façon dont vous demandez la réponse change quand le détective doit se faire une opinion.

La méthode « Résumé » : Parce que vous avez besoin d'une seule phrase pour résumer tout le livre, le détective est forcé de compresser toutes les informations dans cette seule phrase très tôt dans le processus (vers le milieu du livre). Il doit arrêter de regarder les détails fins et se concentrer uniquement sur la « vue d'ensemble » trop tôt. C'est comme essayer de décrire un tableau complexe en ne regardant que le centre et en ignorant les bords.
La méthode « Vérification ponctuelle » : Parce que vous pouvez comparer des mots spécifiques directement, le détective n'a pas besoin de tout compresser tôt. Il peut continuer à examiner les détails fins jusqu'à la toute fin du livre. Il ne prend sa décision finale qu'au dernier moment possible, en utilisant les informations les plus affinées et détaillées disponibles.

3. Le Parcours d'Entraînement
L'article a également observé comment les détectives apprenaient au fil du temps :

Les détectives « Résumé » apprenaient de haut en bas. Ils commençaient par essayer d'obtenir la « vue d'ensemble » correcte immédiatement, puis essayaient lentement de corriger les détails dans les couches intermédiaires.
Les détectives « Vérification ponctuelle » ont suivi un chemin différent. Au début, ils tentaient de tricher en faisant correspondre des mots simples et superficiels (comme « le » ou « et »). Mais à mesure que l'entraînement devenait plus difficile, ils réalisaient que cela ne suffisait pas. Ils ont appris à ignorer ces raccourcis faciles et ont commencé à creuser profondément dans les couches complexes et abstraites du texte pour trouver le véritable style de l'auteur.

L'Analogie Simple
Pensez-y comme faire une valise pour un voyage :

La Moyenne de pooling est comme si on vous disait : « Vous ne pouvez faire entrer tout cela que dans une petite boîte. » Vous devez écraser vos vêtements et jeter immédiatement vos chaussures parce que vous savez que la boîte est petite. Vous perdez beaucoup d'informations.
L'Interaction tardive est comme si on vous disait : « Vous pouvez faire une énorme valise, mais vous devez me montrer exactement quelles chaussettes correspondent à quelle chemise quand vous arrivez à l'aéroport. » Vous pouvez garder tous vos vêtements séparés et organisés jusqu'à la toute fin. Vous ne perdez rien.

La Conclusion
L'article conclut que la méthode « Résumé » n'échoue pas parce que l'IA est mauvaise pour apprendre. Elle échoue parce que les règles du jeu (la façon dont nous demandons la réponse) forcent l'IA à jeter ses meilleurs indices trop tôt. La méthode « Vérification ponctuelle » gagne parce qu'elle permet à l'IA de conserver tous ses indices détaillés jusqu'au tout dernier moment du jugement.

Résumé technique : Où émerge le signal d'attribution d'auteur dans les modèles de langage basés sur des encodeurs ?

Énoncé du problème

Les systèmes d'attribution d'auteur (AA) emploient généralement un paradigme d'apprentissage contrastif où un encodeur de texte préentraîné génère des représentations pour des passages, et une fonction de score compare ces représentations pour déterminer la similarité d'auteur. Des travaux récents (Kulumba et al., 2025) ont révélé une énigme frappante : des modèles affinés avec le même encodeur préentraîné, les mêmes données d'entraînement et la même perte contrastive peuvent présenter un écart de performance de quatre fois uniquement en fonction de leur mécanisme de score. Plus précisément, les modèles utilisant le pooling moyen (moyenne des embeddings de tokens en un seul vecteur) sous-performent considérablement par rapport à ceux utilisant l'interaction tardive (LI) (comparaison directe des vecteurs de tokens via MaxSim).

La question centrale abordée par cet article est l'origine de cette divergence. Deux hypothèses ont été envisagées :

Hypothèse de l'apprentissage de représentations : Différents mécanismes de score amènent l'encodeur à apprendre des représentations internes fondamentalement différentes lors de l'affinage.
Hypothèse de la lecture (Readout) : L'encodeur apprend des représentations similaires indépendamment du scoreur, et l'écart de performance provient de la manière dont ces représentations sont lues (score) au moment de l'inférence.

Méthodologie

Les auteurs utilisent des outils d'interprétabilité mécaniste pour distinguer la disponibilité des caractéristiques (si l'information est présente dans les états cachés) et leur utilisation (si le mécanisme de score dépend causalement de cette information). L'étude utilise la configuration expérimentale et les outils suivants :

Modèles : Trois modèles affinés partageant une base ModernBERT-base (23 couches, 149 millions de paramètres) ont été entraînés sur le corpus HALvest-Contrastive (un corpus académique où le sujet est décorrélaté de l'auteur). Les modèles ne différaient que par leur mécanisme de score :
- Couche par couche (Pooling moyen) : Moyenne des embeddings de tokens avant le score.
- Interaction tardive (LI) : Utilisation de MaxSim au niveau des tokens.
- Interaction tardive au niveau des patches (PLI) : Un hybride utilisant des patches de bigrammes avec MaxSim.
- Un modèle témoin (E5, zero-shot) a été inclus.
Jeu de sondes (Probe Set) : Un ensemble curaté de 148 triplets (ancre, positif, négatif) avec des longueurs de tokens contrôlées (cible 130) et stratifiés par difficulté (Niveau A : auteurs disjoints ; Niveau B : chevauchement partiel d'auteurs ; Niveau C : inter-domaine).
Outils d'analyse :
1. Sondes LISA : Régressions linéaires entraînées à chacune des 23 couches de l'encodeur pour mesurer la lisibilité linéaire des caractéristiques stylistiques (par exemple, longueur des mots, densité de ponctuation, fréquence des mots-outils).
2. Patchage du flux résiduel : Une intervention causale où les états cachés d'un passage « corrompu » (négatif) sont remplacés par ceux d'un passage « propre » (positif) à des couches spécifiques. La récupération du rang mesure si le modèle classe correctement le positif au-dessus du négatif après cette intervention, identifiant la couche où le signal d'auteur devient causalement nécessaire.
3. Sensibilité du score : Mesure la variation absolue de la sortie de score lorsque les activations d'une seule couche sont restaurées.
4. Dynamiques d'entraînement : Analyse de patchage appliquée à huit points de contrôle d'entraînement pour observer l'évolution de la consolidation du signal.

Résultats clés

1. La disponibilité des caractéristiques est invariante

Les résultats des sondes LISA (Figure 3) montrent que les caractéristiques stylistiques sont linéairement lisibles à partir des états cachés de tous les modèles (Pooling moyen, LI, PLI et le témoin E5) à toutes les couches, avec des scores $R^2$ presque identiques.

Implication : Le backbone préentraîné encode déjà les caractéristiques stylistiques. L'affinage contrastif ne crée pas de nouvelles représentations stylistiques, ni ne force les différents scoreurs à amener l'encodeur à en apprendre de différentes. Cela écarte l'hypothèse de l'apprentissage de représentations.

2. Le patchage causal révèle un profil de profondeur dépendant du score

Les courbes de récupération du rang (Figure 4) démontrent un « point de consolidation » distinct où la capacité du modèle à retrouver le bon classement dépend du mécanisme de score :

Pooling moyen : La consolidation du signal se produit tôt. La récupération du rang dépasse la ligne de base du hasard à la couche 9 et atteint une récupération quasi parfaite à la couche 13.
Interaction tardive (LI) et PLI : La consolidation du signal est différée. La récupération du rang reste en dessous du hasard jusqu'aux couches 14–16, atteignant une récupération élevée uniquement dans les dernières couches.
Écart : Il existe un écart constant de 6 couches dans la profondeur à laquelle le signal d'auteur devient causalement nécessaire.

3. Structure du gradient et perte d'information

L'article dérive une explication théorique basée sur la distribution du gradient :

Pooling moyen : Produit un gradient dense et uniforme sur tous les tokens. Cela force l'encodeur à compresser toutes les informations pertinentes pour l'auteur en un seul vecteur tôt dans le réseau pour survivre au processus de moyenne. Cela crée un « goulot d'étranglement de consolidation » et conduit à une perte d'information (inégalité de traitement des données), car la moyenne invariante par permutation élimine la structure positionnelle.
Interaction tardive : Produit un gradient sparse et sélectif (seuls les tokens sélectionnés par argmax reçoivent des mises à jour). Cela permet à l'encodeur de préserver la structure par token et de différer la consolidation vers des couches plus profondes et plus abstraites.

4. Dynamiques d'entraînement

L'analyse des points de contrôle d'entraînement (Figure 6) révèle des trajectoires d'apprentissage distinctes :

Pooling moyen : Apprend de haut en bas. Le modèle repose initialement sur les couches supérieures, et le point de consolidation migre vers le bas (de la couche 15 à la couche 9) à mesure que l'entraînement progresse, recrutant progressivement des couches plus profondes pour satisfaire le goulot d'étranglement de consolidation précoce.
Interaction tardive : Montre un pic transitoire dans les couches précoces (couches 5–10) aux étapes intermédiaires de l'entraînement, exploitant des correspondances lexicales superficielles. À mesure que l'entraînement continue et que les négatifs deviennent plus difficiles, le modèle supprime cette astuce et déplace sa dépendance vers des couches plus profondes (19+).
PLI : Présente une émergence progressive sans le pic précoce, montrant une bosse unique dans les couches intermédiaires (couches 10–15) au point de contrôle final.

Signification et revendications

L'article prétend résoudre l'énigme de l'écart de performance de quatre fois dans l'attribution d'auteur en démontrant que le goulot d'étranglement ne réside pas dans ce que l'encodeur apprend, mais dans la manière dont le scoreur le lit.

Dissociation de la disponibilité et de l'utilisation : L'étude fournit des preuves empiriques qu'une forte disponibilité des caractéristiques (précision des sondes) est un mauvais proxy pour la performance de la tâche lorsque les mécanismes de score diffèrent. Tous les modèles possèdent les caractéristiques stylistiques nécessaires ; la différence réside dans la nécessité causale de ces caractéristiques à des profondeurs spécifiques.
Mécanisme de défaillance : Le pooling moyen force une consolidation précoce du signal, ce qui détruit les informations stylistiques fines (telles que l'ordre des mots et les interactions spécifiques de tokens) requises pour une AA haute performance. L'interaction tardive préserve cette granularité en permettant au modèle d'utiliser des représentations plus profondes et plus contextualisées.
Contribution théorique : Ce travail relie directement la structure du gradient de la fonction de score (dense vs sparse) à la profondeur de la consolidation du signal dans l'encodeur, offrant une explication mécaniste de la raison pour laquelle les systèmes basés sur l'interaction surpassent systématiquement les représentations regroupées dans les tâches d'AA.

Les auteurs concluent que la limitation principale dans l'attribution d'auteur contrastive n'est pas la capacité de l'encodeur à encoder le style, mais la capacité du mécanisme de score à préserver et exploiter ce style sans compression prématurée.