Résumé technique : Sélection, non saillance

Énoncé du problème

Cet article étudie la forme et les limites de la personnalisation dans le surlignage social, en abordant spécifiquement deux questions concernant la prémisse du « jumeau numérique » selon laquelle les traces comportementales prédisent les choix de l'utilisateur :

1. Altitude du document : Le signal de sélection individuelle (quels documents un utilisateur choisit) persiste-t-il lorsqu'il est évalué à un niveau plus grossier que les segments de phrases, et quelle est son ampleur lorsque les biais de confusion dans les évaluations du document suivant sont éliminés ?
2. Couche de saillance : La personnalisation peut-elle améliorer un modèle de saillance impersonnel ? Plus précisément, si un modèle impersonnel propose un ensemble de phrases candidates, un modèle personnel parvient-il à les reclasser utilement pour faire émerger les éléments spécifiques qu'un utilisateur surlignerait ?

Les auteurs contestent l'hypothologie selon laquelle la personnalisation est universellement bénéfique, postulant que l'individualité mesurable pourrait être confinée à la sélection (choisir ce qu'il faut lire) plutôt qu'à la saillance (identifier quelles parties d'un texte sont importantes).

Méthodologie

L'étude utilise un contrôle d'identité par co-lecture sur des données provenant de Glasp, un outil de surlignage social sur le web. Cette structure permet une comparaison par méthode appariée où le même document est surligné par plusieurs utilisateurs, fixant ainsi le document et le sujet tout en faisant varier l'utilisateur.

Conception expérimentale

La recherche est menée à travers deux « altitudes » :

1. Expérience A (Sélection de documents) :

   • Configuration : Pour un utilisateur cible $A$, un profil est construit à partir de ses historiques de surlignage (excluant le pool de candidats). Le pool de candidats consiste en des documents mis de côté que $A$ a surlignés (positifs) et des documents surlignés par des co-lecteurs mais pas par $A$ (négatifs).
   • Contrôles : L'étude compare un score piloté par l'historique de $A$ (« propre ») contre des scores identiques pilotés par un autre lecteur comparable $B$ (« autre »), un pair thématiquement proche (« proche »), et la foule.
   • Correction de biais : Les auteurs ont identifié et corrigé un biais de « contrôle dans les négatifs ». Initialement, les propres documents du lecteur de contrôle étaient inclus dans l'ensemble négatif de l'utilisateur cible, gonflant artificiellement l'écart de performance. L'exclusion de ces documents a permis d'obtenir les résultats corrigés.
   • Métriques : Précision moyenne (AP) avec intervalles de confiance par bootstrap de cluster à 95 %. Deux régimes de négatifs ont été testés : « communauté » (échantillon large) et « difficile » (apparié thématiquement, le plus similaire au profil de l'utilisateur).

2. Expérience B (Auto-surlignage à deux étapes au niveau de la phrase) :

   • Architecture : Un pipeline en deux étapes.
     • Étape 1 (Impersonnelle) : Génère un pool de phrases candidates en utilisant des LLM zero-shot (gpt-4o-mini, gpt-5.5), la centralité générique, des heuristiques de tête de paragraphe ou l'union de la foule.
     • Étape 2 (Personnelle) : Reclasse les candidats en utilisant la similitude cosinus entre l'embedding de la candidate et le centroïde du profil de surlignage sans fuite de l'utilisateur.
   • Évaluation : Mesure le rappel (recall@K) de l'étape 1 et le gain (ou la perte) du reclassement personnel par rapport à l'ordre de saillance de l'étape 1.

Résultats clés

1. Signal de sélection de documents (Expérience A)

• Ampleur : L'écart d'identité « propre-versus-autre » est de +0,169 contre les négatifs de la communauté et de +0,119 contre les négatifs difficiles (appariés thématiquement). Les deux sont hautement significatifs.
• Comparaison avec les travaux antérieurs : Ce signal (+0,12 à +0,17) est d'une ampleur comparable au signal de sélection au niveau des segments rapporté dans les travaux antérieurs des auteurs [1].
• Nature du signal : Le signal est largement dominé par le sujet. Environ un tiers de l'écart dans le régime de la communauté est attribuable à la préférence thématique, le reste subsistant face aux négatifs appariés thématiquement.
• Contenu vs Titre : Un test de robustesse utilisant les centroïdes de contenu d'article (plutôt que les titres) a confirmé que le signal n'est pas purement piloté par le titre, bien que l'écart d'identité se soit compressé dans ce sous-ensemble plus restreint.

2. Personnalisation au niveau de la phrase (Expérience B)

• Performance des LLM : Les LLM zero-shot prêts à l'emploi (y compris un modèle frontal) ont obtenu de moins bons résultats qu'une ligne de base triviale de tête (ordre du document) et nettement moins bons que l'union de la foule pour récupérer les surlignages de l'utilisateur (Rappel@10 : LLM ~0,22–0,25 vs Lead ~0,29–0,30 vs Foule ~0,41–0,42).
• Échec du reclassement : Le reclassement personnel n'a pas amélioré l'ordre de saillance impersonnel.
  • Sur le pool LLM, le reclasseur personnel a perdu face à l'ordre de saillance de l'étape 1 de -0,05.
  • Sur le pool à haut rappel de l'« union de la foule », la perte était encore plus grande (-0,118 à K=10).
• Conclusion sur la saillance : Le résultat nul n'est pas un artefact d'un faible rappel de l'étape 1 ; l'augmentation du rappel a en fait augmenté la perte du reclasseur personnel. La couche de saillance partagée est mieux modélisée par la position ou la popularité de la foule que par les LLM actuels, et les modèles personnels ne peuvent battre cette ligne de base.

3. Contribution méthodologique

Le papier met en évidence un biais de « contrôle dans les négatifs ». Lorsque les propres documents de l'utilisateur de contrôle sont par inadvertance placés dans l'ensemble négatif de l'utilisateur cible, le scoreur de contrôle les classe hautement (car ce sont les propres documents du contrôle), gonflant artificiellement l'écart de performance. Les auteurs rapportent cet artefact (qui suggérait initialement un écart de +0,227) et la correction (exclusion des documents de contrôle des négatifs), qui a ramené l'écart à +0,169.

Signification et synthèse

Le papier synthétise ces résultats pour définir la limite de la personnalisation dans le surlignage social :

• L'individualité réside dans la sélection, non dans la saillance : Une personnalisation mesurable existe principalement à la couche de sélection (choisir quels documents ou segments consulter), où le signal est modeste (~+0,13) et dominé par le sujet. Dans la couche de saillance (identifier quelles phrases au sein d'un texte sont importantes), l'individualité est un « murmure » (+0,017 d'écart dans les travaux précédents ; effectivement nulle dans ce contexte de reclassement).
• Agrégation plutôt que personnalisation : Les résultats suggèrent que pour les tâches impliquant une saillance partagée (ex: auto-surlignage), agréger les individus (utiliser la popularité de la foule ou des heuristiques de position) est plus efficace que de tenter de personnaliser davantage. Cela s'aligne sur les découvertes dans les systèmes de recommandation (la popularité est difficile à battre) et l'évaluation de la résumé (les modèles non personnalisés l'emportent souvent sur les modèles personnalisés).
• Implication produit : Pour les produits numériques, les auto-surlignages génériques basés sur la position ou le transfert de la foule sont les bons outils pour les tâches au niveau de la phrase. La personnalisation est préférable lorsqu'elle est appliquée au routage d'intérêt (sélectionner quels documents ou sujets proposer), et non pour affiner la saillance de segments de texte spécifiques.

Les auteurs concluent que, bien que l'individualité soit récupérable à partir du comportement de surlignage, il s'agit d'un phénomène modeste, situé au niveau de la sélection, et que pousser la personnalisation dans la couche de saillance ne produit aucun gain fiable par rapport aux signaux impersonnels partagés.