Multiperspectivity as a Resource for Narrative Similarity Prediction

1. Problématique et Contexte

La prédiction de la similarité narrative est intrinsèquement une tâche interprétative. Contrairement aux tâches factuelles, un même texte peut donner lieu à des lectures multiples, toutes valables, mais produisant des jugements de similarité divergents.

• Le défi : Les benchmarks d'évaluation sémantique (comme SemEval-2026 Task 4) reposent souvent sur une « vérité terrain » (ground truth) unique, codifiée par des annotateurs humains. Cela pose un problème fondamental : comment évaluer un système qui produit une interprétation valide mais différente de celle de la vérité terrain ?
• L'hypothèse : Au lieu de considérer cette multiperspectivité comme un bruit à éliminer, les auteurs proposent de l'intégrer comme un composant central du processus de décision des systèmes prédictifs. L'idée est que l'agrégation de perspectives interprétatives diverses peut améliorer la qualité de la prédiction, s'inspirant du Théorème du Jury de Condorcet (CJT), qui postule que la décision collective de voters compétents et indépendants tend vers la vérité.

2. Méthodologie

Les auteurs ont conçu une approche par ensemble de personas (groupes d'agents) pour simuler cette diversité interprétative.

• Construction de l'Ensemble :

  • Création de 31 personas LLM distincts, divisés en deux catégories :
    • Practitioners [P] (18 personas) : Experts utilisant des cadres d'analyse explicites (critique littéraire, herméneutique, théorie féministe, critique postcoloniale, etc.).
    • Lay People [L] (13 personas) : Personnages intuitifs du quotidien (étudiant, footballeur, tour guide, etc.), inspirés par des travaux montrant que des rôles simples peuvent parfois surperformer des rôles complexes.
  • Configuration des modèles : Chaque persona est exécuté sur trois modèles de langage (LLM) différents pour assurer une diversité structurelle : Gemma 27B-it, Qwen3-14B et gpt-oss-20b. Cela génère un total de 93 prédictions par échantillon (31 personas × 3 modèles).

• Tâche et Données :

  • Expérience menée sur le jeu de données SemEval-2026 Task 4.
  • Tâche : Choisir, parmi deux histoires candidates (A et B), celle qui est la plus similaire à une histoire ancre.
  • Méthode d'évaluation : Vote majoritaire (Majority Voting) sur les prédictions binaires.

• Stratégies d'agrégation :

  1. Prédiction individuelle (un persona, un modèle).
  2. Vote majoritaire spécifique à un modèle (les 31 personas d'un seul modèle).
  3. Vote majoritaire croisé (toutes les 93 prédictions combinées).

3. Résultats Clés

• Performance Globale :

  • Le système a obtenu une précision de 0,705 sur l'ensemble de test, se classant 13ème sur 47 équipes.
  • La précision augmente avec la taille de l'ensemble (de ~66% pour un seul agent à ~75% pour l'ensemble complet), confirmant la dynamique du Théorème du Jury de Condorcet, même si l'hypothèse d'indépendance stricte est violée dans les LLM.

• Dynamique Individuelle vs Collective :

  • Paradoxe des performances : Individuellement, les personas « Lay » ([L]) surperforment les « Practitioners » ([P]) (71,7% vs 71,0%). Cependant, lors du vote majoritaire, le groupe [P] obtient un meilleur score (76,0%) que le groupe [L] (75,3%).
  • Explication (Diversité des erreurs) : Les personas [P] commettent des erreurs moins corrélées entre eux (correlation r = 0,388) que les personas [L] (r = 0,461). Bien que leurs jugements individuels soient moins précis, leur diversité interprétative permet au vote majoritaire de mieux corriger les erreurs collectives.

• Analyse des Erreurs et du Vocabulaire de Genre :

  • Une corrélation négative systématique a été observée entre l'utilisation d'un vocabulaire spécifique aux analyses de genre/féministes (ex: « rôles de genre », « protagoniste féminin », « patriarcal ») et la précision du modèle.
  • Lorsque les personas utilisent ces termes, leur précision chute significativement (ex: 56,5% quand le mot « female » est présent contre 66,6% quand il est absent).
  • Interprétation : Cela suggère soit que ces dimensions interprétatives, bien que valides, ne sont pas pertinentes pour le jugement de similarité encodé dans le benchmark, soit que le benchmark lui-même omet des interprétations valides liées au genre.

• Optimisation vs Agrégation :

  • L'optimisation de sous-ensembles spécifiques (recherche exhaustive de 8 personas) a permis d'atteindre 82% sur l'ensemble de développement, mais seulement 70,5% sur le test.
  • Cela indique un surajustement (overfitting) au petit ensemble de développement et confirme que l'agrégation large et diverse est plus robuste que la sélection fine de sous-ensembles pour ce type de tâche interprétative.

4. Contributions Principales

1. Changement de paradigme : Proposition de traiter la multiperspectivité non pas comme un artefact d'évaluation à supprimer, mais comme une ressource à exploiter dans la modélisation.
2. Validation empirique du CJT dans les LLM : Démonstration que l'agrégation de perspectives interprétatives hétérogènes (même avec des erreurs corrélées) améliore la performance globale, dépassant la somme des parties.
3. Analyse critique des benchmarks : Mise en évidence de la tension entre les cadres d'analyse valides (comme la critique féministe) et les métriques d'exactitude standard, suggérant que les benchmarks actuels peuvent pénaliser injustement certaines interprétations légitimes.
4. Méthodologie d'ensemble : Démonstration que la diversité des erreurs (faible corrélation) est un indicateur plus puissant de la réussite d'un vote majoritaire que la précision individuelle des agents.

5. Signification et Implications

Ce travail a des implications majeures pour le NLP (Traitement du Langage Naturel) et l'évaluation des modèles génératifs :

• Au-delà de la vérité unique : Il remet en question la notion de « ground truth » unique pour les tâches interprétatives. Pour des tâches comme la similarité narrative, la diversité des réponses peut être une caractéristique souhaitable plutôt qu'un défaut.
• Conception des systèmes : Pour les tâches complexes, il est préférable d'agréger un large éventail de perspectives (via des personas diversifiés) plutôt que d'essayer d'optimiser un seul modèle ou un petit groupe d'experts.
• Éthique et Évaluation : La découverte concernant le vocabulaire de genre met en lumière un biais potentiel dans les benchmarks : si un modèle adopte une perspective critique valide (ex: féministe) mais que cela le fait échouer au test, le problème réside peut-être dans la définition de la tâche et non dans le modèle. Cela appelle à des cadres d'évaluation capables de gérer la pluralité interprétative.

En conclusion, l'article démontre que l'incorporation de la multiperspectivité via des ensembles de personas LLM permet non seulement d'améliorer les performances techniques, mais aussi d'offrir un miroir critique sur les limites des standards d'évaluation actuels en matière de compréhension narrative.