RECOM: A Validity Discrimination Tradeoff in Automatic Metrics for Open Ended Reddit Question Answering

Résumé technique : RECOM – Un compromis entre validité et discrimination dans les métriques automatiques pour le questionnement ouvert sur Reddit

Énoncé du problème

Les métriques automatiques sont la norme pour évaluer les sorties des modèles de langage de grande taille (LLM), pourtant, elles sont implicitement chargées de deux fonctions distinctes : la validité (distinguer l'alignement de contenu authentique d'une simple coïncidence de surface) et le pouvoir discriminatif (classer de manière fiable un meilleur système par rapport à un moins bon). Dans les tâches ouvertes et fondées sur l'opinion, comme le questionnement conversationnel, ces deux objectifs semblent entrer en tension. Bien que les métriques soient couramment traitées comme une propriété unique de « qualité », cet article soutient qu'aucune métrique actuelle ne parvient à atteindre simultanément une validité élevée et un pouvoir discriminatif élevé. Les jeux de données d'évaluation existants reposent souvent sur des questions factuelles avec des réponses objectivement vérifiables (ex. FreshQA, RealTimeQA), ce qui ne parvient pas à capturer la nuance du consensus communautaire dans les contextes d'opinion. De plus, les métriques standards manquent souvent d'un « plancher de référence aléatoire » (random-baseline floor), ce qui rend difficile la détermination si un score élevé reflète un alignement réel ou simplement les propriétés statistiques d'un anglais fluide.

Méthodologie

Pour étudier ce compromis, les auteurs introduisent RECOM (Reddit Evaluation for Correspondence of Models), un jeu de données et un pipeline d'évaluation exempts de contamination.

• Construction du jeu de données : RECOM se compose de 15 000 questions ouvertes provenant de r/AskReddit collectées en septembre 2025. La fenêtre de collecte a été choisie spécifiquement pour être postérieure aux dates de coupure d'entraînement de tous les modèles évalués (allant de fin 2023 à fin 2024), garantissant l'absence de contamination de données. Pour chaque question, la « vérité terrain » est définie non pas comme une réponse unique correcte, mais comme l'ensemble des réponses communautaires de niveau 1 (réponses humaines directes), préservant ainsi toute la distribution des perspectives de la communauté.
• Modèles évalués : Cinq LLM open-source (7B–10B paramètres) ont été évalués : Mistral-7B, Qwen2.5-7B, Granite3.1-Dense-8B, Falcon3-10B et Llama-3.1-8B. Tous les modèles ont été incités à générer des réponses de moins de 50 mots.
• Protocole d'évaluation :
  • Notation multi-références : Chaque réponse générée a été notée par rapport à chaque réponse communautaire de niveau 1 pour un post donné.
  • Familles de métriques : L'étude a évalué les métriques lexicales (BLEU, ROUGE), sémantiques (BERTScore, MoverScore, similitude cosinus) et basées sur l'inférence (NLI).
  • Base de comparaison par dérangement aléatoire (Random-Derangement Baseline) : Pour mesurer la validité, une base de comparaison par dérangement aléatoire a été établie, où les réponses générées sont appariées à des réponses provenant de différents posts. Cela crée un « plancher de bruit » pour mesurer la séparation entre l'alignement réel et la coïncidence aléatoire.
  • Métriques d'intérêt : Les auteurs ont calculé le $d$ de Cohen pour deux axes :
    1. Validité : La taille de l'effet séparant les générations réelles des appariements aléatoires.
    2. Pouvoir discriminatif : La taille de l'effet séparant les cinq modèles différents les uns des autres.
  • Validation par LLM-as-Judge : Trois juges LLM indépendants (Phi-4, Gemma-3, Yi-1.5) provenant de développeurs différents ont été utilisés pour noter les mêmes données sur la « Pertinence » et la « Fidélité » afin de corroborer l'axe de validité.
  • Contrôle de la longueur : Pour écarter la longueur de la réponse comme variable de confusion, les auteurs ont effectué des analyses de régression et la résidualisation des comptes de mots.
• Contributions clés :
  1. Identification d'un compromis : L'article identifie et quantifie un compromis validité–discrimination systématique. Les métriques qui excellent à séparer l'alignement authentique du bruit (haute validité) échouent à classer les modèles (faible pouvoir discriminatif), et vice versa.
  2. Le jeu de données RECOM : Un benchmark de 15 000 questions ouvertes, sans contamination, avec des multi-références communautaires authentiques, conçu spécifiquement pour mesurer les deux axes de métriques par rapport à une base aléatoire.
  3. Hypothèse de conception de la représentation : Les auteurs proposent que le compromis provient de la conception de la représentation. Plus précisément, les encodeurs de phrases entraînés de manière contrastive (utilisés dans la similitude cosinus) accentuent la distinction entre textes liés et non liés (validité) mais compriment les subtiles variations entre différents systèmes de haute qualité (pouvoir discriminatif).
  4. Cadre de rapport : Les auteurs préconisent de rapporter les métriques sur un espace bidimensionnel (validité vs pouvoir discriminatif) avec un plancher explicite de base aléatoire, plutôt que de s'appuyer sur des scores bruts.
  5. Découverte de l'artefact de longueur : L'étude démontre que le pouvoir discriminatif apparent de la précision de BERTScore est largement un artefact de la longueur de la réponse. Une fois la longueur contrôlée, la capacité de BERTScore à classer les modèles s'effondre.

Résultats

• Métriques lexicales (BLEU/ROUGE) : Ces métriques ont montré une validité élevée (séparant clairement le réel du hasard, avec un $d$ de Cohen $\approx 2$) mais presque aucun pouvoir discriminatif ($|d| < 0,1$). Les modèles se regroupent étroitement, et les classements sont instables selon les variantes de métriques.
• Métriques sémantiques :
  • Similitude cosinus : A présenté la validité la plus élevée (écart réel-vs-aléatoire $\approx 24$ points de pourcentage, $d \approx 2$) mais a échoué à discriminer les modèles ($|d| < 0,1$). Les scores pour les cinq modèles étaient presque identiques.
  • BERTScore : La précision brute de BERTScore semblait avoir un haut pouvoir discriminatif ($|d|$ jusqu'à 0,63), classant les modèles différemment. Cependant, ce classement corrélait parfaitement avec la longueur de la réponse (les modèles plus courts obtenaient de meilleurs scores). Lorsque la longueur de la réponse a été résidualisée, le pouvoir discriminatif s'est effondré à $|d| = 0,09$, le rendant négligeable. De plus, les scores F1 bruts de BERTScore (85–86 %) n'étaient que de 1 à 3 points de pourcentage au-dessus de la base aléatoire, indiquant une faible validité sans remise d'échelle.
  • MoverScore : A montré une validité modérée et un pouvoir discriminatif modéré qui n'était pas piloté par la longueur, mais son signal global était plus faible que celui de la similitude cosinus.
• LLM-as-Judge : Trois juges indépendants ont reproduit l'écart de validité (séparant le réel du hasard avec de grands effets, $d \approx 2,0\text{--}3,5$) mais, comme les métriques automatiques, ont échoué à séparer fortement les cinq modèles ($|d|$ est resté faible).
• Analyse de la longueur : La longueur de la réponse expliquait très peu l'écart réel-vs-hasard (médiane $R^2 \approx 3\%$), confirmant que le signal de validité n'est pas simplement un artefact de verbosité. Cependant, la longueur était le principal moteur des différences inter-modèles de BERTScore.

Signification et affirmations

L'article soutient que le compromis validité–discrimination est une propriété des métriques, et non des modèles. Puisque chaque métrique a évalué exactement les mêmes sorties de modèles, l'incapacité à valider simultanément l'alignement et à classer les systèmes est inhérente aux conceptions actuelles des métriques.

Les auteurs affirment que l'idéal d'une « bonne métrique » est inatteignable avec les approches à métrique unique pour les tâches ouvertes. Ils soutiennent que :

1. La validité et la discrimination sont deux questions distinctes : « Est-ce que cette sortie traite du contenu ? » et « Quel modèle est meilleur ? » sont deux interrogations différentes qu'aucune métrique unique ne peut répondre sur des tâches ouvertes.
2. La remise d'échelle par rapport à la base est critique : Les scores bruts (ex. F1 de BERTScore de 86 %) surestiment souvent l'alignement de 1 à 3 points par rapport au hasard. La remise d'échelle par rapport à une base aléatoire révèle le véritable signal (6–13 points).
3. La longueur est un facteur de confusion : Les classements de modèles apparents basés sur BERTScore sont largement des artefacts de la longueur de la réponse, et non de la qualité de la réponse.

L'article conclut que les pratiques d'évaluation doivent évoluer pour rapporter les métriques sur les deux axes avec des bases aléatoires explicites. Il ne prétend pas résoudre le compromis, mais plutôt l'exposer, suggérant que les travaux futurs devront traiter la conception de la représentation pour découpler ces propriétés. Les conclusions sont limitées au questionnement de courte forme basé sur l'opinion et pourraient ne pas se généraliser au questionnement factuel ou aux domaines ayant des réponses objectivement vérifiables.