Résumé technique : Q-DAPS (Difficulté des questions basée sur les scores de plausibilité des réponses)

Énoncé du problème

Estimer la difficulté des questions est essentiel pour évaluer et améliorer les modèles de langage de grande taille (LLM) dans les systèmes de réponse aux questions (QA). Les approches existantes reposent généralement sur des formules de lisibilité, des signaux basés sur la récupération ou des statistiques de popularité. Cependant, ces méthodes échouent souvent à capturer les défis de raisonnement spécifiques posés aux LLM modernes, car elles sont fréquemment ancrées dans la lisibilité humaine ou les métriques des systèmes de récupération plutôt que dans l'incertitude interne du modèle. De plus, les méthodes actuelles ne traitent pas explicitement le risque d'hallucination, où les questions plus difficiles sont plus susceptibles d'entraîner des réponses fabriquées. Il existe un besoin d'une métrique de difficulté orientée LLM qui reflète la façon dont les réponses incorrectes semblent convaincantes pour le modèle lui-même.

Méthodologie : Q-DAPS

Les auteurs proposent Q-DAPS, une méthode qui estime la difficulté des questions en calculant l'entropie des scores de plausibilité sur un ensemble de réponses candidates. La méthode fonctionne en trois étapes distinctes :

1. Génération de candidats : Un LLM est invité à générer $N$ réponses candidates uniques pour une question donnée (en excluant la vérité terrain) ainsi qu'un score de plausibilité (0–100) et une justification pour chacune. Le système valide ces sorties pour s'assurer qu'il n'y a pas de doublons, que les plages de scores sont valides et que le nombre de candidats est correct. Si la validation échoue, la génération est réessayée avec une température augmentée.
2. Débiaisage de la popularité : Pour atténuer le biais de popularité (où les LLM tendent à générer ou favoriser des entités plus populaires), la méthode ajuste les scores de plausibilité en utilisant les statistiques de vues des pages Wikipédia. Le score débiaisé ($DePls_i$) est calculé comme suit :
   $$DePls_i = Pls_i \times (1 - \alpha \times Pop_i)$$
   où $Pls_i$ est le score de plausibilité original, $Pop_i$ est la popularité normalisée du candidat, et $\alpha$ est un hyperparamètre contrôlant la force du débiaisage.
3. Notation : Le score de difficulté final est dérivé de l'entropie des scores de plausibilité débiaisés et normalisés.
   • Premièrement, les scores sont normalisés pour former une distribution de probabilité.
   • L'entropie ($H(q)$) est calculée : $H(q) = -\sum DePls^{norm}_i \times \log_2 DePls^{norm}_i$.
   • L'entropie est normalisée dans une plage [0, 1] en la divisant par $\log_2 N$ (où $N$ est le nombre de candidats).
   • Interprétation : Une entropie élevée indique que de nombreuses réponses candidates sont également plausibles pour le LLM, signifiant une question difficile avec une forte incertitude de raisonnement. Une faible entropie indique une distribution biaisée où seules quelques candidates sont plausibles, signifiant une question plus facile.

Les auteurs ont évalué trois paradigmes d'estimation pour générer des scores de plausibilité : Pointwise (notation des candidats individuellement), Pairwise (comparaison de paires) et Listwise (génération conjointe de candidats et de scores). L'approche Listwise s'est révélée la plus efficace et la plus efficace sur le plan computationnel (complexité $O(1)$).

Contributions clés

1. Nouvelle métrique : Introduction de Q-DAPS, une métrique de difficulté orientée LLM basée sur l'entropie des scores de plausibilité des réponses, déplaçant l'accent des propriétés textuelles de surface vers l'incertitude de raisonnement.
2. Stratégie de débiaisage : Identification du biais de popularité dans la génération de réponses candidates et introduction d'un mécanisme de débiaisage léger utilisant les comptes de vues Wikipédia pour améliorer la précision de l'estimation.
3. Validation complète : Expériences étendues sur quatre ensembles de données QA divers (TriviaQA, Natural Questions, MuSiQue, QASC) couvrant des tâches de raisonnement simples et complexes. La méthode a été testée par rapport à des références basées sur la lisibilité, la popularité, la récupération, les invites et l'incertitude.
4. Analyse de robustesse : Études d'ablation démontrant que Q-DAPS reste efficace même sans accès à la réponse dorée, sans débiaisage de popularité et à travers différents LLM sous-jacents (allant de 7B à 70B de paramètres).
5. Alignement humain : Des études d'évaluation humaine confirment que les estimations de difficulté de Q-DAPS s'alignent bien avec les jugements humains et que les questions étiquetées comme « difficiles » par Q-DAPS sont en effet plus difficiles pour les humains à répondre correctement.

Résultats expérimentaux

• Performance : Q-DAPS a constamment surpassé toutes les méthodes de référence (y compris Flesch-Kincaid, Gunning-Fog, PopQA et les méthodes basées sur l'incertitude) sur les quatre ensembles de données. Il a obtenu les scores les plus élevés de Cohen's $d$ (séparant les questions faciles et difficiles) et de Spearman's $\rho$ (corrélation avec la performance du modèle).
• Entropie vs Moyenne : L'approche de notation basée sur l'entropie a nettement surpassé l'utilisation du score de plausibilité moyen, confirmant que la distribution de la plausibilité (incertitude) est un signal plus fort pour la difficulté que la moyenne.
• Résultats d'ablation :
  • Réponse dorée : Bien que fournir la réponse dorée améliore les performances, Q-DAPS reste supérieur aux références même lorsque la réponse dorée est retenue, le rendant applicable à des scénarios réels où les réponses sont inconnues.
  • Débiaisage : Supprimer le composant de débiaisage de popularité a réduit les performances mais n'a pas invalidé la méthode, suggérant que le débiaisage est un raffinement bénéfique plutôt qu'une exigence stricte.
  • Taille du modèle : La méthode a fonctionné de manière robuste à travers différentes tailles de modèles, bien que les modèles plus grands (par exemple, LLaMA 3.3 70B) aient donné des résultats légèrement meilleurs.
• Analyse des erreurs : Les auteurs ont identifié des motifs de divergence spécifiques où les estimations basées sur l'entropie diffèrent des résultats d'évaluation par correspondance exacte (par exemple, « surestimation de la difficulté par l'entropie » dans les questions factuelles basées sur des listes avec de nombreuses réponses sémantiquement liées). Ils soutiennent que ces cas reflètent la richesse de l'espace des réponses plutôt qu'un échec du modèle.

Importance et revendications

L'article revendique que Q-DAPS fournit une approche interprétable, évolutive et résistante aux biais pour l'estimation de la difficulté des questions. Son importance réside dans sa perspective opérationnelle : elle relie directement la difficulté à la détection du risque d'hallucination. En mesurant la plausibilité des réponses incorrectes pour un LLM, Q-DAPS peut servir d'outil pratique pour :

• Sélection de modèle : Choisir des LLM plus puissants pour des domaines où les questions sont systématiquement estimées comme difficiles.
• Routage des questions : Diriger les questions à haute difficulté vers des examinateurs humains dans les bases de connaissances.
• Déclenchement de sauvegardes : Exiger des citations ou une confirmation de l'utilisateur pour les questions estimées avoir une forte incertitude.

Les auteurs soulignent que Q-DAPS capture l'ambiguïté intrinsèque de l'espace des réponses du point de vue du modèle, offrant une vision plus nuancée de la difficulté que les métriques traditionnelles de lisibilité ou de récupération. Des travaux futurs sont suggérés pour explorer des extensions multilingues et multimodales.