Zero-shot Large Language Models for Automatic Readability Assessment

1. Énoncé du problème

L'évaluation automatique de la lisibilité (ARA) est cruciale pour garantir que les matériels éducatifs et médicaux sont accessibles aux publics cibles. Bien que les formules de lisibilité traditionnelles (par exemple, Flesch-Kincaid) soient faciles à mettre en œuvre, elles reposent sur des caractéristiques superficielles (longueur des phrases, nombre de syllabes) et échouent souvent à capturer les nuances contextuelles. À l'inverse, les méthodes d'apprentissage automatique supervisé offrent une précision supérieure mais nécessitent de grands jeux de données annotés manuellement, dont la production est coûteuse et longue.

Des recherches récentes ont exploré des méthodes non supervisées utilisant des modèles de langage de grande taille (LLM) via l'interrogation en zéro-shot (zero-shot prompting). Cependant, les études existantes (par exemple, Trott & Rivière, 2024) présentent des limites :

• Elles reposent sur des évaluations étroites (souvent un seul jeu de données en anglais).
• Elles utilisent des techniques d'interrogation simplistes (par exemple, demander un nombre sans définitions d'échelle).
• Elles testent principalement des modèles fermés (GPT-4) plutôt que des alternatives open-source diversifiées.
• Il existe un manque de compréhension concernant la performance de ces méthodes à travers différentes langues, longueurs de texte et domaines techniques.

L'article comble le vide dans l'évaluation complète et la rigueur méthodologique pour l'utilisation des LLM en zéro-shot en tant qu'outil ARA non supervisé robuste.

2. Méthodologie

Les auteurs proposent deux avancées méthodologiques principales : une stratégie d'interrogation en zéro-shot affinée pour les LLM et une nouvelle méthode d'ensemble appelée LAURAE.

A. Interrogation en zéro-shot affinée pour les LLM

Les auteurs proposent deux améliorations spécifiques par rapport aux techniques d'interrogation standard :

1. Définitions d'échelle : Au lieu de demander un score arbitraire, le LLM est interrogé en utilisant la même échelle et les mêmes définitions que celles utilisées par les annotateurs humains (par exemple, le Cadre européen commun de référence pour les langues - CECR). Pour les jeux de données sans échelles spécifiques, une échelle de 1 à 9 est utilisée avec des définitions détaillées des facteurs de lisibilité (grammaire, clarté).
2. Scoring par valeur attendue : Au lieu d'accepter uniquement le token "vanilla" unique généré par le modèle (le token à la probabilité la plus élevée), les auteurs calculent le score de lisibilité comme la valeur attendue sur les probabilités des tokens de sortie du modèle.
   • Formellement, si le modèle génère un token à la position $n$, le score $s_{LLM}$ est calculé en sommant le produit de la probabilité et de la valeur du token pour tous les tokens numériques dans la distribution de probabilité classée par ordre décroissant jusqu'à ce qu'un token non numérique soit rencontré. Cela réduit les égalités et capture l'incertitude du modèle.

B. LAURAE (Ensemble d'évaluation automatique de la lisibilité non supervisée basé sur les LLM)

Pour améliorer la robustesse, les auteurs introduisent LAURAE, une méthode d'ensemble qui combine :

• Caractéristiques contextuelles profondes : Scores issus du LLM interrogé en zéro-shot.
• Caractéristiques superficielles : Scores issus des formules de lisibilité traditionnelles (par exemple, FKGL, ARI, Lix).

Mécanisme de pondération :
Puisque le cadre est non supervisé (sans vérité terrain pour l'ajustement), LAURAE utilise la confiance verbale auto-déclarée du LLM comme facteur de pondération.

1. Le LLM est interrogé pour produire un score de confiance (1–9) concernant la mesure dans laquelle son évaluation s'aligne avec celle des évaluateurs humains.
2. Ce score de confiance est converti en un poids $c$ (normalisé entre 0,1 et 0,9).
3. Le score final est une combinaison pondérée du score LLM standardisé et du score de formule standardisé :
   $$\text{LAURAE} = c \cdot \left(\frac{s_{LLM} - \mu_{LLM}}{\sigma_{LLM}}\right) + (1-c) \cdot \left(\frac{s_{rf} - \mu_{rf}}{\sigma_{rf}}\right)$$
   Où $c$ est le poids de confiance, et $\mu, \sigma$ représentent les moyennes et écarts-types au niveau du jeu de données.

3. Configuration expérimentale

• Jeux de données : 14 jeux de données diversifiés ont été utilisés, couvrant :
  • Langues : Anglais, français, hindi, arabe, russe et grec.
  • Longueurs : Niveau phrase (par exemple, Asset, OneStop) jusqu'au niveau paragraphe/article (par exemple, MedReadMe, manuels scolaires grecs).
  • Domaines : Général, médical (MedReadMe), éducatif (manuels scolaires) et technique.
  • Vérité terrain : 11 jeux de données avec des évaluations explicites ; 3 avec des comparaisons par paires.
• Modèles : 10 LLM open-source diversifiés et adaptés aux instructions ont été évalués, dont Llama 3.1/3.2, Aya Expanse, Gemma 2, Mixtral et Phi-4.
• Lignes de base : Formules de lisibilité traditionnelles (FKGL, ARI, etc.), RSRS (une méthode non supervisée basée sur les PLM) et une méthode de base LLM en zéro-shot (LLM-v-ns) imitant les travaux antérieurs.

4. Résultats clés

A. Performance des LLM en zéro-shot

• Améliorations de l'interrogation : La méthode d'interrogation proposée (Définitions d'échelle + Valeur attendue) a surpassé la méthode de base en zéro-shot (LLM-v-ns) sur 13 des 14 jeux de données.
• Sélection de modèle :
  • Llama 3.1 70B a obtenu les meilleurs résultats sur les jeux de données en anglais.
  • Aya Expanse 32B (un modèle multilingue) a surpassé Llama 70B sur les jeux de données non anglais, soulignant l'importance des données d'entraînement multilingues.
• Généralisation : La méthode proposée a montré des gains significatifs sur les jeux de données non anglais, suggérant que la fourniture de définitions d'échelle explicites aide les LLM à surmonter le manque de connaissances intériorisées dans les langues à ressources limitées.

B. Performance de LAURAE

• Supériorité : LAURAE a surpassé toutes les lignes de base (LLM autonomes, formules et RSRS) sur 13 des 14 jeux de données.
• Robustesse :
  • Elle a comblé avec succès l'écart où les LLM autonomes peinaient (par exemple, textes très courts ou domaines techniques spécifiques) en exploitant les caractéristiques des formules superficielles.
  • Elle a maintenu des performances élevées là où les formules échouaient (par exemple, textes contextuels complexes) en exploitant la compréhension des LLM.
• Études d'ablation :
  • L'utilisation de scores de confiance verbaux comme poids s'est avérée supérieure à l'utilisation de poids basés sur l'entropie ou d'une pondération égale (ensemble naïf).
  • Le remplacement des formules de lisibilité par RSRS dans l'ensemble a entraîné une performance légèrement inférieure, confirmant que les formules simples constituent un composant "superficiel" plus efficace pour cette tâche spécifique.

5. Contributions clés

1. Avancement méthodologique : Introduction d'un cadre robuste d'interrogation en zéro-shot impliquant des définitions d'échelle et un scoring par valeur attendue, améliorant considérablement les performances des LLM par rapport aux travaux antérieurs.
2. Nouvelle méthode d'ensemble (LAURAE) : Proposition d'un ensemble pondéré par la confiance qui combine la force contextuelle des LLM avec la stabilité des formules de lisibilité, atteignant des performances non supervisées de l'état de l'art.
3. Évaluation complète : Fourniture de la première évaluation à grande échelle de 10 LLM open-source sur 14 jeux de données diversifiés (langues, longueurs, domaines), remettant en question l'hypothèse selon laquelle GPT-4 est la seule option viable et révélant la nécessité de modèles multilingues pour les tâches non anglaises.
4. Ressources ouvertes : Mise à disposition du code, des jeux de données (y compris des jeux de données de manuels scolaires grecs curatés) et des invites pour faciliter les recherches futures.

6. Importance

• Adoption pratique : LAURAE offre une alternative viable et à haute précision à l'annotation manuelle pour l'évaluation de la lisibilité, particulièrement utile dans les secteurs de la santé et de l'éducation où l'étiquetage manuel est trop coûteux.
• Changement de paradigme : L'article démontre que, bien que les LLM purs soient puissants, les approches hybrides (combinant l'apprentissage profond avec des heuristiques superficielles) produisent les résultats les plus robustes dans des cadres non supervisés.
• Perspective multilingue : Les résultats soulignent que pour les applications mondiales, des modèles spécifiques aux langues multilingues (comme Aya) sont essentiels, et que des stratégies d'interrogation explicites sont nécessaires pour combler les écarts de performance dans les langues non anglaises.
• Directions futures : Le travail suggère que la combinaison des évaluations en zéro-shot des LLM avec des outils NLP superficiels pourrait améliorer d'autres tâches non supervisées telles que l'analyse de sentiment ou la détection de toxicité.

Limites notées : La méthode nécessite une littératie en Python et des ressources informatiques importantes (GPU) par rapport aux simples calculateurs de formules. De plus, la nature "boîte noire" des explications des LLM n'a pas été pleinement évaluée quant à leur plausibilité dans cette étude.