Zero-shot Large Language Models for Automatic Readability Assessment

1. Probleemstelling

Automatische Leesbaarheidsschatting (ARA) is cruciaal om ervoor te zorgen dat educatief en medisch materiaal toegankelijk is voor de doelgroep. Hoewel traditionele leesbaarheidsformules (bijv. Flesch-Kincaid) eenvoudig te implementeren zijn, vertrouwen ze op oppervlakkige kenmerken (zinslengte, lettergrepenaantal) en slagen ze er vaak niet in om contextuele nuances te vangen. Omgekeerd bieden supervised machine learning-methoden een hogere nauwkeurigheid, maar vereisen ze grote, handmatig geannoteerde datasets, die kostbaar en tijdrovend zijn om te produceren.

Recent onderzoek heeft unsupervised-methoden onderzocht met behulp van Large Language Models (LLM's) via zero-shot prompting. Echter, bestaande studies (bijv. Trott & Rivière, 2024) hebben beperkingen:

• Ze vertrouwen op smalle evaluaties (vaak enkele Engelse datasets).
• Ze gebruiken simplistische prompting-technieken (bijv. vragen om een getal zonder schaaldefinities).
• Ze testen voornamelijk gesloten bronmodellen (GPT-4) in plaats van diverse open-source alternatieven.
• Er is een gebrek aan inzicht in hoe deze methoden presteren over verschillende talen, tekstlengtes en technische domeinen.

Het artikel adresseert de kloof in een uitgebreide evaluatie en methodologische strengheid voor het gebruik van zero-shot LLM's als een robuust, unsupervised ARA-hulpmiddel.

2. Methodologie

De auteurs stellen twee belangrijke methodologische verbeteringen voor: een verfijnde zero-shot prompting-strategie voor LLM's en een nieuwe ensemble-methode genaamd LAURAE.

A. Verfijnde Zero-Shot Prompting voor LLM's

De auteurs stellen twee specifieke verbeteringen voor ten opzichte van standaard prompting-technieken:

1. Schaaldefinities: In plaats van om een willekeurige score te vragen, wordt de LLM geprompt met dezelfde schaal en definities die door menselijke annotatoren worden gebruikt (bijv. het Gemeenschappelijk Europees Referentiekader voor Talen - CEFR). Voor datasets zonder specifieke schalen wordt een 1–9 schaal gebruikt met gedetailleerde definities van leesbaarheidsfactoren (grammatica, duidelijkheid).
2. Verwachte Waarde Scoring: In plaats van alleen het enkele "vanilla" token te accepteren dat door het model wordt gegenereerd (het token met de hoogste waarschijnlijkheid), berekenen de auteurs de leesbaarheidsscore als de verwachte waarde over de token-waarschijnlijkheden van de modeloutput.
   • Formeel, als het model een token op positie $n$ genereert, wordt de score $s_{LLM}$ berekend door het product van de waarschijnlijkheid en de tokenwaarde op te tellen voor alle numerieke tokens in de best gerangschikte waarschijnlijkheidsverdeling totdat een niet-numeriek token wordt aangetroffen. Dit vermindert gelijke standen en vangt modelonzekerheid op.

B. LAURAE (LLM-based Automatic Unsupervised Readability Assessment Ensemble)

Om de robuustheid te verbeteren, introduceren de auteurs LAURAE, een ensemble-methode die combineert:

• Diepe Contextuele Kenmerken: Scores van de zero-shot geprompte LLM.
• Oppervlakkige Kenmerken: Scores van traditionele leesbaarheidsformules (bijv. FKGL, ARI, Lix).

Weegmechanisme:
Omdat de setting unsupervised is (geen ground truth voor tuning), gebruikt LAURAE de verbaal gerapporteerde zelfverzekerdheid van de LLM als weegfactor.

1. De LLM wordt geprompt om een zelfverzekerdheidsscore (1–9) uit te geven over hoe goed zijn beoordeling overeenkomt met menselijke beoordelaars.
2. Deze zelfverzekerdheidsscore wordt omgezet in een gewicht $c$ (genormaliseerd naar 0,1–0,9).
3. De uiteindelijke score is een gewogen combinatie van de gestandaardiseerde LLM-score en de gestandaardiseerde formulescore:
   $$\text{LAURAE} = c \cdot \left(\frac{s_{LLM} - \mu_{LLM}}{\sigma_{LLM}}\right) + (1-c) \cdot \left(\frac{s_{rf} - \mu_{rf}}{\sigma_{rf}}\right)$$
   Waar $c$ het zelfverzekerdheidsgewicht is, en $\mu, \sigma$ dataset-niveau gemiddelden en standaardafwijkingen voorstellen.

3. Experimentele Opstelling

• Datasets: 14 diverse datasets werden gebruikt, die de volgende aspecten bestrijken:
  • Talen: Engels, Frans, Hindi, Arabisch, Russisch en Grieks.
  • Lengtes: Zinsniveau (bijv. Asset, OneStop) tot alinea/artikelniveau (bijv. MedReadMe, Griekse leerboeken).
  • Domeinen: Algemeen, medisch (MedReadMe), educatief (leerboeken) en technisch.
  • Ground Truth: 11 datasets met expliciete ratings; 3 met paarwijze vergelijkingen.
• Modellen: 10 diverse open-source, instructie-getrainde LLM's werden geëvalueerd, waaronder Llama 3.1/3.2, Aya Expanse, Gemma 2, Mixtral en Phi-4.
• Baselines: Traditionele leesbaarheidsformules (FKGL, ARI, enz.), RSRS (een PLM-gebaseerde unsupervised methode) en een baseline zero-shot LLM-methode (LLM-v-ns) die eerdere werken nabootst.

4. Belangrijkste Resultaten

A. Zero-Shot LLM Prestaties

• Prompting Verbeteringen: De voorgestelde prompting-methode (Schaaldefinities + Verwachte Waarde) presteerde beter dan de baseline zero-shot methode (LLM-v-ns) op 13 van de 14 datasets.
• Modelselectie:
  • Llama 3.1 70B presteerde het beste op Engelse datasets.
  • Aya Expanse 32B (een meertalig model) presteerde beter dan Llama 70B op niet-Engelse datasets, wat het belang van meertalige trainingsdata benadrukt.
• Generalisatie: De voorgestelde methode toonde significante winsten op niet-Engelse datasets, wat suggereert dat het verstrekken van expliciete schaaldefinities LLM's helpt een gebrek aan geïnternaliseerde kennis in minder-resourced talen te overwinnen.

B. LAURAE Prestaties

• Superioriteit: LAURAE presteerde beter dan alle baselines (standalone LLM's, formules en RSRS) op 13 van de 14 datasets.
• Robuustheid:
  • Het slaagde erin de kloof te overbruggen waar standalone LLM's moeite hadden (bijv. zeer korte teksten of specifieke technische domeinen) door gebruik te maken van oppervlakkige formulekenmerken.
  • Het behield hoge prestaties waar formules faalden (bijv. complexe contextuele teksten) door gebruik te maken van LLM-begrip.
• Ablatiestudies:
  • Het gebruik van verbaal gerapporteerde zelfverzekerdheidsscores als gewichten bleek superieur aan het gebruik van entropie-gebaseerde gewichten of gelijke weging (naive ensemble).
  • Het vervangen van leesbaarheidsformules door RSRS in het ensemble resulteerde in iets lagere prestaties, wat bevestigt dat eenvoudige formules een effectievere "oppervlakkige" component zijn voor deze specifieke taak.

5. Belangrijkste Bijdragen

1. Methodologische Vooruitgang: Introductie van een robuust zero-shot prompting-kader dat schaaldefinities en expected value scoring omvat, wat de LLM-prestaties aanzienlijk verbetert ten opzichte van eerdere werken.
2. Nieuwe Ensemble-methode (LAURAE): Voorstellen van een op zelfverzekerdheid gewogen ensemble dat de contextuele sterkte van LLM's combineert met de stabiliteit van leesbaarheidsformules, wat state-of-the-art unsupervised prestaties bereikt.
3. Uitgebreide Evaluatie: Levering van de eerste grootschalige evaluatie van 10 open-source LLM's over 14 diverse datasets (talen, lengtes, domeinen), wat de aanname uitdaagt dat GPT-4 de enige levensvatbare optie is, en het noodzakelijke gebruik van meertalige modellen voor niet-Engelse taken blootlegt.
4. Open Bronnen: Vrijgave van code, datasets (inclusief gecureerde Griekse leerboekdatasets) en prompts om toekomstig onderzoek te faciliteren.

6. Betekenis

• Praktische Adoptie: LAURAE biedt een levensvatbaar, hoog-nauwkeurig alternatief voor handmatige annotatie voor leesbaarheidsschatting, bijzonder nuttig voor de gezondheidszorg en onderwijssectoren waar handmatige labeling te kostbaar is.
• Paradigmaverschuiving: Het artikel toont aan dat hoewel pure LLM's krachtig zijn, hybride benaderingen (combinatie van deep learning met oppervlakkige heuristieken) de meest robuuste resultaten opleveren in unsupervised settings.
• Meertalig Inzicht: De bevindingen benadrukken dat voor wereldwijde toepassingen meertalig-specifieke modellen (zoals Aya) essentieel zijn, en dat expliciete prompting-strategieën vereist zijn om prestatiekloven in niet-Engelse talen te overbruggen.
• Toekomstige Richtingen: Het werk suggereert dat het combineren van zero-shot LLM-beoordelingen met oppervlakkige NLP-tools andere unsupervised taken zoals sentimentanalyse of toxiciteitsdetectie kan verbeteren.

Opgemerkte Beperkingen: De methode vereist Python-geletterdheid en aanzienlijke rekenkracht (GPUs) in vergelijking met eenvoudige formuleschakers. Bovendien werd de "black box"-aard van LLM-verklaringen in deze studie niet volledig geëvalueerd op plausibiliteit.