Zero-shot Large Language Models for Automatic Readability Assessment

1. Enunciato del Problema

La Valutazione Automatica della Leggibilità (ARA) è fondamentale per garantire che i materiali educativi e medici siano accessibili ai pubblici di destinazione. Sebbene le formule di leggibilità tradizionali (ad es. Flesch-Kincaid) siano facili da implementare, si basano su caratteristiche superficiali (lunghezza delle frasi, conteggio delle sillabe) e spesso non riescono a cogliere le sfumature contestuali. Al contrario, i metodi di apprendimento automatico supervisionato offrono una maggiore accuratezza ma richiedono grandi dataset annotati manualmente, la cui produzione è costosa e dispendiosa in termini di tempo.

La ricerca recente ha esplorato metodi non supervisionati che utilizzano i Modelli Linguistici di Grande Dimensione (LLM) tramite prompt zero-shot. Tuttavia, gli studi esistenti (ad es. Trott & Rivière, 2024) presentano limitazioni:

• Si basano su valutazioni ristrette (spesso su singoli dataset in inglese).
• Utilizzano tecniche di prompting semplificate (ad es. richiesta di un numero senza definizioni di scala).
• Testano principalmente modelli closed-source (GPT-4) anziché alternative open-source diversificate.
• Manca una comprensione di come questi metodi si comportino attraverso diverse lingue, lunghezze di testo e domini tecnici.

Il documento affronta il divario nella valutazione completa e nel rigore metodologico per l'uso di LLM zero-shot come strumento ARA non supervisionato e robusto.

2. Metodologia

Gli autori propongono due principali avanzamenti metodologici: una strategia di prompting zero-shot raffinata per gli LLM e un nuovo metodo di ensemble chiamato LAURAE.

A. Prompting Zero-Shot Raffinato per LLM

Gli autori propongono due miglioramenti specifici rispetto alle tecniche di prompting standard:

1. Definizioni di Scala: Invece di chiedere un punteggio arbitrario, l'LLM viene sollecitato utilizzando la stessa scala e le stesse definizioni usate dagli annotatori umani (ad es. il Quadro Comune Europeo di Riferimento per le Lingue - QCER). Per i dataset privi di scale specifiche, viene utilizzata una scala da 1 a 9 con definizioni dettagliate dei fattori di leggibilità (grammatica, chiarezza).
2. Punteggio del Valore Atteso: Invece di accettare solo il singolo token "vanilla" generato dal modello (il token con probabilità più alta), gli autori calcolano il punteggio di leggibilità come valore atteso sulle probabilità dei token di output del modello.
   • Formalmente, se il modello genera un token alla posizione $n$, il punteggio $s_{LLM}$ è calcolato sommando il prodotto della probabilità e del valore del token per tutti i token numerici nella distribuzione di probabilità meglio classificata fino all'incontro di un token non numerico. Questo riduce le parità e cattura l'incertezza del modello.

B. LAURAE (Ensemble di Valutazione Automatica Non Supervisionata della Leggibilità basato su LLM)

Per migliorare la robustezza, gli autori introducono LAURAE, un metodo di ensemble che combina:

• Caratteristiche Contestuali Profonde: Punteggi derivanti dall'LLM sollecitato con prompt zero-shot.
• Caratteristiche Superficiali: Punteggi derivanti da formule di leggibilità tradizionali (ad es. FKGL, ARI, Lix).

Meccanismo di Ponderazione:
Poiché l'impostazione è non supervisionata (nessuna verità fondamentale per l'addestramento), LAURAE utilizza la verbal confidence auto-segnalata dall'LLM come fattore di ponderazione.

1. L'LLM viene sollecitato a produrre un punteggio di confidenza (da 1 a 9) riguardo a quanto bene la sua valutazione si allinei con quella dei valutatori umani.
2. Questo punteggio di confidenza viene convertito in un peso $c$ (normalizzato da 0,1 a 0,9).
3. Il punteggio finale è una combinazione ponderata del punteggio standardizzato dell'LLM e del punteggio standardizzato della formula:
   $$\text{LAURAE} = c \cdot \left(\frac{s_{LLM} - \mu_{LLM}}{\sigma_{LLM}}\right) + (1-c) \cdot \left(\frac{s_{rf} - \mu_{rf}}{\sigma_{rf}}\right)$$
   Dove $c$ è il peso della confidenza, e $\mu, \sigma$ rappresentano medie e deviazioni standard a livello di dataset.

3. Configurazione Sperimentale

• Dataset: Sono stati utilizzati 14 dataset diversificati, che coprono:
  • Lingue: Inglese, Francese, Hindi, Arabo, Russo e Greco.
  • Lunghezze: A livello di frase (ad es. Asset, OneStop) fino a livello di paragrafo/articolo (ad es. MedReadMe, libri di testo greci).
  • Domini: Generale, medico (MedReadMe), educativo (libri di testo) e tecnico.
  • Verità Fondamentale: 11 dataset con valutazioni esplicite; 3 con confronti a coppie.
• Modelli: Sono stati valutati 10 diversi LLM open-source e addestrati all'istruzione, inclusi Llama 3.1/3.2, Aya Expanse, Gemma 2, Mixtral e Phi-4.
• Baseline: Formule di leggibilità tradizionali (FKGL, ARI, ecc.), RSRS (un metodo non supervisionato basato su PLM) e un metodo baseline zero-shot LLM (LLM-v-ns) che imita lavori precedenti.

4. Risultati Chiave

A. Prestazioni degli LLM Zero-Shot

• Miglioramenti nel Prompting: Il metodo di prompting proposto (Definizioni di Scala + Valore Atteso) ha superato il metodo zero-shot baseline (LLM-v-ns) su 13 dei 14 dataset.
• Selezione del Modello:
  • Llama 3.1 70B ha ottenuto i migliori risultati sui dataset in inglese.
  • Aya Expanse 32B (un modello multilingue) ha superato Llama 70B sui dataset non inglesi, evidenziando l'importanza dei dati di addestramento multilingue.
• Generalizzazione: Il metodo proposto ha mostrato guadagni significativi sui dataset non inglesi, suggerendo che fornire definizioni di scala esplicite aiuta gli LLM a superare la mancanza di conoscenze interiorizzate nelle lingue a risorse limitate.

B. Prestazioni di LAURAE

• Superiorità: LAURAE ha superato tutte le baseline (LLM standalone, formule e RSRS) su 13 dei 14 dataset.
• Robustezza:
  • Ha colmato con successo il divario in cui gli LLM standalone faticavano (ad es. testi molto brevi o domini tecnici specifici) sfruttando le caratteristiche superficiali delle formule.
  • Ha mantenuto alte prestazioni dove le formule fallivano (ad es. testi contestuali complessi) sfruttando la comprensione degli LLM.
• Studi di Ablazione:
  • L'uso dei punteggi di confidenza verbale come pesi si è dimostrato superiore all'uso di pesi basati sull'entropia o alla ponderazione uguale (ensemble ingenuo).
  • Sostituire le formule di leggibilità con RSRS nell'ensemble ha portato a prestazioni leggermente inferiori, confermando che le formule semplici sono un componente "superficiale" più efficace per questo compito specifico.

5. Contributi Chiave

1. Avanzamento Metodologico: Introduzione di un framework robusto di prompting zero-shot che include definizioni di scala e punteggio del valore atteso, migliorando significativamente le prestazioni degli LLM rispetto allo stato dell'arte precedente.
2. Nuovo Metodo di Ensemble (LAURAE): Proposta di un ensemble ponderato per la confidenza che combina la forza contestuale degli LLM con la stabilità delle formule di leggibilità, raggiungendo prestazioni non supervisionate all'avanguardia.
3. Valutazione Completa: Fornita la prima valutazione su larga scala di 10 LLM open-source su 14 dataset diversificati (lingue, lunghezze, domini), sfidando l'assunzione che GPT-4 sia l'unica opzione fattibile e rivelando la necessità di modelli multilingue per compiti non inglesi.
4. Risorse Aperte: Rilascio di codice, dataset (inclusi dataset curati di libri di testo greci) e prompt per facilitare la ricerca futura.

6. Significato

• Adozione Pratica: LAURAE offre un'alternativa fattibile e ad alta accuratezza all'annotazione manuale per la valutazione della leggibilità, particolarmente utile nei settori sanitario ed educativo dove l'etichettatura manuale è troppo costosa.
• Cambiamento di Paradigma: Il documento dimostra che, sebbene gli LLM puri siano potenti, gli approcci ibridi (che combinano deep learning ed euristica superficiale) producono i risultati più robusti in contesti non supervisionati.
• Insight Multilingue: I risultati sottolineano che per applicazioni globali sono essenziali modelli specifici per le lingue (come Aya) e che sono necessarie strategie di prompting esplicite per colmare i divari di prestazioni nelle lingue non inglesi.
• Direzioni Future: Il lavoro suggerisce che combinare le valutazioni zero-shot degli LLM con strumenti NLP superficiali potrebbe migliorare altri compiti non supervisionati come l'analisi del sentiment o il rilevamento della tossicità.

Limitazioni Notate: Il metodo richiede competenze in Python e risorse computazionali significative (GPU) rispetto ai semplici calcolatori di formule. Inoltre, la natura "scatola nera" delle spiegazioni degli LLM non è stata valutata appieno per la plausibilità in questo studio.