The Order Matters: Sequential Fine-Tuning of LLaMA for Coherent Automated Essay Scoring

Sintesi Tecnica: L'ordine conta: Fine-Tuning Sequenziale di LLaMA per la Valutazione Automatica Coerente dei Saggi

Problematica
I sistemi di Valutazione Automatica dei Saggi (AES) affrontano una sfida critica nel modellare la natura interdipendente degli elementi del discorso all'interno di un saggio. Gli approcci tradizionali spesso trattano componenti come l'introduzione (lead), la posizione, l'affermazione (claim), l'evidenza e la conclusione in modo isolato. Questa frammentazione non riesce a catturare il flusso logico e le dipendenze gerarchiche intrinseche nella scrittura argomentativa (ad esempio, come la chiarezza di una posizione influenzi la forza di un'affermazione). Di conseguenza, i modelli esistenti faticano con la coerenza, la generalizzazione attraverso diversi stili di scrittura e la valutazione affidabile delle componenti integrative. Inoltre, sebbene i Large Language Models (LLM) offrano un potenziale, manca una comprensione su se modelli più piccoli ed efficientemente sottoposti a fine-tuning possano superare baseline massicci e generalisti quando le dipendenze del compito sono esplicitamente modellate.

Metodologia
Lo studio investiga l'impatto dei curricula di addestramento sul fine-tuning di LLaMA-3.1-8B per l'AES. Gli autori utilizzano il corpus PERSUADE 2.0, un dataset di oltre 25.000 saggi argomentativi annotati con cinque componenti specifiche del discorso: Introduzione (Lead), Posizione, Affermazione (Claim), Evidenza e Conclusione.

Per adattare il modello in modo efficiente, gli autori impiegano la Low-Rank Adaptation (LoRA) con quantizzazione a 4 bit (NF4), consentendo l'addestramento su una singola GPU A100 pur preservando la conoscenza pre-addestrata. Il design sperimentale principale confronta tre distinti curricula di addestramento contro un baseline zero-shot di LLaMA-70B:

1. Fine-Tuning Indipendente: Vengono addestrati cinque modelli separati, ciascuno dedicato a una singola componente del discorso, utilizzando adapter LoRA specifici per il compito. Questo funge da baseline per valutare il valore delle rappresentazioni condivise.
2. Fine-Tuning Randomizzato (Multi-Task): Un singolo modello viene addestrato su un mix rimescolato di tutti e cinque i dataset delle componenti simultaneamente. Questo approccio tratta i compiti come indipendenti e identicamente distribuiti, ignorando la struttura sequenziale.
3. Fine-Tuning Sequenziale (Curriculum): Il metodo proposto come principale. Un singolo modello viene affinato progressivamente seguendo l'ordine logico naturale della scrittura di un saggio: Introduzione $\rightarrow$ Posizione $\rightarrow$ Affermazione $\rightarrow$ Evidenza $\rightarrow$ Conclusione. I parametri appresi da una fase servono come inizializzazione per la successiva, con l'obiettivo di costruire rappresentazioni complesse sfruttando la conoscenza delle componenti fondamentali.

Risultati Chiave
Gli esperimenti sul test set PERSUADE 2.0 rivelano che la struttura del curriculum di addestramento influenza significativamente le prestazioni del modello:

• Superiorità dell'Apprendimento Sequenziale: Il curriculum Sequenziale ha prodotto i risultati complessivi più forti. Ha ottenuto i punteggi F1 più elevati su tre delle cinque componenti: Affermazione (40%), Evidenza (65%) e Conclusione (87%). Notevolmente, ha raggiunto un'accuratezza dell'85% sul compito di Conclusione.
• Interdipendenza dei Compiti: Il modello Sequenziale ha superato significativamente i modelli Indipendenti, in particolare sul compito di Conclusione (F1 87% vs. F1 12% per l'Indipendente). Ciò suggerisce che la valutazione delle componenti integrative richiede rappresentazioni contestuali informate dalle sezioni precedenti del saggio, cosa che l'addestramento isolato non riesce a catturare.
• Incostanza dell'Apprendimento Randomizzato: Sebbene l'approccio Randomizzato abbia migliorato il punteggio della Posizione (F1 57%), è stato scarsamente performante sul componente Introduzione (F1 7%), indicando che l'apprendimento multi-task non strutturato è meno robusto rispetto a un curriculum allineato con la struttura del discorso.
• Modelli Piccoli vs. Grandi: Un modello compatto e ottimizzato per il compito, LLaMA-8B (Sequenziale), ha superato il baseline LLaMA-70B zero-shot molto più grande nei compiti dipendenti dal contesto. Nello specifico, il modello 8B ha superato il baseline 70B su Evidenza (65% vs. 49% F1) e Conclusione (87% vs. 60% F1), nonostante la capacità superiore del 70B.

Significatività e Rivendicazioni
Il paper sostiene che "l'ordine conta" nel fine-tuning, affermando che il design del curriculum allineato con la struttura intrinseca del compito agisce come un potente bias induttivo. Gli autori sostengono che:

1. Il Design del Curriculum è Critico: Modellare le dipendenze dei compiti attraverso il fine-tuning sequenziale migliora materialmente le prestazioni dell'AES, in particolare per le componenti integrative dove il flusso logico è essenziale.
2. Efficienza e Competitività: Modelli piccoli e ottimizzati per il compito possono essere competitivi con, e persino superare, LLM sostanzialmente più grandi quando la strategia di addestramento è allineata con la natura gerarchica del compito. Ciò offre un percorso pratico e conveniente per la valutazione educativa scalabile senza dipendere da API proprietarie ad alta intensità di risorse.
3. Generalizzabilità: Allontanandosi dalla valutazione isolata delle componenti, l'approccio proposto affronta il problema del feedback incoerente, fornendo un framework più robusto per valutare la scrittura degli studenti che rifletta le relazioni logiche tra le sezioni del saggio.

Gli autori concludono che per i compiti di predizione strutturata nel NLP, come un modello viene insegnato (il curriculum) è importante quanto cosa gli viene insegnato, consentendo l'induzione di rappresentazioni più robuste ed efficienti.