HoWToBench: Holistic Evaluation for LLM's Capability in Human-level Writing using Tree of Writing

1. Il Problema

La valutazione delle capacità di scrittura dei Large Language Models (LLM) rappresenta una sfida significativa a causa della natura multidimensionale delle competenze di scrittura (che vanno oltre la semplice adesione alle istruzioni) e delle limitazioni delle metriche esistenti.

• Inadeguatezza delle metriche tradizionali: I metodi basati sul riferimento (come BLEU o ROUGE) falliscono nella valutazione di testi lunghi e aperti, poiché si concentrano sulla sovrapposizione lessicale piuttosto che sulla qualità semantica o stilistica.
• Limitazioni dell'approccio "LLM-as-a-Judge": I metodi attuali che utilizzano un LLM come giudice tendono a trattare la scrittura come un "gioco di imitazione" (verifica se il contenuto soddisfa le istruzioni esplicite), ignorando le sfumature implicite. Inoltre, soffrono di Incoerenza di Negoziazione: quando un LLM deve aggregare diversi sub-punteggi (es. fluidità, logica, stile) in un voto finale, tende a farlo in modo opaco e inconsistente, variando i pesi impliciti tra diverse esecuzioni dello stesso prompt.
• Mancanza di benchmark olistici: Esistono pochi benchmark che valutino la scrittura umana a livello professionale in diversi generi e con diversi livelli di contesto.

2. Metodologia

Il paper propone due contributi principali: un nuovo framework di valutazione (Tree-of-Writing) e un nuovo benchmark (HOWTOBENCH).

A. Tree-of-Writing (ToW)

ToW è un framework di valutazione progettato per simulare il processo decisionale umano, risolvendo il problema dell'incoerenza di negoziazione.

• Struttura ad Albero: La valutazione è modellata come un albero gerarchico. La radice rappresenta il punteggio complessivo. I nodi principali sono tre: Contenuto (VC), Formato (VF) e Impressione (VI).
• Nodi Foglia e Pesi Espliciti: I nodi principali si diramano in nodi foglia più granulari (es. per il Contenuto: apertura/chiusura, linguaggio, logica, emozione).
  • Un "Negotiator" (un LLM) analizza l'istruzione di scrittura e assegna pesi espliciti ai collegamenti (edge weights) tra i nodi, basandosi sul genere e sul tipo di compito. Questo evita che il modello aggreghi i punteggi in modo arbitrario.
  • I punteggi dei nodi foglia sono calcolati da agenti esperti (LLM specializzati) o regole (es. regex per il formato).
  • Il punteggio finale è una somma pesata dei punteggi dei nodi, calcolata tramite una traversata in profondità (DFS) dell'albero.
• Vantaggio: Questo approccio rende la valutazione trasparente, riproducibile e robusta, eliminando le fluttuazioni tipiche dei metodi di negoziazione implicita.

B. HOWTOBENCH

È un benchmark su larga scala per la scrittura in lingua cinese, progettato per valutare le capacità di scrittura a livello umano.

• Dati: Comprende 1302 istruzioni di scrittura distribuite su 12 generi (fiction, poesia, saggi, report, contratti, ecc.), suddivisi in due macro-categorie: Creative e Funzionale.
• Qualità: I dati sono curati da esperti umani, derivati da fonti professionali (siti letterari, documenti governativi, ecc.). Il tasso di superamento del controllo di qualità umano è del 96,85%.
• Tre Tipologie di Compiti:
  1. Completion (Livello I): Completamento di un testo con parti mancanti (alto contesto).
  2. Guide (Livello II): Scrittura guidata da un outline o dettagli specifici (contesto medio).
  3. Open (Livello III): Scrittura aperta su un tema con minima guida (basso contesto, massima creatività).
• Riferimenti: Ogni compito include un riferimento scritto da un umano di alta qualità, utilizzato per la valutazione.

3. Risultati Chiave

Gli autori hanno valutato 10 LLM all'avanguardia (inclusi GPT-4o, Claude-3.5, Gemini-2.0, DeepSeek-R1/V3) utilizzando HOWTOBENCH e ToW.

• Allineamento con l'Uomo: ToW ha raggiunto una correlazione di Pearson di 0,93 con i giudizi umani, superando significativamente le metriche tradizionali (BLEU, ROUGE) e altri metodi LLM-as-a-judge (Auto-Planning, Rubriche elaborate).
• Robustezza: ToW si è dimostrato robusto contro disturbi testuali comuni (ripetizioni, cancellazioni, cambi di genere), mentre metriche basate sulla sovrapposizione e altri metodi LLM-as-a-judge hanno mostrato una forte degradazione delle prestazioni.
• Analisi delle Prestazioni dei Modelli:
  • I modelli avanzati (es. GPT-4o, DeepSeek-R1) eccellono nei compiti con alto contesto (Completion) ma mostrano un calo drastico (fino al 18,8%) nei compiti aperti (Open).
  • Esiste una forte sensibilità al genere: i modelli performano bene su formati strutturati (lettere, report) ma faticano su generi creativi complessi (fiction).
• Scoperta sulla Lunghezza: È stata rilevata una correlazione negativa tra la lunghezza dell'input/output e il punteggio complessivo nei compiti Guide e Open. Questo smentisce l'idea che "più lungo sia, meglio è", indicando che l'accumulo di informazioni non garantisce una scrittura di alta qualità.
• Incoerenza di Negoziazione: L'analisi ha confermato che i metodi di pianificazione automatica (Auto-Planning) soffrono di alta variabilità nei pesi assegnati ai criteri, mentre ToW mantiene una stabilità dei pesi molto superiore.

4. Contributi Principali

1. Framework ToW: Introduzione di un metodo di valutazione gerarchico e strutturato ad albero che risolve il problema dell'incoerenza di negoziazione negli LLM-as-a-judge, assegnando pesi espliciti e trasparenti ai criteri di valutazione.
2. Benchmark HOWTOBENCH: Creazione del primo benchmark su larga scala per la scrittura umana a livello professionale in cinese, coprente 12 generi e 3 livelli di difficoltà, con riferimenti di alta qualità curati da esperti.
3. Analisi Empirica: Dimostrazione che le metriche attuali sono vulnerabili a bias e disturbi, e che la scrittura di livello umano richiede capacità che vanno oltre il semplice seguire le istruzioni (instruction following).
4. Insight sui Modelli: Evidenziazione del divario tra le prestazioni dei modelli in compiti vincolati e quelli aperti, e della correlazione negativa tra lunghezza e qualità in contesti creativi.

5. Significato

Questo lavoro è fondamentale per il campo dell'NLP perché sposta il paradigma di valutazione della generazione di testo da una visione basata sul "completamento di istruzioni" a una visione olistica della scrittura creativa e professionale.

• Affidabilità: Fornisce uno strumento di valutazione (ToW) che è molto più allineato al giudizio umano rispetto alle metriche esistenti, rendendo possibile un benchmarking più affidabile dei modelli linguistici.
• Guida per lo Sviluppo: Le scoperte sulle limitazioni dei modelli attuali (specialmente nella scrittura aperta e nella gestione della lunghezza) forniscono indicazioni chiare per il futuro sviluppo di LLM, sottolineando la necessità di migliorare la coerenza logica, la creatività e la capacità di gestire contesti aperti senza fare affidamento sulla lunghezza del testo.
• Standard di Riferimento: HOWTOBENCH stabilisce un nuovo standard per la valutazione della scrittura, incoraggiando la ricerca su come i modelli possano emulare la complessità e le sfumature della scrittura umana professionale.