How Human-Like Are Large Language Models? A Register-Aware Linguistic Evaluation Framework

Sintesi Tecnica: Quanto sono simili agli esseri umani i Large Language Model? Un Framework di Valutazione Linguistica Consapevole del Registro

Enunciato del Problema
Mentre la ricerca attuale sui Large Language Model (LLM) dà priorità massiccia alla correttezza fattuale e ai benchmark di performance nei compiti (ad esempio, MMLU, QA specifici di dominio), la domanda fondamentale su quanto il testo generato dagli LLM assomigli al linguaggio umano a livello linguistico rimane poco esplorata. Da una prospettiva di linguistica di corpus, la produzione del linguaggio umano è intrinsecamente dipendente dal contesto; contesti comunicativi distinti (registri) danno origine a frequenze specifiche e modelli di co-occorrenza di caratteristiche linguistiche. Un testo può essere fattualmente corretto ma linguisticamente "innaturale" se non aderisce ai modelli del suo registro target. I metodi di rilevamento esistenti spesso si basano su embedding di modello (che non sono interpretabili dall'uomo) o non misurano adeguatamente l'allineamento al registro, in particolare quando i modelli sono condizionati su esempi espliciti di registro piuttosto che sull'inferenza del registro dal contesto situazionale.

Metodologia
Gli autori propongono un framework di valutazione consapevole del registro che valuta la somiglianza agli esseri umani come un problema a due campioni tra la distribuzione delle caratteristiche linguistiche di un corpus di riferimento umano e un corpus corrispondente generato da LLM.

1. Generazione dei Dati e Condizionamento Implicito al Registro:

   • Sono stati selezionati cinque registri inglesi distinti: Conversazione parlata (BNC2014Spoken), Scrittura accademica (S2ORC_ACL), Testo online istruttivo (wikiHow), Scrittura creativa (WritingPrompts) e Notiziario (XSum).
   • I corpora di riferimento umani sono stati raccolti e i metadati sono stati utilizzati per costruire prompt in linguaggio naturale.
   • Crucialmente, il framework impiega un condizionamento a registro implicito: i prompt descrivono il contesto situazionale senza includere esempi di testo specifici del registro, costringendo il modello a inferire lo stile target.
   • Sette modelli open-source addestrati su istruzioni (da 8B a 70B parametri, inclusi Llama 3, Qwen 3, Gemma 3 e Apertus) sono stati valutati in configurazioni zero-shot e few-shot.

2. Estrazione delle Caratteristiche:

   • Il framework utilizza le 67 caratteristiche lessico-grammaticali e discorsive introdotte da Biber (1988), uno standard nella linguistica di corpus per analizzare la variazione tra i registri.
   • I testi sono stati standardizzati a una lunghezza di 400 token lessicali per garantire la comparabilità.

3. Metrica di Distanza (MMD):

   • La discrepanza tra i corpora umano e sintetico è quantificata utilizzando la Maximum Mean Discrepancy (MMD) in uno Spazio di Hilbert a Kernel Riproducente (RKHS) con un kernel RBF.
   • L'MMD misura la distanza tra le medie degli embedding di due distribuzioni. Un valore di zero implica che le distribuzioni sono identiche.
   • Per stabilire una linea di base, gli autori calcolano l'MMD tra due sottocampioni disgiunti del corpus umano ($MMD_{human-human}$) per generare un Intervallo di Confidenza (IC) al 95%. Se la distanza di un LLM supera il limite superiore di questo IC, indica una deviazione statisticamente significativa dai modelli del linguaggio umano.

Contributi Chiave

• Un Framework Consapevole del Registro: Un metodo per valutare la somiglianza agli esseri umani basato sulla differenza distribuzionale delle caratteristiche linguistiche utilizzando l'MMD, andando oltre le metriche specifiche per compito.
• Implementazione Open-Source: Il rilascio di codice, impostazioni di generazione e risultati utilizzando le 67 caratteristiche di Biber.
• Benchmark Completo: Un'analisi comparativa di sette modelli su cinque registri, inclusa una studio di ablazione sulla stabilità del prompt e sugli effetti della generazione few-shot.

Risultati

• Deviazione Universale: In tutte le configurazioni testate, ogni LLM ha prodotto una distribuzione di caratteristiche linguistiche che si discostava significativamente dalla linea di base umana (superando l'IC umano-umano).
• Dipendenza dal Registro: La classificazione dei modelli per "somiglianza agli esseri umani" non è coerente tra i registri. Ad esempio, i modelli Qwen hanno ottenuto i risultati migliori su Conversazione parlata, Scrittura creativa e Notiziario, mentre Apertus 70B è stato il più vicino alle linee di base umane per Scrittura accademica e Testo istruttivo.
• Dimensione del Modello vs. Performance: La somiglianza agli esseri umani non è dettata dalla dimensione del modello. Modelli più piccoli (ad esempio, Qwen 8B) hanno spesso ottenuto risultati pari o migliori rispetto a controparti più grandi (ad esempio, Llama 70B) a seconda del registro.
• Bias Linguistici Specifici:
  • I modelli hanno generalmente sovrastimato l'uso di Clausole al Participio Presente e Nominalizzazioni rispetto agli esseri umani.
  • I modelli tendevano a produrre parole più lunghe e utilizzavano Aggettivi Attributivi più frequentemente.
  • I modelli hanno mostrato una variabilità ridotta nelle caratteristiche linguistiche rispetto agli esseri umani in quattro registri su cinque.
• Stabilità del Prompt: Sebbene i valori assoluti di distanza variassero con la formulazione del prompt, la classificazione relativa dei modelli è rimasta coerente (correlazione $\ge$ 0,985).
• Effetti Few-Shot: Fornire esempi few-shot ha generalmente ridotto la distanza verso la distribuzione umana, sebbene l'effetto fosse minimo e occasionalmente dannoso (ad esempio, per Llama 8B su Conversazione parlata).

Significato e Affermazioni
Il paper afferma che la somiglianza agli esseri umani è una proprietà dipendente dal registro che deve essere valutata con sensibilità al registro. Aggregare i risultati tra i registri oscura le differenze sistemiche; un modello classificato come "più simile agli esseri umani" in un contesto potrebbe non esserlo in un altro.

Gli autori sostengono che il loro framework fornisce una metrica trasparente e interpretabile (MMD su caratteristiche interpretabili dall'uomo) che può essere ottimizzata in lavori futuri per migliorare la produzione linguistica degli LLM. Minimizzando l'MMD tra i testi generati e campioni rappresentativi di registro, si potrebbe incoraggiare i modelli a produrre testi linguisticamente appropriati per il loro scopo comunicativo ed evitare il "collasso del modo" in distribuzioni ristrette di caratteristiche. Lo studio conclude che gli LLM attuali, indipendentemente da dimensione o architettura, falliscono sistematicamente nel replicare la piena variabilità e i modelli specifici di co-occorrenza del linguaggio umano all'interno di registri specifici.