Towards Empowering Consumers through Sentence-level Readability Scoring in German ESG Reports

Titolo

Verso l'empowerment dei consumatori attraverso la valutazione della leggibilità a livello di frase nei report ESG tedeschi.

1. Il Problema

Con l'aumentante urgenza della sostenibilità economica e sociale, le aziende pubblicano sempre più report su Ambiente, Sociale e Governance (ESG). Sebbene questi documenti siano essenziali per la trasparenza, spesso presentano sfide critiche per il pubblico non esperto:

• Accessibilità: I report sono spesso scritti per esperti finanziari o legali, rendendoli difficili da comprendere per i consumatori comuni (es. giovani che scelgono una banca o famiglie che scelgono un fornitore di energia).
• Greenwashing: Oltre alla disinformazione intenzionale, esiste il rischio che un linguaggio complesso nasconda la reale sostenibilità di un'azienda.
• Limiti delle valutazioni attuali: Le metriche di leggibilità esistenti (come il test Flesch) sono spesso calibrate a livello di documento, basate su statistiche grezze (lunghezza di parole/frasi) e non sono ottimizzate per la lingua tedesca o per il dominio specifico degli ESG.
• Obiettivo: Sviluppare un sistema automatizzato per valutare la leggibilità a livello di singola frase nei report ESG tedeschi, al fine di filtrare, selezionare o semplificare i contenuti per i consumatori.

2. Metodologia

Gli autori hanno adottato un approccio ibrido che combina annotazione umana e modelli di Machine Learning (ML) e Large Language Models (LLM).

A. Dataset e Annotazione

• Fonte: Il dataset deriva dal compito condiviso SustainEval GermEval, contenente estratti dai report sulla sostenibilità tedeschi (Deutscher Nachhaltigkeitskodex).
• Struttura: Ogni punto dati consiste in una frase target seguita da tre frasi di contesto.
• Annotazione Crowdsourcing: Sono stati reclutati madrelingua tedeschi (layperson) tramite Prolific per valutare la comprensibilità della frase target su una scala Likert forzata da 1 a 4 (da "per nulla chiaro" a "molto chiaro").
• Statistiche: Il dataset mostra una forte polarizzazione verso frasi considerate molto leggibili (classe 4), riflettendo la percezione generale dei madrelingua, ma con una variabilità soggettiva significativa.

B. Modelli Proposti e Baseline

Gli autori hanno confrontato diverse architetture per la Automatic Readability Assessment (ARA):

1. Modelli "Whitebox" (Interpretabili):

   • Baseline 1 (Lunghezza della frase): Regressione lineare basata solo sul numero di parole.
   • Baseline 2 (Formule di Leggibilità): Un modello XGBoost che aggrega punteggi da formule classiche adattate al tedesco (Flesch-Amstad, HKPS, indice di complessità, proporzioni di parole polisillabiche, LIX, ecc.).
   • Modello Proposto (Feature Sintattiche): Una rete neurale feed-forward che utilizza caratteristiche sintattiche estratte tramite spaCy:
     • N-grammi di tag POS (bigrammi e trigrammi).
     • Profondità dell'albero di dipendenza.
     • Distanza media di dipendenza.
     • Tag POS della radice della frase.
     • Presenza di voce passiva.
     • Presenza di subordinate.

2. Modelli "Blackbox" (Potenza Predittiva):

   • XLM-RoBERTa: Un encoder transformer pre-addestrato multilingue, fine-tunato specificamente per il task di regressione.
   • Generative LLM: Modelli instruction-tuned (Qwen 3, Gemma 3, Llama 3) utilizzati tramite prompting (one-shot) per classificare la leggibilità, senza fine-tuning sui dati specifici.

C. Metriche di Valutazione

• MSE (Mean Squared Error) e MAE (Mean Absolute Error): Per misurare l'errore di previsione numerica rispetto alle annotazioni umane.
• Kendall τ: Per misurare la correlazione di rango (capacità di distinguere correttamente le frasi facili da quelle difficili, indipendentemente dal bias assoluto del punteggio).
• Tempo di Inferenza: Per valutare l'efficienza computazionale.

3. Risultati Chiave

• Performance dei Modelli:

  • Il modello XLM-RoBERTa (base) ha ottenuto il miglior compromesso, con il più basso errore quadratico medio (MSE) tra i modelli singoli (0.0295) e un'ottima velocità di inferenza.
  • I LLM generativi (in particolare Qwen 3) hanno mostrato la migliore capacità di ranking (Kendall τ più alto: 0.2822), indicando che sono molto bravi a distinguere frasi complesse da quelle semplici. Tuttavia, soffrono di un forte bias nel punteggio assoluto (tendono a sottostimare la leggibilità rispetto alle annotazioni umane) e hanno un errore MSE elevato a causa della mancanza di fine-tuning specifico.
  • Il modello basato su feature sintattiche ha prestazioni simili alle formule tradizionali, confermando che le strutture grammaticali sono indicatori chiave, ma non superano i transformer pre-addestrati in termini di errore assoluto.
  • Le formule tradizionali (aggregazione XGBoost) hanno funzionato meglio della semplice lunghezza della frase, ma meno dei modelli neurali.

• Analisi delle Feature:

  • L'ablation study sul modello sintattico ha rivelato che i trigrammi di POS sono la feature più influente. Anche la voce passiva e la profondità della frase sono fattori critici.

• Combinazioni:

  • La media delle previsioni di più modelli (es. Sintassi + XLM-RoBERTa + Qwen) ha portato a un miglioramento marginale delle prestazioni, ma a scapito di una maggiore latenza di inferenza.

• Osservazioni sui Dati:

  • C'è una forte discrepanza tra la ricerca esistente (che descrive i report ESG come complessi) e i dati raccolti in questo studio (dove i madrelingua li percepiscono come generalmente facili). Questo potrebbe essere dovuto al fatto che la valutazione è a livello di frase (spesso isolata) piuttosto che di documento, o a un bias degli annotatori.

4. Contributi Principali

1. Dataset Esteso: Creazione e rilascio di un dataset di report ESG tedeschi con annotazioni crowdsourcing sulla leggibilità a livello di frase.
2. Analisi Comparativa: Un confronto sistematico tra modelli interpretabili (whitebox), transformer fine-tuned e LLM generativi per il task di leggibilità in tedesco.
3. Insight sulle Feature: Dimostrazione che le feature sintattiche (specialmente i trigrammi POS) sono fondamentali per la leggibilità, ma che i transformer pre-addestrati offrono una maggiore accuratezza predittiva.
4. Raccomandazioni Pratiche: Evidenza che per sistemi di raccomandazione o RAG (Retrieval-Augmented Generation) destinati ai consumatori, l'uso di un modello transformer fine-tuned (come XLM-RoBERTa) offre il miglior equilibrio tra accuratezza, velocità e costo computazionale rispetto all'uso di LLM generativi pesanti.

5. Significato e Implicazioni

Questo lavoro è fondamentale per l'empowerment del consumatore nell'era della sostenibilità:

• Trasparenza: Fornisce strumenti tecnici per identificare e segnalare le parti oscure dei report ESG, aiutando i consumatori a prendere decisioni informate.
• Protezione del Consumatore: Supporta l'attuazione della direttiva UE "Empowering Consumers", che richiede informazioni chiare e rilevanti.
• Futuro della Ricerca: Suggerisce che la leggibilità è soggettiva e dipende dal contesto. Futuri lavori potrebbero esplorare modelli di leggibilità personalizzati o l'analisi a livello di documento per catturare la coerenza tra le frasi, superando i limiti attuali della valutazione isolata.

In sintesi, il paper dimostra che sebbene i LLM abbiano un potenziale promettente per il ranking semantico, i modelli transformer più piccoli e specificamente fine-tuned sono attualmente la soluzione più efficace ed efficiente per quantificare la leggibilità dei report ESG tedeschi per il pubblico generale.