Representing data in words: A context engineering approach

Titolo: Rappresentazione dei dati in parole: un approccio di ingegneria del contesto

1. Il Problema

Nonostante i Large Language Models (LLM) abbiano dimostrato capacità eccezionali in ambiti generali, faticano ancora a generare testi affidabili che rappresentino fedelmente dati numerici. Spesso gli LLM trattano i numeri come token testuali piuttosto che come informazioni quantitative, portando a errori di interpretazione e ragionamento.
Le tecniche tradizionali di Data-to-Text (D2T) si basano spesso su modelli addestrati specificamente su dati strutturati (come tabelle), richiedendo risorse computazionali elevate. Inoltre, manca un benchmark standardizzato per valutare la generazione di narrazioni basate sui dati, rendendo difficile misurare l'accuratezza e l'affidabilità delle uscite in contesti specifici.

2. Metodologia: Le "Wordalisations" e l'Ingegneria del Contesto

Gli autori introducono il concetto di "wordalisation" (una fusione di "word" e "visualisation"), una metodologia per generare narrazioni stilisticamente naturali e fedeli ai dati, analogamente a come le visualizzazioni grafiche rendono i dati digeribili.

L'approccio non si basa sul fine-tuning del modello, ma sull'Ingegneria del Contesto (Context Engineering), che va oltre la semplice prompt engineering fornendo al modello informazioni, strumenti e istruzioni formattate correttamente. Il flusso di lavoro si articola in tre fasi principali:

1. Modello Statistico: I dati grezzi vengono elaborati per calcolare statistiche informative (es. z-score).
2. Modello Normativo: Le statistiche numeriche vengono convertite in una descrizione sintetica testuale (es. "sopra la media", "eccellente") basata su soglie predefinite.
3. Generazione della Wordalisation: Un LLM pre-addestrato, guidato da un prompt strutturato, trasforma la descrizione sintetica in un testo narrativo fluido.

I Quattro Passi della Costruzione del Prompt:
Per guidare l'LLM, gli autori definiscono un prompt in quattro fasi sequenziali:

1. Digli chi è (Tell it who it is): Impostazione del system prompt per definire il ruolo (es. "Sei uno scout calcistico britannico").
2. Digli cosa sa (Tell it what it knows): Fornitura di coppie Domanda-Risposta (Q&A) che fungono da conoscenza di base e definiscono i limiti interpretativi dei dati (es. spiegando cosa significa un "gol" o un tratto di personalità).
3. Digli quali dati usare (Tell it what data to use): Conversione dei dati statistici (z-score) in una descrizione normativa testuale (es. "Ha un punteggio di 2.101, quindi è 'eccezionale'"). Questo passaggio astrae i numeri grezzi in concetti qualitativi.
4. Digli come rispondere (Tell it how to answer): Istruzioni sulla struttura della risposta e utilizzo del few-shot prompting (esempi di input/output) per garantire coerenza, tono e formato.

3. Applicazioni di Studio

Il metodo è stato testato su tre domini distinti per verificarne la versatilità:

• Scouting calcistico: Analisi delle prestazioni dei giocatori (es. Harry Kane) basata su metriche come gol, assist e passaggi.
• Test di personalità: Interpretazione dei risultati del test dei "Big Five".
• Dati di sondaggi internazionali: Analisi dei dati del World Values Survey (es. caso studio sulla Malesia).

4. Risultati e Valutazione

Dato l'assenza di benchmark standard, gli autori hanno adottato un approccio olistico combinando LLM-as-a-judge e Human-as-a-judge.

• Valutazione LLM-as-a-judge:

  • Confronto tra tre metodi: Controllo (nessun dato), Statistico (solo numeri grezzi) e Wordalisation (descrizione normativa + prompt).
  • Risultato: Le wordalisations hanno ridotto drasticamente le allucinazioni (falsi positivi) rispetto al controllo (91% di errori nel controllo vs 18% nelle wordalisations).
  • È stato possibile ricostruire la descrizione statistica originale partendo dal testo generato con un'alta accuratezza, specialmente nei test di personalità e sondaggi. Nel calcio, la ricostruzione è stata leggermente più difficile a causa della maggiore complessità delle affermazioni sintetiche.

• Valutazione Human-as-a-judge:

  • 121 valutatori umani hanno giudicato 90 testi (30 per metodo) su fedeltà, coinvolgimento e utilità.
  • Risultato: Le wordalisations hanno superato significativamente sia il controllo che la descrizione puramente statistica in termini di coinvolgimento (engagement).
  • Non vi è stata differenza significativa in termini di fedeltà e utilità tra la descrizione statistica pura e la wordalisation, ma quest'ultima è stata preferita dagli utenti per la sua natura più narrativa e meno formulaica.

5. Contributi Chiave

1. Introduzione delle "Wordalisations": Un nuovo paradigma per la comunicazione dei dati che trasforma l'output numerico in narrazione naturale senza bisogno di addestramento specifico del modello.
2. Framework di Ingegneria del Contesto: Una metodologia strutturata in 4 passi che dimostra come l'uso intelligente del prompt (con modelli normativi e statistici intermedi) possa superare i limiti degli LLM nella gestione dei numeri.
3. Approccio alla Valutazione e Documentazione: Proposta di abbandonare i benchmark puramente quantitativi a favore di una documentazione trasparente (Model Cards) che spieghi i modelli statistici e normativi sottostanti, i limiti e le scelte di progettazione, simile alle pratiche del giornalismo dati.
4. Risorsa Open Source: Pubblicazione di un'applicazione prototipo (Streamlit) e del codice completo per la riproducibilità.

6. Significato e Implicazioni

Il lavoro sottolinea che per l'uso responsabile degli LLM nella scienza dei dati non è necessario addestrare modelli costosi, ma è cruciale progettare attentamente il contesto in cui operano.

• Accessibilità: Le wordalisations rendono i dati complessi accessibili a un pubblico non tecnico, fungendo da ponte tra l'analisi statistica e la comprensione umana.
• Trasparenza: Sposta il focus dalla semplice "accuratezza del punteggio" alla trasparenza del processo decisionale (come i dati sono stati interpretati e tradotti in parole).
• Limitazioni attuali: Il metodo attuale si basa esclusivamente su dati numerici grezzi e non supporta ancora variabili categoriali o serie temporali complesse senza modifiche. È attualmente pensato come strumento educativo, non ancora per uso professionale critico (es. assunzioni), sebbene il metodo sia scalabile.

In conclusione, il paper propone un cambio di paradigma: invece di cercare di addestrare gli LLM a "capire" i numeri, si tratta di ingegnerizzare il contesto per guidarli a interpretare correttamente le descrizioni statistiche pre-calcolate, garantendo narrazioni accurate, coinvolgenti e trasparenti.