Social Meaning in Large Language Models: Structure, Magnitude, and Pragmatic Prompting

1. Il Problema di Ricerca

Il lavoro affronta due questioni fondamentali riguardanti la capacità dei Large Language Models (LLM) di ragionare sul significato sociale e pragmatico:

1. Qualità Quantitativa vs. Qualitativa: Gli LLM non solo imitano qualitativamente i pattern di ragionamento sociale umano (direzione degli effetti), ma li riproducono anche quantitativamente (magnitudine degli effetti)? La ricerca evidenzia che, sebbene i modelli siano spesso capaci di identificare la direzione corretta di un'inferenza sociale, tendono a distorcere sistematicamente la sua intensità (esagerandola o attenuandola), un fenomeno noto come "dissociazione struttura-magnitudine".
2. Intervento tramite Prompting: È possibile migliorare questa approssimazione quantitativa utilizzando strategie di prompting informate dalla teoria pragmatica?

L'autore nota che la maggior parte delle valutazioni esistenti si concentra sull'accordo direzionale o categorico, trascurando la natura graduale (graded) del giudizio sociale umano, dove la forza di un'inferenza dipende da sottili interazioni tra forma linguistica e contesto.

2. Metodologia

Caso di Studio e Dati

Lo studio si basa su un caso specifico: l'uso della precisione numerica (imprecisione) in contesti sociali. Viene utilizzata come benchmark i dati sperimentali di Solt et al. (2025), che esaminano come la scelta tra espressioni numeriche precise (es. "500 dollari") e approssimate (es. "circa 500 dollari") influenzi la percezione sociale del parlante (competenza, conoscenza, disponibilità, ecc.) in base al contesto (alta precisione richiesta vs. bassa precisione richiesta).
Il dataset umano di riferimento include 10 effetti significativi (5 effetti principali e 5 interazioni forma-contesto) su 6 dimensioni sociali.

Modelli e Protocollo

Sono stati valutati tre modelli LLM all'avanguardia (frontier models) tramite API:

• GPT (gpt-4o-mini)
• Claude (claude-sonnet-4-20250514)
• Gemini (gemini-2.5-pro)

Per ogni combinazione di scenario, contesto, forma dell'utterance e attributo sociale, i modelli hanno fornito valutazioni su una scala Likert a 7 punti. Ogni query è stata eseguita 10 volte ($\tau=1.0$) e le uscite sono state mediate per confrontarle con le medie umane.

Condizioni di Prompting

Sono state implementate quattro condizioni di prompting basate su due assunzioni pragmatiche chiave (Reasoning over Alternatives e Speaker Knowledge/Motives):

1. Minimal (MIN): Istruzioni base, baseline per il comportamento di default.
2. Alternative-Aware (ALT): Aggiunta di un esempio "chain-of-thought" che invita il modello a ragionare sulle alternative linguistiche disponibili.
3. Knowledge-and-Motives-Aware (KMA): Istruzione esplicita a considerare diversi stati di conoscenza e motivi comunicativi del parlante prima di valutare.
4. Combined (COM): Integrazione di entrambe le estensioni sopra.

Metriche di Valutazione

L'autore introduce due nuove metriche focalizzate sulla calibrazione per distinguere tra fedeltà strutturale e calibrazione della magnitudine:

• Strutturali: Directional Agreement Score (DAS) e Interaction Sensitivity Score (ISS) per verificare se il modello riproduce la direzione corretta degli effetti.
• Magnitudine:
  • Effect Size Ratio (ESR): Rapporto tra la magnitudine dell'effetto del modello e quella umana ($|\Delta M| / |\Delta H|$). Un valore di 1 indica perfetta calibrazione.
  • Calibration Deviation Score (CDS): Media delle deviazioni assolute dell'ESR da 1 su tutti gli effetti significativi. Un CDS più basso indica una migliore calibrazione.

3. Risultati Chiave

Dissociazione Struttura-Magnitudine

• Allineamento Strutturale Perfetto: Tutti i modelli hanno raggiunto un DAS e un ISS di 1.0, indicando che riproducono perfettamente la direzione e la polarità degli effetti sociali umani, indipendentemente dal prompting.
• Disallineamento della Magnitudine: Esiste una significativa discrepanza nella calibrazione quantitativa. I modelli preservano l'ordinamento delle valutazioni umane (alta correlazione di Spearman), ma distorcono la scala (basso CCC e alto RMSE).
  • GPT: Mostra la migliore calibrazione complessiva, con deviazioni moderate.
  • Claude: Mostra una calibrazione intermedia ma altamente sensibile al prompting.
  • Gemini: Soffre di una forte inflazione della magnitudine (esagerazione sistematica), con effetti che spesso superano di 2-3 volte quelli umani.

Effetti del Prompting

• KMA (Conoscenza e Motivi): È la condizione più efficace per ridurre le deviazioni nei modelli che tendono a esagerare (Claude e Gemini). Indirizzare l'attenzione sull'incertezza epistemica del parlante modera l'esagerazione delle inferenze sociali.
• ALT (Consapevolezza delle Alternative): Produce effetti misti e talvolta negativi. In alcuni casi (es. Gemini), l'invito esplicito a considerare le alternative linguistiche ha peggiorato l'inflazione della magnitudine, suggerendo che senza un ancoraggio agli stati di conoscenza, l'attenzione alle alternative amplifica i contrasti.
• COM (Combinato): È l'unica condizione che migliora tutte le metriche sensibili alla calibrazione (CCC, RMSE, CDS) rispetto al baseline per tutti i modelli. Tuttavia, per i modelli soggetti a esagerazione, la condizione COM non è sempre superiore alla sola KMA, suggerendo che l'esempio chain-of-thought (ALT) può interferire parzialmente con le istruzioni sull'incertezza epistemica.

4. Contributi Principali

1. Metriche di Calibrazione: Introduzione delle metriche ESR e CDS, che permettono di quantificare in modo principiato la differenza tra la capacità di un modello di cogliere la direzione di un'inferenza sociale e la sua capacità di riprodurne la forza (magnitudine).
2. Dimostrazione della Dissociazione: Evidenziazione sistematica che gli LLM apprendono la conoscenza pragmatica direzionale dai dati di addestramento, ma falliscono nell'incorporare la natura probabilistica e graduale del ragionamento sociale umano.
3. Validazione della Teoria Pragmatica: Dimostrazione che le condizioni di prompting basate sulla teoria (in particolare la considerazione degli stati di conoscenza e dei motivi del parlante) possono migliorare la calibrazione, supportando l'idea che l'inferenza pragmatica umana richieda un ragionamento congiunto su alternative e stati latenti.
4. Analisi Architetturale: Evidenziazione di differenze sostanziali tra architetture di modelli chiusi (GPT vs. Claude vs. Gemini) nella loro capacità di calibrazione, suggerendo che le differenze non sono solo di "intelligenza" ma di procedure di ottimizzazione e normalizzazione.

5. Significato e Implicazioni

Questo studio è cruciale perché sposta il focus della valutazione degli LLM dall'accordo binario (giusto/sbagliato) alla precisione quantitativa, un aspetto critico per l'uso dei modelli come sostituti di partecipanti umani nelle scienze sociali.

• Limiti dell'Attuale Capacità Pragmatica: Gli LLM catturano la struttura inferenziale ma distorcono la forza delle inferenze. Questo implica che, sebbene possano simulare il tipo di giudizio sociale, non possono ancora essere considerati affidabili per stimare l'entità di tali giudizi senza correzioni.
• Ruolo della Teoria Pragmatica: La teoria pragmatica (in particolare il framework RSA - Rational Speech Act) fornisce un "maniglia" utile per migliorare i modelli. Tuttavia, l'intervento non è una soluzione magica; le strategie di prompting devono essere combinate con cura, poiché componenti isolate possono avere effetti controproducenti.
• Futuri Sviluppi: Il lavoro suggerisce che per ottenere una ragionevole calibrazione sociale, i modelli potrebbero richiedere non solo prompting sofisticato, ma anche obiettivi di addestramento specifici o fine-tuning su dati di giudizio umano calibrati, piuttosto che affidarsi solo all'inferenza a runtime.

In sintesi, il paper conclude che mentre gli LLM hanno raggiunto un livello sofisticato di ragionamento sociale qualitativo, la loro capacità di quantificare l'intensità di tali ragionamenti rimane imperfetta e dipendente dall'architettura, richiedendo approcci di valutazione e intervento più granulari.