Measuring Self-Rating Bias in LLM-Generated Survey Data: A Semantic Similarity Framework for Independent Scale Mapping

Titolo: Misurazione del Bias di Auto-Valutazione nei Dati di Sondaggio Generati da LLM: Un Framework di Similarità Semantica per la Mappatura Indipendente delle Scale

1. Il Problema: La Circolarità nella Misurazione

La ricerca sui sondaggi basati su dati sintetici generati da Large Language Models (LLM) affronta un problema metodologico fondamentale: la circolarità nella misurazione.

• Il Flusso Standard: Tipicamente, un LLM genera una risposta testuale a una domanda di sondaggio e, successivamente, lo stesso modello (o una famiglia di modelli identica) assegna un punteggio numerico (es. scala Likert 1-5) a quel testo.
• Il Difetto: Questo equivale a chiedere a uno studente di correggere il proprio esame. Il modello valuta la propria output, fondendo due operazioni distinte che la teoria psicometrica richiede siano indipendenti: la generazione della risposta e la punteggiatura (scoring) della stessa.
• Conseguenze: Le metriche di affidabilità calcolate su dati validati in modo circolare sono inflazionate perché riflettono i bias interni del modello piuttosto che il costrutto misurato. Le affermazioni di validità basate sull'accordo tra testo generato e punteggio assegnato dallo stesso LLM non sono trasferibili alla valutazione umana.

2. Metodologia: Semantic Similarity Rating (SSR)

Per risolvere il problema della circolarità, gli autori propongono e validano il framework Semantic Similarity Rating (SSR), che disaccoppia la generazione del testo dalla mappatura sulla scala numerica.

Architettura del Framework

Il sistema utilizza due modelli architetturalmente indipendenti:

1. Generazione: Un LLM (es. Claude Haiku 4.5) genera una risposta testuale naturale basata su un personaggio e una domanda di sondaggio.
2. Misurazione (Mappatura): Un modello di embedding (es. Voyage AI voyage-3.5-lite o OpenAI text-embedding-3-small) mappa il testo generato su una scala numerica senza "capire" il contesto semantico della domanda, ma calcolando la similarità geometrica.

Componenti Chiave del SSR

• Ancore Semantiche (Anchor Statements): Invece di etichette astratte (es. "Molto insoddisfatto"), il sistema utilizza frasi comportamentali naturalistiche in prima persona (es. "Terribile. Ero frustrato e arrabbiato per tutto il tempo..."). Queste ancre definiscono i punti della scala (1-5).
• Embedding Asimmetrico: Le risposte testuali sono trattate come query, mentre le ancre sono trattate come documenti. Questo approccio, tipico del retrieval, amplia la dispersione delle similarità cosine, migliorando la discriminazione tra i punti della scala.
• Normalizzazione e Calibrazione:
  • Le similarità cosine grezze (che tendono a essere compresse in un intervallo ristretto, es. 0.75-0.83) vengono normalizzate tramite Min-Max nell'intervallo [0, 1].
  • Viene applicata una funzione Softmax con una temperatura ($\tau$) ottimizzata (0.15 o 0.2) per convertire le similarità in una distribuzione di probabilità.
  • Il punteggio finale è la media ponderata dei punti della scala.

3. Contributi Chiave

1. Validazione della Indipendenza Metodologica: Dimostrazione che la disaccoppiatura generazione/misurazione riduce drasticamente la circolarità, anche a costo di una minore accuratezza assoluta rispetto all'auto-valutazione LLM.
2. Ottimizzazione delle Ancore: Identificazione che la qualità delle ancre (linguaggio comportamentale naturalistico vs. gergo formale) è il fattore dominante, migliorando l'accuratezza del +29 punti percentuali (pp).
3. Scoperta della Compressione della Varianza: Evidenza empirica che i LLM, quando valutano il proprio output (o output simili), comprimono sistematicamente la varianza degli errori, sottostimando l'incertezza di misurazione.
4. Generalizzazione Cross-Modello: Validazione che i risultati si mantengono coerenti tra diversi fornitori di modelli (Anthropic, OpenAI, Voyage), confermando che la compressione della varianza è una proprietà generale degli LLM e non un artefatto di un singolo modello.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un set di test di 69 casi in 8 domini semantici (soddisfazione, probabilità, accordo, ecc.) e su un esperimento pre-registrato di circolarità ($N=345$).

Accuratezza e Configurazione

• Configurazione Ottimale: Ancore naturalistiche + Embedding asimmetrico + Normalizzazione Min-Max + $\tau=0.15$.
• Performance SSR:
  • Match Esatto: 65-67% (fino al 77% con OpenAI embeddings).
  • Within ±1 (errore di un punto): 91-92%.
  • Errore Medio Assoluto (MAE): 0.42 - 0.46.
• Confronto con Baseline LLM (Auto-valutazione):
  • I LLM diretti (Claude, GPT-4o) ottengono un match esatto del 83-87% e un MAE di 0.13-0.17.
  • Trade-off: L'approccio SSR sacrifica l'accuratezza assoluta per garantire l'indipendenza metodologica.
  • Controllo di Asimmetria Informativa: Rimuovere il testo della domanda dal prompt del LLM (per eguagliare le informazioni disponibili al SSR) ha migliorato l'accuratezza del LLM, escludendo la mancanza di informazioni come causa della minore performance del SSR.

Scoperta Critica: Compressione della Varianza

L'esperimento di circolarità ha rivelato una differenza fondamentale nella distribuzione degli errori:

• LLM (Auto-valutazione): Gli errori sono fortemente compressi attorno a un piccolo offset negativo (varianza $\sigma^2 \approx 0.21$). Il modello tende a sottostimare sistematicamente il rating quando valuta il proprio testo generato.
• SSR (Indipendente): Gli errori sono più dispersi ma centrati vicino allo zero (varianza $\sigma^2 \approx 0.87$).
• Implicazione: La compressione della varianza è un 4 volte superiore nel LLM rispetto al SSR. Questo fenomeno persiste anche quando un modello diverso (GPT-4o) valuta il testo generato da Claude, indicando che è una proprietà intrinseca dei LLM nel processo di valutazione, non solo un bias di auto-coerenza.

Analisi per Dominio

• Domini Forti: Soddisfazione e Intenzione d'acquisto (88-90% match esatto).
• Domini Deboli: Facilità, Fiducia e Importanza (33-56% match esatto), suggerendo la necessità di affinare le ancre per questi costrutti specifici.

5. Significato e Implicazioni

• Per la Ricerca Metodologica: Il paper dimostra che l'indipendenza metodologica è necessaria per una corretta quantificazione dell'incertezza nei dati sintetici. L'uso di LLM per valutare se stessi produce dati "troppo precisi" ma distorti, nascondendo la vera variabilità della misurazione.
• Architettura Ibrida Suggerita: Gli autori propongono di utilizzare il LLM per la valutazione primaria (massimizzando l'accuratezza) e il SSR come strato di validazione indipendente. I casi in cui le due metodologie divergono di più di un punto sulla scala dovrebbero essere segnalati per revisione manuale o assegnati una bassa confidenza.
• Importanza delle Ancore: La qualità del linguaggio delle ancre (descrizioni comportamentali concrete vs. etichette astratte) è più influente della scelta dell'algoritmo o della temperatura.
• Disponibilità: Il dataset di calibrazione, la libreria di ancre e il codice sorgente sono resi pubblici per favorire la riproducibilità e l'estensione del lavoro.

In sintesi, il paper stabilisce che mentre i LLM sono eccellenti nel mappare il testo alla scala (alta accuratezza), lo fanno in modo "auto-consistente" che nasconde l'incertezza reale. Il framework SSR offre un metodo alternativo, meno preciso ma metodologicamente onesto, essenziale per la validazione psicometrica dei dati sintetici.