Validating LLMs in social science: Epistemic threats and emerging norms

Immaginate che i ricercatori sociali siano come detective che cercano di risolvere misteri sul comportamento umano. Per anni, hanno dovuto assumere team di assistenti umani per leggere migliaia di documenti, suddividerli in categorie o indovinare come le persone avrebbero risposto ai sondaggi. È un lavoro lento, costoso e stancante.

Entra in scena il Large Language Model (LLM): un assistente robotico digitale super intelligente che può leggere e scrivere più velocemente di chiunque altro. I ricercatori stanno ora chiedendo a questi robot di fare il lavoro pesante, trasformando testi disordinati in numeri e grafici ordinati. Sembra una bacchetta magica, vero? Ma un nuovo studio di Meera Desai, Dallas Card e Abigail Z. Jacobs suggerisce che, sebbene la bacchetta sia scintillante, la magia potrebbe essere un po' più complicata di quanto pensassimo.

La Grande Scoperta: Il Problema della "Scatola Nera"

Gli autori hanno esaminato 27 articoli pubblicati nelle principali riviste di scienze sociali tra il 2023 e il 2025. Hanno trovato 50 compiti specifici in cui i ricercatori hanno utilizzato questi robot AI per misurare cose come l' "offensività", l' "ideologia politica" o il "sentimento".

Ecco il colpo di scena: in quasi tutti questi casi, le misurazioni del robot erano l'evento principale. Erano l'evidenza centrale utilizzata per sostenere grandi affermazioni su come funziona la società. Eppure, quando gli autori hanno sbirciato dietro la tenda per vedere come i ricercatori avessero controllato se i robot stessero effettivamente dicendo la verità, hanno trovato un caos.

Pensate di preparare una torta. Potete usare un forno tecnologico e sofisticato (l'LLM) per cuocere una torta. Ma se non controllate la temperatura, non assaggiate l'impasto e non sapete esattamente quale ricetta avete usato, non potete essere sicuri che la torta sia davvero una torta e non un mattone. Lo studio ha scoperto che i ricercatori spesso cucinano con questi forni hi-tech ma saltano i test del gusto.

I Tre Grandi Errori

L'articolo evidenzia tre modi principali in cui i ricercatori si stanno perdendo nel caos:

1. La "Ricetta Vaga" (Concettualizzazione):
   Immaginate di dire a un robot: "Trovami un post 'brutto'". Ma non dite mai al robot cosa significa "brutto". È maleducato? È triste? È sbagliato?
   Lo studio ha scoperto che in 13 articoli (che coprono 29 compiti), i ricercatori non hanno affatto definito i loro concetti. Hanno solo usato una singola parola o una breve frase. È come dire a uno chef: "Preparami un pasto 'delizioso'" senza dire se lo vuoi piccante, dolce o salato. Senza una definizione chiara, il robot potrebbe misurare qualcosa di totalmente diverso da ciò che il ricercatore intendeva.

2. Le "Impostazioni Casuali" (Operazionalizzazione):
   Usare un LLM è come guidare un'auto con un milione di manopole e quadranti. Bisogna scegliere il modello, la "temperatura" (quanto è creativo o casuale la risposta) e come estrarre la risposta dalla lunga e chiacchierona risposta del robot.
   Gli autori hanno scoperto che i ricercatori ruotavano queste manopole in modi estremamente diversi, spesso basandosi su un'intuizione o un'ipotesi. Alcuni hanno usato prompt zero-shot (solo istruzioni, senza esempi), mentre altri hanno usato prompt few-shot (istruzioni più esempi). Alcuni hanno chiesto al robot di rispondere con un numero; altri con una frase.
   La parte spaventosa? L'articolo suggerisce che minuscole variazioni in queste impostazioni possono cambiare completamente il risultato. È come girare leggermente la manopola della radio e sentire improvvisamente una stazione diversa. Eppure, molti ricercatori non hanno spiegato perché hanno scelto le loro specifiche impostazioni, rendendo difficile per altri ripetere l'esperimento.

3. Il Controllo "Monotono" (Validazione):
   Questo è il problema principale. Quando si usa un robot per misurare qualcosa, è necessario dimostrare che sia accurato. Lo standard d'oro è confrontare il lavoro del robot con il lavoro di un essere umano (il "gold standard").
   Lo studio ha scoperto che 38 compiti su 50 si sono affidati quasi interamente a un unico tipo di controllo: la validità convergente. Ciò significa che si sono limitati a chiedere: "Il robot concorda con l'umano?".
   Ma l'articolo sostiene che questo non sia sufficiente. È come controllare se un nuovo termometro funziona confrontandolo con uno vecchio che potrebbe essere anch'esso guasto. Gli autori suggeriscono che i ricercatori dovrebbero utilizzare un'intera cassetta degli attrezzi di controlli:

   • Validità di facciata (Face validity): La risposta sembra ragionevole a prima vista?
   • Validità dell'ipotesi (Hypothesis validity): I dati aiutano a rispondere a una domanda reale e interessante?
   • Validità predittiva (Predictive validity): I dati prevedono correttamente eventi futuri?
   • Validità discriminante (Discriminant validity): Il robot sta misurando solo ciò che gli abbiamo chiesto, o sta captando anche altre cose?

   Incredibilmente, 8 compiti nello studio non avevano alcuna validazione. Hanno semplicemente preso per buono ciò che diceva il robot.

Cosa Esclude l'Articolo

Gli autori sono molto chiari su ciò che questo studio non sta dicendo. Non dicono che gli LLM siano inutili. Non dicono che dovremmo smettere di usarli.

Tuttavia, escludono esplicitamente l'idea che si possa semplicemente "collegare e usare" (plug and play) questi modelli. Non si può trattare un LLM come un righello standard o un termometro che fornisce lo stesso risultato ogni volta che lo si usa. L'articolo contesta l'idea che questi modelli siano "strumenti universali" che elicitano misurazioni significative automaticamente. Sono invece strumenti costruiti su misura che richiedono un design attento, definizioni precise e test rigorosi.

Escludono anche l'idea che l'attuale modo di procedere sia "abbastanza buono". Il fatto che i ricercatori saltino passaggi come la definizione dei concetti o il controllo dei bias non è solo una piccola svista; è una minaccia per l'intero campo. Se le misurazioni sono traballanti, anche le conclusioni sulla società saranno traballanti.

Quanto Siamo Sicuri?

Gli autori sono molto fiduciosi nelle loro scoperte perché non si sono limitati a indovinare; hanno fatto il lavoro. Hanno raccolto un elenco completo di 2.143 articoli dalle principali riviste e hanno codificato manualmente 27 articoli con 50 compiti specifici. Non hanno simulato; hanno esaminato ricerca reale pubblicata.

Hanno scoperto che, sebbene gli LLM stiano diventando centrali nelle scienze sociali, le "norme" (le regole del gioco) per usarli in sicurezza non si sono ancora evolute. L'articolo suggerisce che, senza regole migliori — come definire sempre i termini, riportare ogni impostazione utilizzata e controllare il proprio lavoro con molteplici metodi — rischiamo di costruire una casa di carte su fondamenta fragili.

Il Punto Chiave

L'articolo si conclude con una chiamata all'azione. Non è un segnale di "stop"; è un segnale di "procedere con cautela". I ricercatori sociali devono iniziare a trattare questi strumenti di IA con lo stesso rispetto e la stessa precisione con cui trattano i rilevatori umani. Devono scrivere esattamente cosa hanno chiesto al robot, come lo hanno chiesto e come hanno controllato la risposta.

Finché non accadrà, il robot potrebbe essere un assistente potente, ma è ancora un po' un mistero. E nella scienza, i misteri sono divertenti, ma non producono fatti solidi.