📈 economics

Measuring What Cannot Be Surveyed: LLMs as Instruments for Latent Cognitive Variables in Labor Economics

Questo articolo stabilisce le basi teoriche e pratiche per l'uso dei Large Language Models come strumenti di misurazione per variabili cognitive latenti nell'economia del lavoro, introducendo un indice validato che quantifica i contenuti cognitivi delle mansioni professionali e dimostra come tale approccio corregga gli errori di misurazione, rivelando coefficienti stimati significativamente più elevati rispetto ai metodi tradizionali.

Autori originali: Cristian Espinal Maya

Pubblicato 2026-04-06

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Cristian Espinal Maya

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover misurare qualcosa che non puoi toccare, vedere o pesare. Come fai a misurare quanto il lavoro di un medico sia "creativo" o quanto quello di un contabile sia "ripetitivo"? O, ancora più specifico: quanto il lavoro di un infermiere possa essere aiutato da un'intelligenza artificiale (come un assistente) rispetto a quanto possa essere sostituito da essa?

In economia, queste sono domande fondamentali, ma finora erano come cercare di misurare il vento con un righello: impossibile con gli strumenti tradizionali.

Questo documento di ricerca, scritto da Cristian Espinal Maya, propone una soluzione rivoluzionaria: usare le Intelligenze Artificiali (LLM) come "righelli" per misurare queste idee astratte.

Ecco la spiegazione semplice, con qualche analogia per renderla chiara.

1. Il Problema: Misurare l'Invisibile

Fino a oggi, per capire cosa fanno realmente le persone nei loro lavori, gli economisti si affidavano a due metodi:

Panel di esperti: Chiedevano a gruppi di specialisti umani di leggere descrizioni di lavori e dare un voto. È costoso, lento e ogni esperto ha un'opinione diversa (come chiedere a 10 giudici di giudicare un'opera d'arte: nessuno è d'accordo).
Parole chiave: Cercavano parole specifiche nei testi (es. "computer" = automazione). Ma questo è troppo stupido: non capisce le sfumature. Un "avvocato" che usa il computer per scrivere un contratto è diverso da uno che lo usa per analizzare milioni di casi legali.

2. La Soluzione: L'AI come "Giudice Super-Umano"

L'autore propone di usare modelli di linguaggio avanzati (come Claude o GPT) non per fare il lavoro, ma per valutare il lavoro.
Immagina di avere un esercito di librai digitali infinitamente pazienti. Questi librai hanno letto tutto ciò che è mai stato scritto sui lavori umani e sull'IA.

L'idea è: "Chiediamo a questi librai digitali di leggere la descrizione di un lavoro e dire: 'Quanto questa mansione può essere potenziata da un assistente AI?'"

3. Le Regole del Gioco (I 4 Pilastri)

Perché questa idea funzioni e non sia solo un gioco di parole, l'autore stabilisce 4 regole rigide, come se fossero le leggi della fisica per questo nuovo strumento:

Neutralità Semantica (Non guardare il portafoglio): L'AI deve giudicare solo cosa fa il lavoro, non quanto paga o se è popolare. Se chiedi all'AI "Quanto è difficile questo lavoro?" e lei risponde basandosi sul fatto che "i banchieri guadagnano tanto", allora il giudizio è viziato. L'AI deve guardare solo il contenuto del testo.
Rilevanza (Deve avere senso): Se l'AI dice che un lavoro è "potenziabile", deve essere d'accordo con altri metodi di misurazione che già funzionano. È come se due termometri diversi dessero la stessa temperatura: allora sai che stanno misurando davvero il calore.
Ordine (Più è alto, meglio è): Se l'AI dà un punteggio alto a un lavoro, significa che quel lavoro è davvero molto "potenziabile". Non deve essere un punteggio a caso.
Invarianza del Modello (L'accordo tra amici): Se chiedi la stessa cosa a due AI diverse (es. Claude e GPT), dovrebbero essere d'accordo sull'ordine dei lavori, anche se danno numeri leggermente diversi. È come chiedere a due amici: "Chi è più alto, Marco o Luca?". Se entrambi dicono "Marco", allora l'ordine è corretto, anche se uno dice "180 cm" e l'altro "178 cm".

4. La Prova: L'Indice AHCo

L'autore ha messo alla prova questa teoria. Ha preso 18.796 descrizioni di compiti lavorativi (dal database O*NET) e le ha fatte valutare da un'AI (Claude Haiku).
Ha creato un indice chiamato AHCo (Indice di Capitale Umano Potenziato).

Cosa ha scoperto?

Funziona davvero: Il suo indice si accorda molto bene (85% di somiglianza) con altri indici famosi creati da altri ricercatori.
Due dimensioni distinte: Ha scoperto che l'IA non è un mostro che fa tutto. Ci sono due cose diverse:
- Sostituzione: L'IA che ti toglie il lavoro (es. guidare un camion).
- Potenziamento: L'IA che ti rende più forte (es. un medico che usa l'IA per diagnosticare meglio).
  L'indice dell'autore misura specificamente il potenziamento, che è una cosa diversa dalla semplice sostituzione.
Affidabilità: Quando due AI diverse hanno valutato gli stessi lavori, sono state d'accordo circa il 70-75% delle volte. È un accordo molto alto per cose così complesse, paragonabile a quello tra due umani esperti.

5. Il Trucco Matematico: Correggere gli Errori

C'è un problema: le AI sbagliano, proprio come gli umani. A volte danno un voto troppo alto, a volte troppo basso.
L'autore usa un trucco statistico chiamato ORIV.
Immagina di avere due orologi che segnano l'ora sbagliata, ma in modo casuale. Se li metti insieme e fai una media intelligente, puoi scoprire l'ora vera.
Usando due AI diverse come "orologi", l'autore è riuscito a correggere gli errori e ottenere una misura della realtà molto più precisa di quella che si ottiene con un solo metodo.

6. Perché è importante? (Il Risultato Finale)

Fino a ieri, per ottenere queste misurazioni servivano mesi di lavoro di esperti umani e migliaia di dollari.
Ora, con questo metodo:

Costo: Circa 5 dollari per analizzare quasi 19.000 compiti.
Tempo: Circa 6 ore.
Qualità: La precisione è paragonabile (e in alcuni casi migliore) a quella degli esperti umani.

In Sintesi

Questo paper dice: "Smettete di cercare di misurare l'invisibile con righelli vecchi. Usate l'Intelligenza Artificiale come un nuovo tipo di microscopio."

Non stiamo dicendo che l'AI è perfetta, ma che se la usiamo con le regole giuste (le 4 condizioni), possiamo vedere dettagli del mondo del lavoro che prima erano invisibili. Questo ci aiuta a capire meglio come l'IA cambierà l'economia, non togliendo tutti i lavori, ma trasformando quelli che possono essere potenziati.

È come passare da una mappa disegnata a mano, piena di errori, a una mappa satellitare ad alta risoluzione: i contorni sono gli stessi, ma ora vediamo ogni strada, ogni albero e ogni dettaglio che prima era nascosto.

1. Il Problema di Ricerca

L'economia del lavoro affronta un problema persistente di misurazione: molte variabili teoriche fondamentali sono latenti, ovvero non osservabili direttamente attraverso sondaggi, dati amministrativi o dati di mercato. Un esempio canonico è il contenuto cognitivo dei compiti occupazionali (es. quanto il lavoro di un analista finanziario richiede giudizio contestuale rispetto all'elaborazione di informazioni routinarie).
Gli approcci convenzionali presentano limiti significativi:

Panelli di esperti (es. O*NET): Costosi, lenti e soggetti a bassa affidabilità inter-valutatore per costrutti nuovi.
Annotazione crowdsourced: Più veloce ma introduce rumore non esperto.
Matching basato su brevetti: Fornisce proxy indiretti basati sulla capacità tecnologica, non sul contenuto semantico del compito.
Corrispondenza per parole chiave: Incapace di catturare le sfumature semantiche necessarie per distinguere tra compiti sostituiti dall'IA e compiti aumentati da essa.

2. Metodologia e Quadro Teorico

L'autore propone l'uso dei Large Language Models (LLM) come strumenti di misurazione per variabili economiche latenti. Il contributo centrale è la formalizzazione di quattro condizioni di validità affinché un punteggio generato da un LLM possa essere considerato uno strumento econometrico valido:

Esogeneità Semantica: Il prompt di valutazione deve riferirsi esclusivamente al contenuto semantico dei compiti (descrizioni, abilità), senza menzionare esiti del mercato del lavoro (salari, occupazione). Formalmente, l'errore di misurazione deve essere non correlato con l'errore dell'equazione di risultato.
Rilevanza del Costrutto: Il punteggio LLM deve essere correlato con la variabile latente. Ciò è verificato attraverso validità convergente (correlazione con altre misure), validità predittiva e validità di facciata.
Monotonicità: Punteggi LLM più alti devono corrispondere a una maggiore presenza della variabile latente (es. maggiore "aumentabilità"), garantendo l'interpretabilità del segno dei coefficienti di regressione.
Invarianza del Modello: La classificazione (ranking) delle occupazioni deve essere coerente tra diversi modelli LLM, anche se i livelli assoluti dei punteggi differiscono.

Applicazione Empirica: L'Indice di Capitale Umano Aumentato (AHCo)

Dati: 18.796 dichiarazioni di compiti unici da O*NET (versione 30.2).
Modello: Claude Haiku 4.5 ha valutato il potenziale di aumentazione e il rischio di sostituzione per ogni compito.
Costruzione dell'indice: Media ponderata per importanza dei compiti a livello occupazionale.
Validazione: Un sottocampione (n=3.666) è stato riscoreggiato indipendentemente da Claude Sonnet 4 per testare l'affidabilità inter-valutatore.

3. Risultati Chiave

Validità e Confronto Multi-Indice

L'indice AHCo è stato confrontato con sei indici esistenti di esposizione all'IA (Felten, Eloundou, Webb, Frey-Osborne, Eisfeldt):

Validità Convergente: Correlazione molto forte con le misure più vicine ( $r = 0.85$ con Eloundou $\gamma$ , $r = 0.79$ con Felten AIOE).
Validità Discriminante: Correlazione debole ( $r = 0.17$ ) con le misure di automazione diretta, confermando che "aumentazione" e "sostituzione" sono costrutti distinti.
Analisi delle Componenti Principali (PCA): L'analisi di 11 indici rivela due dimensioni distinte:
1. Rilevanza cognitiva generale dell'IA (62% della varianza).
2. Asse "Aumentazione vs. Sostituzione" (15% della varianza). L'AHCo carica fortemente sulla dimensione di aumentazione.

Affidabilità Inter-Valutatore (Inter-Rater Reliability)

Accordo tra modelli: Confronto tra Haiku e Sonnet su 3.666 compiti.
- Correlazione di Pearson: $r = 0.76$ .
- Coefficiente $\alpha$ di Krippendorff (aggiustato per la media): $0.71$ (sopra la soglia di accettabilità di 0.70).
Bias di Livello: Sonnet assegna punteggi mediamente più alti (+8.6 punti), ma il bias è costante (testato con grafici Bland-Altman) e non influisce sui coefficienti di regressione se i punteggi sono standardizzati.
Sensibilità al Prompt: L'analisi di quattro varianti di prompt mostra che la varianza a livello di compito domina quella indotta dal prompt. Le varianti di prompt producono ranking coerenti, anche se le scale assolute variano.

Proprietà Econometriche e Correzione dell'Errore di Misurazione

Struttura dell'errore: Il disaccordo tra i modelli (Haiku vs. Sonnet) segue una struttura di errore di misurazione classico (attenuazione).
Stima ORIV (Obviously Related Instrumental Variables): Utilizzando i punteggi di un modello come strumento per l'altro, l'autore corregge il bias di attenuazione.
- Il coefficiente OLS per l'AHCo è $+0.080$ .
- Il coefficiente ORIV corretto è $+0.100$ (un aumento del 25%, coerente con il fattore di attenuazione stimato $\hat{\lambda} = 0.88$ ).
- Questo risultato conferma che i punteggi LLM contengono errore di misurazione classico e che il metodo ORIV recupera efficacemente i coefficienti veri.
Validità Predittiva: In una "gara" di modelli (horse race), l'AHCo aggiunge potere predittivo ( $\Delta R^2$ ) rispetto agli indici di automazione tradizionali (Frey-Osborne), dimostrando di catturare informazioni complementari.

4. Contributi Principali

Teorico: Formalizzazione delle condizioni necessarie per l'uso degli LLM come strumenti econometrici validi per variabili latenti.
Empirico: Creazione e validazione dell'indice AHCo, dimostrando che gli LLM possono misurare il contenuto cognitivo dei compiti con una granularità e un costo irraggiungibili per i metodi tradizionali.
Metodologico: Dimostrazione che l'errore di misurazione generato dagli LLM è correggibile tramite tecniche standard (ORIV) e che l'uso di più modelli (anche della stessa famiglia) è preferibile per la stima.

5. Significato e Generalizzabilità

Il documento segna un cambiamento di paradigma nel fronte costo-qualità della misurazione economica:

Efficienza di Costo: La valutazione di 18.796 compiti è costata circa 5 dollari e ha richiesto 6 ore, contro i mesi di lavoro e i costi elevati dei panel di esperti tradizionali.
Generalizzabilità: La metodologia non è limitata all'economia del lavoro. È applicabile a qualsiasi dominio in cui il contenuto semantico di documenti, politiche o istituzioni debba essere quantificato su larga scala (es. analisi contrattuale, valutazione delle politiche pubbliche, ragionamento giudiziario, disclosure finanziarie).

In conclusione, il paper stabilisce che, se rispettate le condizioni di validità (esogeneità semantica, rilevanza, monotonicità, invarianza), gli LLM costituiscono strumenti di misurazione robusti, economici e scalabili per variabili economiche latenti, aprendo nuove frontiere per la ricerca empirica.