Sintesi Tecnica: La Presunzione del Proxy: Dalle Embedding Semantici alle Misure Sociali Valide

1. Enunciato del Problema: La Presunzione del Proxy

Il documento identifica una crisi fondamentale di validità nell'applicazione dell'Elaborazione del Linguaggio Naturale (NLP) alla Scienza Sociale Computazionale (CSS). Sebbene il NLP sia sempre più utilizzato per misurare costrutti sociali latenti (ad esempio, novità, creatività, pregiudizio, ideologia) tramite embedding semantici, il campo si basa su una "Presunzione del Proxy". Tale presunzione assume che le proprietà geometriche degli spazi di embedding (ad esempio, distanza o similarità del coseno) servano come misure dirette e valide di concetti sociali teorici senza un'adeguata validazione empirica.

Gli autori sostengono che questo approccio costituisca un problema di non-identificazione. Gli embedding non supervisionati comprimono molteplici fattori generativi in una singola rappresentazione, intrecciando il costrutto target ($C$) con attributi di disturbo ($Z$), come argomento, stile, registro, autore e lunghezza. Senza un esplicito disintreccio o controlli basati sul disegno, le metriche standard spesso catturano la varianza metodologica (ad esempio, cambiamenti di argomento o variazioni lessicali) piuttosto che il fenomeno sociale inteso. Il documento formalizza questo come un problema inverso mal posto, in cui il recupero di un costrutto latente da un testo osservato è teoricamente impossibile senza assunzioni strutturali o interventi.

2. Quadro Metodologico

2.1 Formalizzazione Teorica

Gli autori modellano la generazione del documento come un processo stocastico $p_\theta(D | c, z)$, dove $D$ è il documento, $c$ è il costrutto target scalare e $z$ è un vettore di attributi di disturbo.

• Ambiguità Rotazionale: Attingendo all'apprendimento di rappresentazioni causali (Locatello et al., 2019; Schölkopf et al., 2021), il documento dimostra che gli obiettivi non supervisionati che massimizzano la verosimiglianza dei dati non possono distinguere tra la base latente vera e una base arbitrariamente ruotata. Di conseguenza, la dimensione di embedding appresa utilizzata per la misurazione è una miscela inestricabile di $c$ e $z$.
• Indeterminazione della Metrica: Anche con un encoder perfettamente disintrecciato, l'applicazione di funzioni geometriche (come la similarità del coseno o la distanza euclidea) agli embedding completi fallisce perché la metrica può essere dominata dalla varianza di disturbo ($z$) piuttosto che dalla varianza del costrutto ($c$). Ad esempio, un'alta similarità del coseno può riflettere argomenti condivisi piuttosto che una similarità concettuale.

2.2 Interventi Proposti

Per mitigare l'intreccio, il documento delinea una strategia di intervento a tre livelli:

1. Disintreccio dell'Input: Pre-elaborazione del testo per ridurre la dipendenza da $Z$ (ad esempio, estrarre solo segmenti rilevanti per il costrutto tramite LLM, normalizzazione stilistica o mascheramento delle entità).
2. Disintreccio della Rappresentazione: Addestramento di encoder per sopprimere $Z$ preservando $C$ utilizzando rimozione avversaria, proiezione nello spazio nullo o apprendimento contrastivo.
3. Disintreccio Metodologico: Progettazione di funzioni di punteggio che annullano i contributi di disturbo. Gli autori propongono la Neutralizzazione Controfattuale, in cui una misurazione è definita come la differenza tra un embedding osservato e un embedding "neutralizzato" controfattuale (dove il segnale del costrutto è minimizzato ma $Z$ è preservato).

2.3 Il Protocollo di Validità del Costrutto (CVP)

Il contributo centrale è il Protocollo di Validità del Costrutto (CVP), una pipeline standardizzata adattata dalla psicometria e dall'inferenza causale per validare le misure basate su embedding. È composto da tre fasi:

• Fase 1: Concettualizzazione: Stabilire la validità di facciata e di contenuto attraverso un esame esperto. Ciò comporta la definizione del costrutto, l'enumerazione delle dimensioni di disturbo e la creazione di un insieme di ancoraggio "gruppi noti" (esempi alti, bassi e borderline) per auditare i confini decisionali.
• Fase 2: Operazionalizzazione: Progettazione di strumenti che riducano l'intreccio utilizzando gli interventi descritti sopra.
• Fase 3: Il Kit di Validità: Un quadro strutturato di reporting (una "Scheda di Validità") che richiede cinque specifici tipi di evidenza:
  1. Affidabilità/Stabilità: Test della robustezza contro perturbazioni (varianti dell'encoder, parafrasi del prompt) utilizzando i Coefficienti di Correlazione Intraclasse (ICC).
  2. Validità Convergente: Correlazione con una misura "gold-standard" indipendente ed esterna dello stesso costrutto.
  3. Validità Discriminante e Incrementale: Dimostrare che la misura è distinta dai fattori di disturbo (ad esempio, argomento, lunghezza) e aggiunge potere esplicativo oltre a essi per un'etichetta di validazione esterna.
  4. Validità dei Gruppi Noti: Dimostrare che la misura separa i gruppi di costrutto alti e bassi pre-specificati.
  5. Evidenza Relativa al Criterio: Predire esiti a valle nella direzione teorizzata controllando per forti variabili di disturbo.

3. Risultati Chiave e Analisi Empirica

3.1 Esempio Pratico (GoEmotions)

Gli autori hanno applicato il CVP al dataset GoEmotions per misurare la "gratitudine".

• Affidabilità: Variando encoder, metodi di pooling e normalizzazione, hanno raggiunto un'alta stabilità (ICC(2,1) = 0,8467).
• Validità Discriminante: Un'analisi di regressione ha mostrato che il punteggio proxy era in gran parte recuperabile dalle caratteristiche dell'argomento ($R^2 = 0,7762$), indicando un'intreccio significativo con le variabili di disturbo.
• Validità Incrementale: Nonostante l'intreccio, l'aggiunta del proxy a un modello contenente solo caratteristiche di disturbo ha migliorato significativamente la predizione delle etichette umane (l'AUC è aumentato da 0,9658 a 0,9831), dimostrando che il segnale del costrutto esiste ma è mescolato al rumore.
• Analisi degli Errori: L'audit ha rivelato modalità di fallimento specifiche, come falsi positivi in cui "grazie" era usato sarcasticamente, evidenziando la necessità dell'audit dei "gruppi noti" nella Fase 1.

3.2 Revisione Forense della Letteratura

Gli autori hanno condotto un'analisi forense di 17 articoli influenti (2020–2025) che proponevano metriche computazionali per costrutti sociali.

• Risultati: Sebbene la maggior parte degli articoli fornisse definizioni di costrutto ed evidenze di facciata/contenuto (spesso tramite esempi qualitativi), mancavano in gran parte di evidenze rigorose di identificazione.
  • Validità Discriminante: 0 articoli hanno dimostrato pienamente la validità discriminante (escludendo la surrogazione di disturbo).
  • Validità Convergente: Solo 1 articolo ha stabilito la convergenza contro uno strumento indipendente allo stesso livello di analisi.
  • Identificazione Causale: Nessuno degli articoli campionati ha utilizzato metodi di identificazione causale per isolare i costrutti dai confondenti; la dipendenza era basata su euristiche o controlli associativi.
• Conclusione: La letteratura documenta frequentemente che un proxy è definito e sufficientemente stabile per essere calcolato, ma raramente dimostra che isola il costrutto inteso. Ciò crea il rischio della "Fallacia Jangle", in cui diversi articoli affermano di misurare lo stesso costrutto ma in realtà stanno tracciando diverse miscele di segnale e rumore.

4. Contributi Chiave

1. Risultato di Non-Identificazione: Formalizzare perché le metriche non supervisionate non possono recuperare in modo affidabile i costrutti latenti senza assunzioni o interventi espliciti, dimostrando che l'indipendenza statistica non implica il disintreccio.
2. Soluzioni Metodologiche: Proporre la Neutralizzazione Controfattuale e collegarla agli strumenti esistenti di debiasing (rimozione avversaria, proiezione nello spazio nullo).
3. Il Protocollo di Validità del Costrutto (CVP): Fornire uno standard di reporting rivolto alla comunità che passa dalla concettualizzazione a una Scheda di Validità strutturata, assicurando che le misure siano scientificamente difendibili.
4. Evidenza Forense: Documentare la prevalenza della Presunzione del Proxy nella letteratura recente, mostrando un divario sistematico tra proxy geometrici e misure sociali valide.

5. Significato e Affermazioni

Il documento si posiziona come un contributo di posizione e sintesi, non come uno standard finale. Il suo significato principale risiede in:

• Spostare l'Onere della Prova: Sostenere che la "misurazione tramite rinominazione" (equiparare la distanza geometrica ai concetti sociali) è insufficiente. La validità deve essere dimostrata empiricamente, non assunta.
• Abilitare la Scienza Cumulativa: Standardizzando il reporting della validità (tramite la Scheda di Validità), il protocollo mira a rendere i risultati confrontabili tra studi e a ridurre il rischio che la fuoriuscita di argomento/stile si mascheri da segnali sociali.
• Difendere l'Inferenza a Valle: Sottolineare che se la costruzione delle variabili manca di validità, nessun metodo causale ML a valle può stabilire rigorosamente la causalità.

Gli autori dichiarano esplicitamente di non mirare a proibire l'uso dei proxy, ma a renderli testabili. Riconoscono i limiti, notando che la loro codifica riflette pratiche riportate (che potrebbero sottostimare analisi non pubblicate) e che lo stesso CVP richiede ulteriore iterazione e studi di caso empirici prospettici per quantificare i costi pratici e le modalità di fallimento. L'obiettivo è trasformare i proxy euristici in strumenti robusti e scientificamente difendibili per la Scienza Sociale Computazionale.