💬 NLP

Validity of LLMs as data annotators: AMALIA on authority

Questo articolo dimostra che, sebbene il modello linguistico nazionale portoghese AMALIA raggiunga un alto grado di accordo con i codificatori umani sulla fondazione morale dell'autorità, esso manca di validità di costrutto poiché si basa su scorciatoie superficiali piuttosto che sul ragionamento teorico, evidenziando la necessità di benchmark nazionali per i LLM per valutare la base evidenziale delle prestazioni del modello oltre il mero accordo.

Autori originali: Manuel Pita

Pubblicato 2026-07-10

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Manuel Pita

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un nuovo robot super intelligente chiamato AMALIA. È il robot linguistico portoghese per eccellenza, costruito con fondi pubblici per comprendere e parlare il portoghese europeo meglio di chiunque altro. La grande speranza era che AMALIA potesse agire come un assistente umano super veloce e super economico per i ricercatori. Specificamente, gli scienziati volevano usarlo per leggere migliaia di post sui social media e capire se le persone stessero parlando di "Autorità" — un concetto complicato, che non riguarda solo la parola "capo" o "polizia", ma riguarda se qualcuno sta rispettando o sfidando le regole della gerarchia.

Ecco il colpo di scena: AMALIA è bravissima a indovinare la risposta giusta, ma è terribile nel mostrare il proprio lavoro.

Il problema del "Risultato giusto, motivo sbagliato"

Pensa ad AMALIA come a uno studente che sostiene un test di matematica.

L'Obiettivo: L'insegnante chiede: "Risolvi X usando questa specifica formula".
Il Risultato: AMALIA scrive il numero corretto per X.
Il Problema: Quando l'insegnante chiede: "Mostrami i passaggi", AMALIA non sa farlo. Invece di usare la formula, ha semplicemente indovinato la risposta perché ha visto un modello, tipo: "Oh, la parola 'capo' è nella frase, quindi la risposta deve essere 'Autorità'".

Nel mondo reale, questo è pericoloso. Se un robot concorda con gli esperti umani il 90% delle volte, di solito diciamo: "Ottimo! Possiamo fidarci!". Ma questo articolo sostiene che, per AMALIA, quel consenso sia un finto trucco. È come un pappagallo che impara a dire "Ti amo" ogni volta che vede un essere umano sorridere. Il pappagallo non sta provando amore; sta solo associando il sorriso alla frase. AMALIA stava associando indizi superficiali (come vedere un agente di polizia o sentire qualcuno arrabbiato) all'etichetta "Autorità", invece di comprendere realmente la complessa teoria del potere e del rispetto che i ricercatori stavano cercando di misurare.

Il test della "Scatola Nera"

Per dimostrare questo, i ricercatori non hanno solo posto ad AMALIA la domanda principale. Hanno scomposto la domanda in piccoli pezzi semplici, come un detective che scompone un caso in indizi.

La Domanda Grande: "Questo testo parla di Autorità?"
I Piccoli Indizi: "Menziona un leader?" "Giudica il comportamento di quel leader?" "Parla di tradizione?"

Se AMALIA avesse davvero compreso il concetto, dovrebbe ottenere lo stesso risultato sia che le venisse posta la domanda grande, sia che le venissero posti i piccoli indizi. Ma non è stato così.

Quando le è stata posta la domanda grande, AMALIA ha concordato con gli esperti umani il 71% delle volte.
Quando le sono stati posti i piccoli indizi ed è stata costretta a mettere insieme i pezzi, il suo accordo è sceso al solo 36%.

Questo enorme calo è chiamato "gap di recupero". È come un mago che tira fuori un coniglio da un cappello. Se chiedi: "Dov'è il coniglio?" e il mago indica il cappello, va bene. Ma se chiedi: "Mostrami il coniglio dentro il cappello", e il cappello è vuoto, ti rendi conto che il mago stava solo usando un trucco. L'articolo ha scoperto che il "trucco" di AMALIA era fare affidamento su scorciatoie superficiali, come vedere l' "indignazione morale" vicino a una persona potente e presumere che si tratti di autorità, anche quando non è così.

Il confronto con il "Robot più grande"

I ricercatori non hanno testato solo AMALIA; hanno testato altri due robot: Llama (uno di medie dimensioni) e GPT-OSS (un gigante con 120 miliardi di parametri, rispetto ai 9 miliardi di AMALIA).

Il Robot Gigante (GPT-OSS): Quando gli è stata posta la stessa domanda complicata in portoghese, non ha avuto alcun gap. Ha ottenuto la risposta corretta e ha saputo mostrare il proprio lavoro. Comprendeva la teoria.
Il Robot di Medie Dimensioni (Llama): Aveva un piccolo gap, ma stava migliorando.
AMALIA: Aveva un gap enorme.

Questo dimostra che il problema non era la lingua portoghese o i testi specifici utilizzati. Il problema era la dimensione e l'addestramento del modello. L'articolo suggerisce che AMALIA è semplicemente troppo piccola per gestire la complessa "grana" della teoria. È come cercare di costruire un grattacielo con un martello destinato a una casetta per uccelli; lo strumento non è abbastanza grande per fare il lavoro, anche se sembra che funzioni.

Cosa significa per i Robot Nazionali

L'articolo esclude esplicitamente alcune idee popolari:

Non riguarda la lingua: Anche se AMAL alia è il robot "di casa" del Portogallo, non è stata più performante dei grandi robot internazionali. Anzi, i grandi robot concordavano con gli umani più di quanto facesse AMALIA.
L'accordo non basta: Solo perché un robot concorda con gli umani, non significa che stia misurando la cosa giusta. Potrebbe semplicemente associare modelli.
Non è un fallimento dei creatori del modello: L'articolo loda AMALIA per essere aperta e trasparente. Il problema è che l'attuale "standard di riferimento" per testare i robot (controllare solo se concordano con gli umani) è difettoso.

Il succo della questione

Quindi, AMALIA è inutile? Non affatto! L'articolo dice che AMALIA è eccellente per lo screening e la pre-codifica. Può leggere una montagna di testi e dire: "Ehi, questo sembra interessante, gli umani dovrebbero guardarlo". È un ottimo primo filtro.

Ma può misurare concetti complessi come l' "Autorità" da sola? No. Non ancora.
L'articolo conclude che prima di fidarci di un robot nazionale per misurare ciò che i nostri cittadini pensano e valorizzano, dobbiamo porre una domanda diversa. Non dovremmo solo chiedere: "Concordi con gli umani?". Dobbiamo chiedere: "Puoi mostrarmi il tuo lavoro?".

Finché AMALIA (o qualsiasi piccolo modello nazionale) non potrà mostrare il proprio lavoro e dimostrare di usare la logica corretta e non solo di indovinare basandosi su indizi superficiali, non è pronta per essere l'arbitro finale. L'articolo suggerisce che per ora AMALIA è un assistente utile, ma non è il capo dei dati.

Sintesi Tecnica: Validità dei LLM come Annotatori di Dati

Definizione del Problema
Il documento affronta una lacuna critica nella valutazione dei Large Language Models (LLM) come annotatori di dati per la ricerca nelle scienze sociali. Mentre i modelli linguistici "sovranazionali" (come l'AMALIA del Portogallo) sono sempre più impiegati per analizzare testi locali, la loro valutazione si è storicamente basata sulla affidabilità (accordo con gli annotatori umani) piuttosto che sulla validità di costrutto (fedeltà alla definizione teorica del costrutto misurato).

Il problema centrale è che un alto grado di accordo tra un LLM e gli annotatori umani non garantisce che il modello stia misurando il costrutto teorico previsto. Al contrario, il modello potrebbe raggiungere l'accordo attraverso "correlati superficiali" o scorciatoie (ad esempio, rilevando l'indignazione morale vicino a un'autorità anziché la specifica posizione sulla gerarchia richiesta dalla teoria). Poiché gli LLM sono scatole nere, le metriche di accordo standard non possono distinguere tra un'inferenza genuina e una correlazione spuria. Ciò è particolarmente urgente per i modelli sovrani, dove l'assunto è che un modello addestrato su dati e lingua locali possa servire naturalmente come strumento di misurazione superiore per quella comunità.

Metodologia
Lo studio impiega un metodo di calibrazione granulare (grain calibration) per sondare il percorso inferenziale dell'LLM, andando oltre l'accordo olistico per testare la validità dello strumento di misurazione.

Costrutto e Corpus: Lo studio si concentra sul fondamento morale "autorità/sovversione" della Moral Foundations Theory. Il dataset consiste in 748 testi dal Moral Foundations Reddit Corpus (MFRC), trascreati in portoghese europeo (pt-PT) tramite una rigorosa pipeline di "transcreazione". Questa pipeline assicura che significato, posizione e referenti siano preservati, adattando al contempo idioma e registro, con generazione cieca e giudizio umano per prevenire il code leakage.
Modelli: Il soggetto primario è AMALIA-9B, un modello da 9 miliardi di parametri per il portoghese europeo. Viene confrontato con due modelli multilingue più grandi a pesi aperti: Llama-3.3-70B e GPT-OSS-120B.
Il Gap di Recupero ( $\Delta$ ): La metrica centrale è il "gap di recupero", definito come $\Delta = F^u_1 - F^d_1$ $Δ = F_{1}^{u} - F_{1}^{d}$ .
- $F^u_1$ : Performance (punteggio F1) del prompt non decomposto (istruzione olistica).
- $F^d_1$ : Performance del prompt decomposto, in cui il costrutto è suddiviso in clausole atomiche (rilevamento, distinzione, valutazione) e ricombinato tramite una rigorosa regola di integrazione booleana derivata dalla teoria.
- Un $\Delta \approx 0$ indica che il modello misura il costrutto come definito dalla teoria. Un $\Delta$ elevato indica che il modello si affida a scorciatoie non specificate dalla teoria.
Disegno Sperimentale: Lo studio testa AMALIA sia con istruzioni in inglese che in portoghese sul corpus portoghese. Confronta questi risultati con i modelli di riferimento sullo stesso corpus e con i risultati dei modelli di riferimento sul corpus originale inglese. Lo studio è pre-registrato, con ipotesi fissate prima del test di conferma su un set di 4 mostri di 448 testi.

Risultati Chiave

Alta Affidabilità, Bassa Validità per AMALIA: AMALIA raggiunge un alto accordo con gli annotatori umani (F1 olistico $\approx 0,71$ ), paragonabile a modelli 8–13 volte più grandi. Tuttavia, presenta un ampio gap di recupero ( $\Delta \approx 0,36$ con istruzioni in portoghese e $0,44$ con istruzioni in inglese). Ciò indica che la decomposizione recupera solo circa la metà delle performance olistiche di AMALIA.
Correlati Superficiali vs Teoria: L'analisi degli errori rivela che i falsi positivi di AMALIA sono ampiamente guidati da correlati superficiali, come l'"indignazione morale generica" vicino alle figure di autorità o la mera presenza di una figura di autorità, piuttosto che dalla posizione valutativa richiesta sulla gerarchia. Nel 78% dei falsi positivi, il modello si è basato su basi superficiali invece che sulla definizione teorica del costrutto.
Fallimento Specifico del Modello: Il fallimento è specifico per AMALIA, non per il corpus o la lingua.
- GPT-OSS-120B chiude il gap sul corpus portoghese ( $\Delta \approx 0,03$ ), performando in modo simile ai suoi risultati in inglese.
- Llama-3.3-70B mostra un gap moderato ( $\Delta \approx 0,12$ ), che è maggiore della sua performance in inglese ma significativamente inferiore a quella di AMALIA.
- Ciò suggerisce che il problema sia il "costrutto-strumento del modello" (specificamente la capacità del modello da 9B di eseguire il grano teorico), non la lingua portoghese o il corpus trascreato.
Lingua delle Istruzioni: L'ipotesi che le istruzioni in portoghese avrebbero ridotto il gap non è stata supportata statisticamente ( $\Delta_{pt} = 0,358$ vs $\Delta_{en} = 0,436$ ; l'intervallo di confidenza per la differenza includeva lo zero). Sebbene la direzione fosse coerente con l'ipotesi, l'effetto non era significativo.

Contributi Chiave

Operazionalizzazione della Validità di Costrutto: Il documento introduce e applica il "gap di recupero" come strumento diagnostico per distinguere tra accordo affidabile e misurazione valida negli LLM. Dimostra che l'accordo da solo è insufficiente per validare gli LLM come strumenti scientifici.
Valutazione dei Modelli Sovrani: Fornisce il primo studio di validità di un LLM nazionale (AMALIA) nella sua lingua nativa, sfidando l'assunto che i modelli in "lingua locale" possiedano automaticamente una validità di misurazione superiore.
Pipeline di Transcreazione: Dettaglia una rigorosa pipeline pre-registrata per la creazione di corpora cross-lingua per la validazione dei costrutti, garantendo che il trasferimento del codice sia giustificato dalla verifica piuttosto che dall'assunzione.
Analisi Granulare degli Errori: Decomponendo i prompt in clausole atomiche, lo studio identifica modalità di fallimento specifiche (ad esempio, l'uso dell'indignazione morale come proxy per l'autorità) che le metriche olistiche oscurano.

Significato e Rivendicazioni
Il documento conclude che, sebbene AMALIA sia un annotatore affidabile (produce codici che corrispondono al consenso umano), non è ancora uno strumento valido per misurare il costrutto teorico dell'autorità. Produce i codici "giusti" per i motivi "sbagliati", facendo affidamento su pattern superficiali piuttosto che sulle inferenze teoriche richieste dalla definizione del costrutto.

Gli autori sostengono che, affinché i programmi di LLM sovrani possano essere ritenuti affidabili per compiti di misurazione, devono andare oltre le metriche di accordo. La domanda critica non è se il modello concordi con gli esseri umani, ma se sia in grado di "mostrare il proprio lavoro" eseguendo i passaggi inferenziali specifici definiti dalla teoria. Lo studio suggerisce che i modelli nazionali più piccoli potrebbero mancare del "grano eseguibile" per eseguire decomposizioni teoriche complesse senza ricalibrazione, e che le prove di validità debbano essere generate per utilizzi di misurazione specifici, non solo per benchmark linguistici generali. Il documento afferma esplicitamente che AMALIA è adatto per il triage e la pre-codifica, ma non per la misurazione autonoma di costrutti teorici.